مقایسه روش‌های بیزی و فراونی‌گرا در برآورد شاخص‌های بهبود بازطبقه‌بندی برای ارزیابی مدل‌های پیش‌بینی: مطالعه قند و لیپید تهران

مقدمه: برای برآورد شاخص های بهبود بازطبقه بندی خالص (nri) و تشخیصی ادغام شده (idi) که برای برآورد مقدار تاثیر افزودن نشانگرهای جدید در مدل‌های آماری به‌کار می‌رود، به طور معمول از روش فراوانی گرا استفاده می شود. این روش در بعضی موارد به‌ویژه در نمونه‌های کوچک، عملکرد ضعیفی دارد. در این مطالعه کارایی دو روش بیزی و فراوانی‌گرا مقایسه شده است. مواد و روش ها: جمعیت بررسی شده، 734 زن با سن 20 سال و بالاتر پیش‌دیابتی، در مطالعه کوهورت قند و لیپید تهران (tlgs) بود. برای برآورد احتمال رخداد بیماری دیابت، مدل رگرسیون لوجستیک مشابه مدل پیش‌بینی بیماری دیابت در مطالعه aric استفاده شد که شامل نشانگرهای اندازه دور کمر، پرفشاری خون، قد، وزن، سن، سابقه خانوادگی دیابت، سیگاری بودن و ضربان نبض بود. روش های فراوانی‌گرا و بیزی برای برآورد شاخص های بهبود بازطبقه بندی خالص و تشخیصی ادغام شده، استفاده شد و سپس این دو روش در حجم نمونه کوچک مقایسه شدند. برای انجام تحلیل‌ها از نرم‌افزار r نسخه 3.1.3 استفاده شد. یافته‌ها: برآورد شاخص‌های بهبود بازطبقه بندی خالص و تشخیصی ادغام شده به روش‌‌های بیزی و فراوانی‌گرا نتایج یکسانی داشتند که در هر دو روش افزودن نشانگرهای جدید اندازه دور مچ دست، سابقه تولد نوزاد بیش از 4/5 کیلوگرم، سابقه فشارخون بارداری به مدل aric، ثاثیر معنا‌داری در شاخص‌های فوق نداشت. در حجم نمونه کوچک، برآورد این دو شاخص در روش بیزی در مقایسه با روش فراوانی‌گرا، عملکرد بهتری نشان داد. نتیجه‌گیری: روش بیزی در حجم نمونه کوچک عملکرد معتبر و قابل اعتمادتری در مقایسه با روش فراوانی‌گرا داشت.

Comparison of Bayesian and Frequentist Methods in Estimating the Net Reclassification and Integrated Discrimination Improvement Indices for Evaluation of Prediction Models: Tehran Lipid and Glucose Study

Introduction: The Frequencybased method is commonly used to estimate the Net Reclassification Improvement (NRI) and Integrated Discrimination Improvement (IDI) indices. These indices measure the magnitude of the performance of statistical models when a new biomarker is added. This method has poor performance in some cases, especially in small samples. In this study, the performance of two Bayesian and Frequentist methods were evaluated and compared for the diabetes prediction model in prediabetic women. Materials and Methods: A total of 734 prediabetic women aged ge;20 years, participated in the first and second phases of the Tehran Lipid and Glucose Study (TLGS) were enrolled in this research and the logistic regression model was used with variables of the Atherosclerosis Risk in Communities (ARIC) in order to estimate the probability of diabetes. Predictors of diabetes in the ARIC study were waist circumference, hypertension, height, weight, age, family history of diabetes, smoking and pulse rate. The Frequentist and Bayesian methods were used to estimate the NRI and IDI. In addition these methods were compared in a small sample size selected randomly from the primary sample. Statistical analyses were performed using R software version 3.1.3. Results: Estimates of the NRI and IDI indices by the Bayesian and Frequentist methods provided almost similar results. Adding new markers of wrist size, history of macrosomia, and history of preeclampsia to the ARIC model did not show significant effect on the improvement indices. In the small sample size, IDI and NRI showed better performance in the Bayesian method compared to the frequentist method. Conclusion: The Bayesian method had a more reliable performance in comparison with the frequencybased method, especially in small samples.