معیارهای اکستروپی مبنا در درخت‌های تصمیم: یک مطالعه شبیه سازی با اعتبارسنجی متقاطع

درخت‌های تصمیم از جمله روش‌های پرکاربرد در یادگیری نظارت‌شده به شمار می‌روند که به دلیل سادگی و قابلیت تفسیر، جایگاه مهمی در علوم داده و آمار یافته‌اند. الگوریتم استاندارد cart معمولاً بر اساس شاخص‌هایی مانند جینی یا آنتروپی شانون عمل می‌کند. با این حال، در سال‌های اخیر «اکستروپی» به عنوان دوگان مکمل آنتروپی معرفی شده و توانسته است در حوزه نظریه اطلاعات و کاربردهای آماری توجه محققان را جلب کند. این پژوهش با هدف پیشنهاد و بررسی مدلهای اکستروپی مبنا، کارایی معیارهای اکستروپی در مقایسه با شاخص جینی و همچنین ارزیابی ترکیب این دو معیار انجام شد. برای این منظور، داده‌های شبیه‌سازی‌شده به کار گرفته شدند و عملکرد مدل‌ها با استفاده از اعتبارسنجی متقاطع –kبخشی مورد سنجش قرار گرفتند. نتایج پژوهش نشان داد که معیارهای مبتنی بر اکستروپی توانستند دقت بالاتری نسبت به روشهای سنتی ایجاد کنند و درخت هایی سادهتر و در عین حال تفسیرپذیرتر بسازند.

extropy-based criteria in decision trees: a simulation study with cross-validation

decision trees are among the most widely used methods in supervised learning, valued for their simplicity and interpretability, and thus have gained a prominent position in data science and statistics. the standard cart algorithm typically relies on indices such as gini or shannon entropy. however, in recent years, extropy has been introduced as the complementary dual of entropy and has attracted the attention of researchers in information theory and statistical applications. this study aims to propose and investigate extropy-based models, evaluate the performance of extropy criteria in comparison with the gini index, and further assess the effectiveness of combining the two measures. to this end, simulated datasets were employed, and the models’ performance was assessed using k-fold cross-validation. the results indicated that extropy-based criteria achieved higher accuracy than traditional methods and generated simpler yet more interpretable trees