برآورد بیزی معیار واگرایی کولبک – لیبلر در توزیع‌های نرمال

هدف: در تحلیل‌ها و مدل‌سازی‌های آماری، ارزیابی شباهت یا تفاوت بین دو توزیع احتمالی اهمیت زیادی دارد. یکی از پرکاربردترین معیارها برای این منظور، واگرایی کولبک-لیبلر است که فاصله اطلاعاتی بین دو توزیع را اندازه‌گیری می‌کند. هدف این مطالعه، تحلیل واگرایی kl بین دو توزیع نرمال با واریانس برابر و مقایسه عملکرد روش‌های مختلف برآورد این معیار است.روش‌شناسی پژوهش: در این پژوهش ابتدا مقدار دقیق واگرایی کولبک–لیبلر بین دو توزیع نرمال با واریانس برابر به‌صورت تحلیلی به‌دست می‌آید، سپس سه روش مختلف برای برآورد این معیار پیشنهاد می‌شود؛ برآورد حداکثر درست‌نمایی، برآورد بیزی و برآورد شریونده عملکرد هر یک از این برآوردگرها از طریق شبیه‌سازی مونت‌کارلو و با استفاده از معیار میانگین مربعات خطا ارزیابی می‌شود.یافته‎ها: نتایج شبیه‌سازی نشان می‌دهد که برآوردگر بیزی نسبت به mle دقت بالاتری در برآورد دارد. علاوه بر این، برآوردگر شریونده بهترین عملکرد را دارد و کمترین مقدار mse را در میان سه روش به‌دست می‌آورد. این یافته نشان می‌دهد که بهره‌گیری از اطلاعات پیشین یا تکنیک‌های جریمه‌گذاری می‌تواند به‌طور قابل‌توجهی کیفیت برآورد را بهبود بخشد.اصالت/ارزش‌افزوده علمی: این مطالعه با ارائه مقایسه‌ای جامع بین تکنیک‌های کلاسیک و نوین برای برآورد واگرایی kl در زمینه توزیع‌های نرمال با واریانس برابر، به ادبیات علمی کمک می‌کند. نوآوری پژوهش در به‌کارگیری روش شریونده و عملکرد برتر آن است که به‌صورت کمی از طریق شبیه‌سازی تایید شده است. این یافته‌ها کاربردهای عملی در حوزه‌هایی مانند یادگیری ماشین، پردازش سیگنال و نظریه اطلاعات دارند.

bayesian calculation of the quality of the kullback-leibler divergence in normal distributions

purpose: in statistical data analysis and modeling, assessing the similarity or divergence between two probability distributions is of great importance. one of the most widely used metrics for this purpose is the kullback-leibler (kl) divergence, which quantifies the informational distance between distributions. this study aims to analyze the kl divergence between two normal distributions with equal variance and to compare the performance of different estimation methods for this measure.methodology:  in this study, the exact value of the kullback–leibler divergence between two normal distributions with equal variance is first analytically derived, and then three different estimation methods—maximum likelihood estimation, bayesian estimation, and shrinkage estimation—are proposed for estimating this measure. the performance of each estimator is evaluated through monte carlo simulations based on the mean squared error (mse) criterion.findings:  the simulation results indicate that the bayesian estimator outperforms the mle in terms of estimation accuracy. furthermore, the shrinkage estimator demonstrates the best performance, achieving the lowest mse among the three methods. this suggests that incorporating prior information or penalization techniques can significantly improve estimation quality.originality/value: this study contributes to the literature by providing a detailed comparison of classical and modern estimation techniques for kl divergence in the context of normal distributions with equal variance. the novelty lies in the integration of shrinkage methodology and its superior performance, which is quantitatively validated through simulations. the findings have practical implications for various fields, such as machine learning, signal processing, and information theory.