hybridscore تطبیقی: یک معیار داده محور پویا برای ارزیابی خلاصه سازی متون

ارزیابی خودکار خلاصه سازی متون همچنان چالش های اساسی روبه رو است، زیرا بین معیارهای مبتنی بر مرجع و قضاوت انسانی شکافت قابل توجه ای وجود دارد. معیارهای سنتی بر هم پوشانی واژگان تیکه دارند، در حالی که رویکردهای مبتنی بر تعبیه شباهت معنایی را اندازه گیری میکنند اما در تعمیم پذیری میان حوزه های متنی مختلف دارای ضعف های نیز دارند. این پژوهش معیار جدیدی با عنوان hybridscore تطبیقی را معرفی میکند؛ معیاری پویا که چندین سیگنال مبتنی بر تعبیه را ترکیب می کند تا هم سویی بهتری با ارزیابی انسانی را از کیفیت خلاصه ها به دست آید. برخلاف معیارهای ترکیبی پیشین که با وزن دهی ثابت یا بهینه سازی کلی، روش حاضر وزن دهی ویژه‌ی هر نمونه را بین نمرات شباهت bertscore و sbert با بهره گیری از مدل رگرسیون جنگل تصادفی می آموزد. این مدل از ویژگی های سطح متن شامل نسبت طول ها و تعبیه های متنی زمینه ای، برای هرخلاصه توزیع وزن بهینه را استنتاج کند. آزمایش ها بر روی مجموعه داده summeval انجام شد که شامل ارزیابی های انسانی در ابعاد انسجام، سازگاری و روانی متن است. همچنین، به ضریب همبستگی اسپیرمن با 0.676 با قضاوت های انسانی، که از خط پایه وزن دهی برابر 0.198 و روش بهینه سازی کلی (0.429) nnl عملکرد بهتری نشان داد. تجسم توزیع وزن های آموخته شده نیز الگوهای قابل تفسیر را آشکار کرد؛ به گونه ای که sbert در متون غنی از معنا وزن بیشتری می گیرد. درحالی که bertscore در مواردی که وفاداری واژگانی اهمیت دارد، غالب می شود. در مجموع، این چارچوب که از ادغام تطبیقی سیگنال های ارزیابی می تواند هم راستایی با درک انسانی را بهبود و مسیر را برای ارزیابی های مقاوم تر و تعمیم پذیرتر در سیستم های خلاصه سازی انتزاعی هموار کند.