تولید متن، اندازه گیری کیفیت متن تولید شده

تولید متن یکی از زیر شاخه‌های پردازش زبان طبیعی و یکی از مسائل مهم در هوش مصنوعی است که مانند سایر حوزه‌های هوش مصنوعی شامل چالش‌ها و شکاف‌هایی حل شده و حل نشده می‌باشد. یکی از چالش‌های مهم درحوزه‌ی تولید داده (متن، تصویر، صدا) که بسیار مهم و مورد توجه محققان می‌باشد، معیارهای ارزیابی و انتخاب معیار مناسب برای ارزیابی کیفیت داده‌ی تولید شده می‌باشد. در خصوص ارزیابی داده‌های تولید شده دو روش ارزیابی انسانی و خودکار وجود دارد. در معرفی معیارهای خودکار، اساس شباهت و نزدیک بودن به ارزیابی انسانی است. هر معیاری که مقادیری تولید کند که بیشتر به نتایج ارزیابی انسانی نزدیک باشد معیار مناسب تری است. در این مقاله انواع معیارهای به کار رفته در ارزیابی متون تولید شده، معرفی و بررسی می‌شوند. ما در این پژوهش مدلی برای تولید متن پیاده سازی نموده ایم و متن تولید شده را با معیار bleu که تعیین کننده کیفیت متن می باشد و self-bleu که بیان کننده میزان تنوع در متن تولیدی است و معیار شباهت جاکارد برای تعیین میزان شباهت یا استقلال متون تولیدی، ارزیابی کردیم و نتایج به دست آمده را مورد تحلیل قرار دادیم.