مدل‌سازی عبارات ظاهرنشده با استفاده از یادگیری عمیق

عبارت کلیدی نشان‌دهنده و بیانگر مفاهیم اساسی برای یک متن است. در بسیاری از کاربردهای پردازش متن، نیاز به استخراج عبارات کلیدی با کیفیت مناسب است. در روش‌های قدیمی مدل‌سازی متن، معانی و مفاهیم مرتبط با متن اهمیت ویژه‌ای نداشته‌اند. درنتیجه ساختار اصلی مدل، بر اساس کلمات ظاهرشده در سند شکل‌گرفته است. طبق تحقیقات اخیر، اسناد هم‌خوشه اشتراک مناسبی در عبارات کلیدی مستقیماً ظاهرنشده در سند متنی دارند. در این تحقیق، مدلی جهت استخراج مفاهیم اساسی متن با استفاده از تخمین متون مشابه و اضافه کردن عبارات کلیدی به لایه‌های مخفی شبکه عمیق، ارائه‌شده است. این مدل‌سازی بر اساس تشابه خوشه‌ای با یک شبکه عمیق شکل‌گرفته است. این ساختار، سعی در کشف عبارات ظاهرنشده و سپس تخمین بهتر عبارات کلیدی با یک rnn را دارد. این روش به‌طور قابل‌توجهی مشکل عدم بازنمایی مفاهیم اساسی و عدم وجود عبارات کلیدی به‌طور مستقیم را حل می‌کند. روش پیشنهادی روی چهار دادگان متداول در این حوزه آزمایش شده است. نتایج این آزمایش‌ها، بهبود حدود 14 درصدی نسبت به روش‌های معمول tf-idf, kea و rnn را نشان می‌دهد.