کاربست انواع جانمایی کلمات پیش ‌آموزش ‌داده ‌شده در مدل ‌های یادگیری عمیق برای تولید عنوان از متون فارسی

با پیدایش روش ‌های یادگیری عمیق، مدل ‌های دنباله به دنباله با هدف ترجمه ماشینی یک جمله مبدا به یک جمله مقصد ارائه شدند و از همین ایده برای ترجمه یا تبدیل یک متن به شکل خلاصه‌شده آن استفاده گردیده است. خلاصه‌هایی که به این روش تولید می‌شوند از نظر ساختاری خواناتر بوده و معمولاً معنای کاملی را به خواننده منتقل می‌کنند. در چنین ساختارهایی برای بازنمایی معنایی واژه‌ها از بردارهای جانمایی کلمات استفاده می‌شود که در آن، وزن هر کلمه با توجه به کلمات مجاور آن از یک پیکره بزرگ آموزش داده می‌شود. در حالت کلی وزن این بردارها با انتخاب یک پنجره مجاورت برای هر کلمه به‌دست می‌آید؛ اما در مدل‌های زبانی بافتاری مانند برت برای محاسبه وزن این کلمات از مبدل‌های چندلایه استفاده می‌شود که به تمامی کلمات موجود در متن توجه می‌کنند. تاکنون مقالات متعددی نشان داده‌اند که مدل‌های زبانی بافتاری به‌دلیل قابلیت ریزتنظیم وزن‌ها برای انجام یک وظیفه پردازش زبان طبیعی خاص، موفق‌تر از سایر روش‌های جانمایی کلمات عمل می‌کنند؛ اما بررسی عملکرد وزن اولیه این مدل‌ها برای کاربست در تولید عنوان در زبان فارسی مورد توجه قرار نگرفته است.در این مقاله به بررسی رفتار جانمایی کلمات به‌صورت پیش‌آموزش‌داده‌شده و بدون ریزتنظیم آنها در تولید عنوان از متون فارسی می‌پردازیم. برای یادگیری مدل از «علم‌نت» که یک پیکره فارسی شامل حدود 350 هزار جفت چکیده و عنوان مقالات علمی می‌باشد، استفاده شده است. نتایج نشان می‌دهند استفاده از مدل برت حتی بدون ریزتنظیم وزن‌های آن در بهبود کیفیت عناوین فارسی تولیدشده تاثیرگذار بوده و معیار 1-rouge را در فارسی به 42% می‌رساند که بهتر از سایر مدل‌های جانمایی است.