توصیف خودکار تصویر با مکانیسم توجه و مدل زبانِ تکراری

در مسائل کاربردی بینایی ماشین و فهم زبان ، نمایش دقیق تصویر از اهمیت بالایی برخوردار است. بیش تر سیستم های فعلی از ویژگی-های بصری و مفاهیم متنی به‌عنوان طرح کلی از تصویر استفاده می کنند. بااین‌حال ، بازنمایی های کاملاً استنباطی معمولاً از این نظر نامطلوب هستند که از مولفه‌های جداگانه ای تشکیل‌شده‌اند و روابط بین آن ها قابل‌محاسبه نیست علاوه بر این نمی توانند مفاهیم مهم تصویر را در توصیفات تولیدشده جای دهند . در این مقاله یک فرایند تکرارشونده جهت رسیدن به توصیف پیشنهادشده است . ما تصاویر ورودی را با مجموعه ای از مناطق بصری و مفاهیم متنی متناظر که منعکس کننده مفاهیم معنایی خاص هستند، پردازش می کنیم . برای این منظور ، دو ماژول توجه را ایجاد می کنیم که به ترتیب با به روزرسانی متقابل ، ویژگی های بصری و مفاهیم متنی استخراج شده از تصویر را ادغام می-کنند . خروجیِ دو ماژول قبل به مدل زبانی ارسال شده و این فرایند تکراری تا رسیدن به توصیف مطلوب ادامه می یابد . جهت انتخاب بهینة هایپرپارامترهای مدل ، از الگوریتم ژنتیک استفاده‌شده است . آزمایش‌ها بر روی مجموعه دادة عظیم ms coco انجام شده است . نتایج نشان می دهد که روش ما موثر است و بسیار سریع همگرا می شود . مدل پیشنهادی می تواند به طیف گسترده ای از مدل ها برای کاربردهای مربوط به تصویر و زبان تعمیم یابد.