تولید صحنه از روی توصیف متنی با استفاده از یادگیری عمیق

چکیده- مسئله‌ی تبدیل توصیف متنی به تصویر از جمله‌ِ‌ی مسائلی است که امروزه بسیار مورد توجه قرار گرفته است؛ چرا که داده‌های تصویری نسبت به داده‌های متنی برای طیف گسترده‌تری از افراد از جمله کودکان قابل فهم است و همچنین سرعت انتقال و دریافت مفاهیم از داده‌های تصویری نسبت به داده‌های متنی بالاتر است. مدلی که بتواند تبدیل متن به تصویر را با کیفیت قابل قبول انجام دهد می‌تواند در کاربرد‌های مختلفی مورد استفاده قرار بگیرد. شبکه‌های عصبی عمیق با قدرت بازنمایی بالای داده‌ها مهم‌ترین ابزار برای انجام این تبدیل هستند. در مدل معرفی شده در این مرجع از شبکه‌های عصبی مختلفی مانند شبکه‌ی عصبی کانوولوشنال، بازگشتی و بازگشتی کانوولوشنال استفاده شده است. مراحل تبدیل توصیف متنی به تصویر شامل 1) کدگذاری متن و صحنه و 2) کدگشایی اشیا و ویژگی‌های آن‌ها می‌شود. در این مدل از شبکه‌های کانوولوشنال resnet-50و resnext-50 برای کدگذاری صحنه‌ی تولیدی استفاده شده است و نتایج حاصل از آن‌ها مقایسه شده است. آموزش و ارزیابی مدل بر روی مجموعه‌داده‌ی abstractscenes انجام شده است. صحنه‌های تولید‌شده توسط مدل کیفیت مطلوبی دارند و ارزیابی کمی نتایج نیز عملکرد قابل قبولی را نشان می‌دهد.