بهبود شبکه های رقابتی مولد برای تولید خودکار تصویر از روی متن

این پژوهش در رابطه با به‌کارگیری ابزارهای یادگیری عمیق و فناوری پردازش تصویر در تولید خودکار تصویر از روی متن می‌باشد. پژوهش‌های پیشین از یک جمله برای تولید تصاویر بهره می‌برند. در این پژوهش یک مدل سلسله‌مراتبی مبتنی بر حافظه ارائه شده است که از سه توصیف مختلف که در قالب جمله ارائه می‌شوند، برای تولید و بهبود تصویر بهره می‌برد. طرح پیشنهادی با بهره‌گیری از شبکه‌های رقابتی مولد، بر به‌کارگیری اطلاعات بیشتر جهت تولید تصاویر با وضوح بالا تمرکز دارد.  پیاده‌سازی و اجرای برنامه‌های مربوط به این حوزه نیاز به منابع پردازشی بالا دارند. لذا طرح پیشنهادی با بهره‌گیری از بستره سخت‌افزاری دانشگاه کپنهاگ بر روی یک کلاستر با 25 واحد پردازش گرافیکی پیاده‌سازی و تحت آزمون قرار گرفت. آزمایش‌ها روی مجموعه دادگان cub-200 و ids-ade انجام شدند. نتایج آزمایش‌ها نشان می‌دهند که مدل ارائه شده می‌تواند تصاویر با کیفیت بالاتری نسبت به دو مدل پایه stackgan و attgan تولید کند.

improvement of generative adversarial networks for automatic text-to-image generation

this research is related to the use of deep learning tools and image processing technology in the automatic generation of images from text. previous researches have used one sentence to produce images. in this research, a memory-based hierarchical model is presented that uses three different descriptions that are presented in the form of sentences to produce and improve the image. the proposed scheme focuses on using more information to produce high-resolution images, using competitive productive networks. implementing programs related to this field require massive processing resources. therefore, the proposed method was implemented and tested on a cluster with 25 gpus using the hardware platform of the university of copenhagen. the experiments were performed on cub-200 and ids-ade datasets. the experimental results show that the proposed model can produce higher quality images than the two basic models stackgan and attgan.