تولید متن فارسی بر اساس کلمات کلیدی با استفاده از مدل های احتمالاتی و یادگیری عمیق

تولید زبان طبیعی (nlg) از پردازش زبان طبیعی (nlp) حاصل می‏شود. زبان طبیعی از یک سیستم ارائه‏ی ماشینی مانند پایگاه دانش تولید می‏شود. سیستم‏های nlg از مدت‏ها پیش وجود داشته اما تکنولوژی آن به صورت ابزار تجاری اخیراً به صورت گسترده به وجود آمده است. در nlg، سیستم نیاز به تصمیم‏گیری در مورد چگونگی قرار‏دادن یک مفهوم در کلمات دارد. توانایی ایجاد متن معنی دار نقش کلیدی در بسیاری از کاربردهای پردازش زبان طبیعی مانند ترجمه ماشین، گفتار و تبدیل عکس به متن دارد. برای تمامی مسائلی که از متن به متن، تصویر به متن و گفتار به متن مطرح است، تولید متن نقش کلیدی دارد. تولید متن در روش های مختلف بخصوص روش های یادگیری عمیق در سال‌های اخیر مورد بررسی قرار گرفته است. با توجه به این که تولید محتوا به خصوص متن توسط دانشمندان حوزه هوش مصنوعی در حال تحقیق و بررسی است، هنوز کار خاصی بر روی زبان فارسی صورت نگرفته است. تولید محتوای مناسب در هر حوزه یک چالش بزرگ و نگران کننده است و حتی در بعضی زمینه ها تهدید و فرصت جهت پیشبرد اهداف اجتماعی، اقتصادی و سیاسی است. هدف این پایان نامه تولید متن با استفاده از روش های هوش مصنوعی در زبان فارسی با ساختار درست و آغازی برای تولید متن فارسی است. جهت پیشبرد تولید متن سعی شده است از ترکیب روش-های یادگیری ماشین و یادگیری عمیق با مدل های احتمالاتی، استفاده شود. در مدل پیشنهادی از مدل های احتمالاتی برای استخراج قوانین و از شبکه ی عصبی و شبکه های یادگیری عمیق برای برداری سازی متن استفاده شده است. نتایج بهترین مدل که از مدل یادگیری عمیق پیش‌آموزش دیده ی elmo استفاده می کند بیانگر این است که این روش نسبت به سایر روش ها متون پایدارتر، مفهومی تر و با ساختار بهتر تولید می کنند. مدل elmo یک مدل یادگیری عمیق با استفاده از شبکه های lstm و cnn بوده که بر اساس بافتارهای مختلف آموزش دیده و برای یک کلمه در زمینه و بافتارهای مختلف، بردارهای تعبیه مختلف ارائه می‌دهد. به همین دلیل مدل پیشنهادی از سایر مدلها عملکرد بهتری را دارد.