تشخیص توهم مدل‌های زبانی بزرگ به کمک روش دگرنویسی

توهم در مدل‌های زبانی بزرگ به خروجی‌های در ظاهر صحیح اما در باطن برخلاف واقعیت یا عدم وفادار به منبع اطلاق می‌گردد. تشخیص توهم در مدل‌های زبانی بزرگ به جهت جلوگیری از انتشار این توهم‌ها در کاربردهایی که به طور مستقیم یا غیرمستقیم با مدل‌های زبانی بزرگ ارتباط دارند، اهمیت دارد. در این پژوهش از الگوریتم ساده‌ای جهت تشخیص متوهم بودن یک مدل زبانی بزرگ استفاده کرده‌ایم. فرضیه ما بر این اساس است که اگر مدل زبانی بزرگ به دگرنویسی‌های یک پرسش پاسخ دهد و در میان پاسخ‌های آن تناقضی کشف شود آن گاه گوییم دچار توهم شده است و اگر پاسخ‌ها سازگار باشند، به احتمال بالایی پاسخ درستی می‌دهد. این دو فرضیه را با آزمایش‌هایی بررسی و تایید کرده‌ایم. به این ترتیب روش پیشنهادی ما برای کشف توهم در پاسخ به یک پرسش، ایجاد دگرنویسی‌های مختلف آن پرسش و بررسی وجود ناسازگاری یا تناقض در پاسخ‌های داده شده به پرسش‌های تولید شده است. وجود یا عدم ناسازگاری، وجود یا عدم توهم را تایید می‌کند. آزمایشات نشان‌ می‌دهند این روش با دقت بالایی قادر به کشف توهم در پاسخ به سوالات است.

detecting hallucinations generated by large language models using paraphrasing technique

hallucination in large language models refers to outputs that appear correct but contradict reality or diverge from the source. detecting hallucination in large language models is crucial to prevent the dissemination of these hallucinations in applications directly or indirectly related to such models. in this study, we have employed a simple algorithm to detect hallucination in a large language model. our hypothesis is based on the hypothesis that if a large language model responds to the paraphrases of a question and an inconsistency is discovered among its answers, then we say that it is hallucination, and if the answers are consistent, it likely provides a correct answer. we have checked and confirmed these two hypotheses with experiments. in this way, our proposed method to discover the hallucination in answering a question is to create different paraphrases of that question and check the existence of inconsistencies or contradictions in the answers given to the generated questions. the presence or absence of inconsistency confirms the presence or absence of hallucinations. experiments show that this method is able to detect hallucination in answering questions with high accuracy.