یادگیری مجموعه داده محدود برای طبقه‌بندی مقصود با استفاده از مدل پیش آموزش داده شده Bert

طبقه‌بندی مقصود یکی از مسائل مهم در فهم زبان طبیعی است که هدف آن طبقه‌بندی پرسش ها بر اساس مقصود، هدف، یا منظوری است که در محتوا بیان شده است. اما مشکلی که در این نوع مسائل وجود دارد کمبود داده هایی است که توسط عامل انسانی برچسب گذاری شده باشند. این مشکل باعث ضعف در جامع سازی مدل ها می شود، مخصوصا وقتی که مدل ها با کلمات نادر مواجه می شوند. استفاده از مدل های از پیش آموزش داده شده می تواند در ارائه ‌ای جامع از زبان مفید واقع شوند. مدل زبانی از پیش آموزش داده شده bert که اخیراً منتشر شده است اثر مهمی در حوزه پردازش زبان طبیعی گذاشته است. این مدل زبانی که با استفاده از یک پیکره زبانی بسیار بزرگ بدون برچسب پیش آموزش داده شده است، با تنظیم دقیق توانسته است در بسیاری از مسائل پردازش زبان طبیعی مانند سیستم‌ های پرسش و پاسخ و تحلیل احساس نتایج بسیار خوبی کسب کند. در این مقاله سعی شده است که مدل زبانی bert با مدل های رایج یادگیری ماشین برای طبقه‌بندی مقصود مقایسه شود و نشان داده شده است که برای یادگیری مجموعه داده محدود مدل bert عملکرد بهتری نسبت به مدل های رایج یادگیری ماشین دارد.

Few-Shot Learning for Intent Classification Using Pre-Trained BERT Model

Intent classification is one of the important tasks in natural language understanding which aims to classify queries based on their intent, goal, or purpose which is implied in the content. However, the problem in this task is the lack of data labeled by a human agent. This problem leads to weakness in the generalization of models, especially when the models face rare words. Using pre-trained models can be useful in the generalization of language representation. BERT pre-trained language model which has been currently published has made a major impact in the natural language processing field. This model which is trained on unlabeled large-scale corpora, with fine-tuning could achieve state-of-art results in various natural language processing tasks e.g. question answering and sentiment analysis. In this paper, we compared the BERT model with conventional machine learning models and shown that the BERT model has a better performance than conventional machine learning models in few-shot learning.