طراحی و تهیۀ دادگان برچسب‌خورده فارسی از اخبار مرتبط با همه‌گیری کووید-19 به منظور تشخیص اخبار جعلی

در این مقاله یک پیکرۀ برچسب‌خورده، به‌ منظور به‌کارگیری در تشخیص اخبار جعلی با حدود 5000 پست مربوط به اخبار همه‌گیری کووید-19 از پیام‌رسان تلگرام استخراج شده و برچسب‌زنی می‌شود. فرایند ساخت پیکره در دو مرحله انجام می‌پذیرد. مرحلۀ اول شامل جمع‌آوری و پیش‌پردازش داده‌ها و مرحلۀ دوم شامل برچسب‌گذاری آنها می‌باشد. در مرحلۀ اول، داده‌ها فیلتر می‌شوند و بعد از انجام پردازش‌های لازم‌ برروی آنها، در مرحلۀ دوم، بر اساس یک شیوه‌نامه، اقدام به برچسب‌گذاری می‌شود. در مرحلۀ برچسب‌گذاری، از هفت عنوان موردنظر برای وظایف، استفاده می‌گردد و هر پست خبری با توجه به این هفت وظیفه برچسب‌گذاری می‌شود. ایجاد یک چهارچوب مناسب (شیوه‌نامه) برای برچسب‌زنی یکی از اقدامات مهم در این مرحله می‌باشد. شیوه‌نامه در اختیار دو برچسب‌زن خبره که بدین‌منظور آموزش دیده‌اند قرار می‌گیرد و اخبار از لحاظ هفت وظیفۀ 1) صحیح یا جعلی بودن 2) سیاسی بودن 3) بالا بردن سطح آگاهی عمومی، دادن روحیه یا دادن یک توصیه به خواننده 4) مطالب مربوط به دارو و درمان یا مراقبت‌های بهداشتی 5) آمار مرگ و میر 6) داشتن محتوای حاوی مطالب تنفرآمیز، سرزنش، عیب‌جویی، منفی بافی و 7) ارزش داشتن برای بررسی واقعیت، مورد بررسی قرار گرفته و بر این اساس، برچسب درست، نادرست یا خنثی می‌گیرند. در صورت عدم توافق بین دو برچسب‌زن، از برچسب‌زن سوم نظرخواهی می‌شود. برچسب‌دهی اخبار طوری انجام می‌گیرد که در نهایت، دسته‌های متوازنی در وظیفۀ صحیح یا جعلی بودن اخبار به دست آید.

design and preparation of persian labeled dataset from covid-19 news for fake news detection

fake news detection using content features have attracted many researchers in the last few years. these approaches rely mainly on news datasets and analyzing their style and content. although there are some fake news datasets in english, fake news detection in the persian language suffers from the lack of suitable datasets. this article introduces a manually labeled persian fake news dataset, containing about 5000 posts related to covid-19 and extracted from telegram messenger. the process of building the dataset is done in two stages: 1) data collection and pre-processing; and 2) labeling manually using a settled rule set and an established framework. in the labeling stage, seven tasks have been used for labeling, including: 1) factual; 2) hate, blame, and negative speech; 3) rising moral, encouragement, and advise; 4) political news; 5) death statistics; 6) cure, medicine, and health care; and 7) worth to be considered for fact checking. for each labeling task, 3 labels including yes, no, and can't decide are used. the main labeling task, i.e. factual task is assigned to two annotators and in case of disagreement between annotators, the label assigned by third annotator is accepted. the kappa measure for inter-annotators agreement obtained equal to 0.706 that is in substantial range. this dataset is about 10 times larger in comparison to similar persian datasets and can be used for not only fake news studies but also some other persian natural language processing (nlp) studies.