تشخیص و طبقه بندی پیامک های هرزنامه در زبان فارسی به کمک ترکیبی از روش های cnn، tf idf و lstm

هرزنامه‌ها پیام‌های ناخواسته‌ای هستند که توسط فرستندگان ناشناس ارسال‌شده و مشکلاتی نظیر افزایش هزینه‌های محاسباتی، اشغال فضای ذخیره‌سازی تلفن‌همراه و سوءاستفاده از اطلاعات کاربران ایجاد می‌کنند. شناسایی خودکار و موثر این پیام‌ها به‌ویژه در زبان فارسی از اهمیت خاصی برخوردار است. در این پژوهش، روشی نوین برای تشخیص و دسته‌بندی پیامک‌های هرزنامه فارسی ارائه شده است. از پایگاه داده‌ای شامل 4389 پیامک فارسی برچسب‌گذاری‌شده که از منابع متنوع گردآوری شده است، استفاده شده که به دلیل حجم و جامعیت خود، بستر قابل اتکایی برای تحقیق در این حوزه فراهم می‌کند. برخلاف روش‌های رایج که با حذف کلمات توقفی (stop words) و علائم نگارشی سعی در کاهش پیچیدگی محاسبات دارند، در این مطالعه بدون حذف این عناصر و با اتخاذ رویکردی خلاقانه، پیچیدگی و زمان محاسباتی کاهش یافته است.ویژگی‌های استخراج‌شده در سه دسته اصلی تکرار کلمات، موقعیت مکانی کلمات در متن، و همبستگی معنایی بین کلمات دسته‌بندی شده‌اند. برای استخراج این ویژگی‌ها، سه روش مستقل شبکه عصبی کانولوشنی (cnn)، الگوریتم tf idf و شبکه عصبی حافظه طولانی‌مدت (lstm) مورد استفاده قرار گرفته است. سپس، ویژگی‌های استخراج‌شده ترکیب و از طریق الگوریتم تحلیل اجزای همسایگی (nca) ، کاهش ابعاد یافته‌اند. این الگوریتم به ‌عنوان یک روش نظارت‌شده غیرپارامتری، ویژگی‌های بهینه را برای افزایش دقت طبقه‌بندی انتخاب می‌کند. نتایج نشان می‌دهند که رویکرد پیشنهادی، با استخراج و ترکیب انواع مختلف ویژگی‌ها و استفاده از روش‌های پیشرفته یادگیری ماشین، دقت و صحت تشخیص پیامک‌های هرزنامه فارسی را بهبود بخشیده و گامی موثر در جهت ارائه راهکاری قابل اعتماد برای این مسئله برداشته است.

detection and classification of sms spam in persian using a combination of cnn, tf-idf and lstm methods

spam messages are unsolicited messages sent by anonymous senders, causing issues such as increased computational costs, occupying mobile storage space, and misuse of user information. the automatic and effective detection of these messages, particularly in the persian language, holds significant importance .in this research, a novel method for detecting and classifying persian spam sms messages is presented. a dataset consisting of 4,389 labeled persian sms messages collected from diverse sources has been utilized, which, due to its volume and comprehensiveness, provides a reliable foundation for research in this area. unlike common approaches that reduce computational complexity by removing stop words and punctuation marks, this study employs an innovative approach to reduce computational complexity and time without eliminating these elements.the extracted features are categorized into three main groups: word repetition, the positional location of words in the text, and semantic correlation between words. to extract these features, three independent methods—convolutional neural networks (cnn), tf-idf algorithm, and long short-term memory (lstm) networks—were employed. then, the extracted features were combined and dimensionally reduced using the neighborhood component analysis (nca) algorithm. this supervised, non-parametric algorithm selects optimal features to maximize the predictive accuracy of classification algorithms .the results demonstrate that the proposed approach, by extracting and combining diverse features and leveraging advanced machine learning methods, enhances the accuracy and precision of persian spam sms detection and provides a reliable solution to this problem.