تبدیل گفتار به متن با هوش مصنوعی: بهبود دقت با استفاده از معماری‌های resnet فازی و squeezenet

در این مقاله، توسعه سیستم تبدیل گفتار به متن نویزی پبشنهاد شده که از دو معماری پیشرفته، شامل resnet فازی و squeezenet بهره می‌برد. با توجه به افزایش استفاده از فناوری‌های تبدیل گفتار به متن در محیط‌های واقعی نویزی، اهداف اصلی این تحقیق، بهبود نرخ خطای کلمه در شرایط نویزی و ارائه مدلی سبک و قابل استفاده با استفاده از مدل‌های یادگیری عمیق است. در ابتدا، مرحله پیش‌پردازش انجام شده و برای جداسازی قسمت‌های سکوت و گفتار از آشکارساز sohn استفاده می‌شود. پس از پیش‌پردازش، استخراج ویژگی‌های پیچیده معنایی و ساختاری گفتار با استفاده از معماری resnet بهبودیافته انجام می‌شود. ضرایب فرکانسی مل نیز به عنوان ویژگی‌های مهم استخراج می‌شوند. این ضرایب از فریم‌هایی به طول 25 میلی‌ثانیه با 10 میلی‌ثانیه همپوشانی به دست می‌آیند. سپس از یک سیستم فازی برای طبقه‌بندی فریم‌های صوتی و ترکیب ویژگی‌های استخراج شده، استفاده می‌شود. علاوه بر resnet، معماری squeezenet نیز برای تبدیل گفتار به متن نویزی برای کاهش پیچیدگی مدل و قابلیت استفاده در سیستم‌های سبک، معرفی شده است. این معماری شامل یک رمزگذار و یک رمزگشا است. برای ارزیابی عملکرد مدل‌های پیشنهادی، از چندین مجموعه داده استاندارد مانند librispeech، common voice، ted lium، wsj و chime استفاده شده است. برای ارزیابی عملکرد مدل‌ها، از دو معیار اصلی استفاده شده است: جدول سردرگمی و نرخ خطای کلمه. نتایج شبیه‌سازی نشان می‌دهد که نرخ خطای کلمه نسبت به روش‌های مورد بررسی کاهش یافته و توانسته نرخ خطای کلمه را تا 36.8 نسبت به روش‌ قدیمی مورد مقایسه، کم کند.

speech-to-text with artificial intelligence: improving accuracy using fuzzy resnet and squeezenet

in this article, the development of a noisy speech-to-text system is proposed, which utilizes two advanced architectures, including fuzzy resnet and squeezenet. considering the increasing use of speech-to-text technologies in real-world noisy environments, the main goals of this research are to improve the word error rate in noisy conditions and to provide a lightweight and usable model using deep learning models. initially, the pre-processing stage is performed, and the sohn detector is used to separate silence and speech segments. after pre-processing, the extraction of complex semantic and structural features of speech is performed using an improved resnet architecture. mel frequency coefficients are also extracted as important features. these coefficients are obtained from frames with a length of 25 milliseconds and a 10 millisecond overlap. then, a fuzzy system is used to classify the audio frames and combine the extracted features. in addition to resnet, the squeezenet architecture has also been introduced for noisy speech-to-text to reduce model complexity and usability in lightweight systems. this architecture includes an encoder and a decoder. to evaluate the performance of the proposed models, several standard data sets such as librispeech, common voice, ted-lium, wsj, and chime have been used. two main criteria were used to evaluate the performance of the models: the confusion table and the word error rate. the simulation results show that the word error rate has decreased compared to the methods studied and can reduce the word error rate by up to 36.8 compared to the old method.