مکانیسم توجه چندسره ترنسفورمر بینایی برای افزایش تعمیم پذیری تشخیص حملات بازپخش صدا

با وجود پیشرفت سیستم های تایید هویت گویندهasv ، این سیستمها در مواجهه با حملات جعل بازپخش که نیازی به مهارت خاص یا سخت افزار تخصصی جهت دور زدن سیستمهای asv ندارند، آسیب پذیر هستند. در این مقاله با استفاده از مدل های مبتنی بر مکانیسم چندسره با رو یکرد انتها به انتها و استفاده از ساختار شبکه عصبی کانولوشی cnn ، به دنبال آن ترنسفرمر بینایی vit، یک رویکرد جدید یادگیری عمیق برای تشخیص حملات بازپخش صدا ارائه می دهیم. با استفاده از این رویکرد اطلاعات محتوایی غنی از نگاشت ویژگی برای تشخیص حملات جعل بازپخش به دست می آید ،بطوریکه نتایج حاصل از آن از تمام روش های سنتی و پردازش سیگنال که قابلیت تعمیم پذیری خوبی دارند، بهتر است.در این مقاله از دادگان چالش asvspoof2017 به دلیل حجم کمتر اطلاعات آن استفاده شده است.با استفاده از این سیستم واحد، نتایج نرخ خطای برابر eerنشان از بهبود 23.84 درصدی در دادگان توسعه، 30.02 درصدی در دادگان ارزیابی و35.5 درصدی در تعمیم پذیری نسبت به روشهای پایه موجود در چالش asvspoof2017 دارد.

vision transformer multi-head attention mechanism to increase the generalizability of audio replay attack detection

despite the advancement of automatic speaker verification (asv) systems, these systems are vulnerable to audio replay spoofing attacks that do not require special skills or specialized hardware to bypass asv systems. in this paper, a new deep learning approach is presented to detect audio replay attacks by using models based on the multi-head mechanism with an end-to-end approach and using the structure of the convolutional neural network (cnn) followed by a visual transformer (vit). here,, rich content information from feature mapping is obtained to detect replay spoofing attacks, so that the results are better than all traditional methods and signal processing that have good generalizability. in this article, the asvspoof 2017 challenge trial is used due to its smaller amount of information. in this paper,, the asvspoof 2017 challenge trial dataset is used due to its smaller amount of information. using this single system, the results of the equal error rate (eer) show an improvement of 23.84% in development data, 30.02% in evaluation data, and 35.5% in generalizability compared to the basic methods available in the asvspoof2017 challenge.