مروری بر پژوهش‌های لب‌خوانی خودکار:دادگان و روش‌ها

لب‌خوانی یا فرآیند بازشناسی دیداری گفتار روش تشخیص گفتار از روی حرکات لب گوینده است. در سال‌های اخیر علاقه به لب‌خوانی خودکار رو به افزایش بوده و تحقیقات بسیاری در این زمینه انجام شده است و همچنان به عنوان یک موضوع تحقیقی پیشرو مطرح است. در این مقاله مروری بر تحقیقات انجام شده در زمینه لب‌خوانی خودکار ارائه شده است. فهرستی از پایگاه داده‌های مورد استفاده با در نظر گرفتن خصوصیاتی نظیر تعداد گوینده، محتوای گفتار و کیفیت تصاویر ارائه شده است. در این مقاله، تحقیقات متنوع لب‌خوانی در زمینه تشخیص اعداد، حروف، کلمات و جملات و روش‌های سنتی استخراج ویژگی و دسته‌‌بندی تا روش‌های جدید مبتنی بر یادگیری عمیق مرور شده‌اند. بعلاوه فعالیت‌های لب‌خوانی زبان فارسی شامل پایگاه داده‌های فراهم شده و تحقیقات مرتبط با جامعیت بیشتر معرفی شده است.

a review of researches on automatic lipreading: databases and methods

lip-reading or the process of visual recognition of speech is a way to distinguish speech from the movements of the speaker's lips. in recent years, the interest in automatic lip-reading has been increasing and a lot of researches have been done in this field and it is still a leading research topic. this paper provides an overview of researches in automatic lip-reading. a list of used databases in the researches is provided with specifications such as number of speakers, speech content and image quality. in this article, various lip-reading researches are reviewed from recognizing numbers, letters, words and sentences, and traditional methods of feature extraction and classification to the new methods based on deep learning. in addition, persian lip-reading activities include provided databases and related researches are introduced more comprehensively.