بازشناسی کلمات پویای مجزای زبان اشارۀ فارسی با استفاده از حسگر کینکت

در این مقاله روشی برای بازشناسی زبان اشارۀ فارسی با استفاده از اطلاعات اسکلتی و فریم‌های عمق بدست‌آمده از حسگر کینکت ارائه می‌شود. ویژگی‌های استخراج‌شده شامل ویژگی‌های مربوط به نوع حرکت دست و ویژگی‌های مربوط به شکل دست می‌باشند. ابتدا با استفاده از مدل مخفی مارکوف (hmm)، اشاراتی که ویژگی‌های حرکتی مشابه با اشارۀ آزمون دارند انتخاب و سپس در مرحلۀ بعد ازمیان اشارات انتخاب‌شده و با استفاده از طبقه‌بند ماشین بردار پشتیبان (svm)، اشاره‌ای که از لحاظ شکل دست به اشارۀ آزمون مشابه‌تر است انتخاب می‏گردد. در روش ارائه شده محدودیت های ناشی از هم‌پوشانی دو دست و هم‌پوشانی دست و صورت برطرف شده، و نیازی به اعمال محدودیت-هایی نظیر پوشیدن لباس آستین‌بلند ، پوشیدن لباس با رنگ متفاوت با پوست، پس‌زمینۀ ثابت و متفاوت با رنگ پوست و ثابت بودن روشنایی محیط نیست. استفاده از روش ارائه‌شده در شرایط طبیعی و بدون اعمال محدودیت نشان-می‌دهد که این روش قادر است با دقت متوسط 97.25% ، کلمات پویای مجزای زبان اشارۀ فارسی را در پایگاه داده‏ای متشکل از سی کلمۀ پویا طبقه‏بندی نماید.