بازشناسی زبان اشاره‌ با ترکیب اطلاعات بدست آمده از سنسور کنترل‌کننده حرکت و تصویر دست

سیستم های بازشناسی زبان اشاره کمک می کنند تا افراد ناشنوا به رسانه های مختلف دسترسی داشته باشند. در این مقاله، سنسور کنترل کننده حرکت و تصویر دست برای بازشناسی زبان اشاره بکار گرفته شده‌اند. سنسور کنترل کننده حرکت اطلاعات مربوط به مکان سه بُعدی مفاصل دست را فراهم می کند. سری اول ویژگی ها از اطلاعاتی که این سنسور فراهم می کند، استخراج می شود. مواقعی که دست عمود بر سنسور کنترل کننده حرکت قرار نگرفته یا در حالت هایی که دست مشت می شود مکان دقیق مفاصل دست قابل شناسایی نیست. سری دوم ویژگی ها که از تصویر دست استخراج می شود کمک می کنند تا اکثر حالت های دست دقیق تر بازشناسی شوند. سری دوم ویژگی ها شامل هیستوگرام گرادیان های جهت دار و فاصله ی کانتور از مرکز تصویر است. همچنین یک پایگاه داده ی متنوع از حالت های دست زبان اشاره ی آمریکایی ساخته شده است که شامل 64 هزار نمونه است. در مرحله ی بازشناسی از طبقه بند جنگل تصادفی استفاده می شود که برای پایگاه داده های بزرگ انتخاب خوبی است. نتایج آزمایش ها نشان می دهند که روش پیشنهادی نسبت به روش های مشابه نتایج بهتری ارائه می دهد.

Sign Language Recognition by Combining Leap Motion Controller and Hand Image Information

Sign language recognition systems help deaf people to access various media. In this paper, the Leap Motion Controller (LMC) and the image of the hand are exploited for sign language recognition. The LMC provides 3D position of the hand joints. The first set of features are extracted from the data provided by the LMC. When the hand is not located in vertical view of the LMC or when the hand posed like a fist, the precise position of the hand joints is not recognizable. The second feature extracted from hand image helps most hand gestures be recognized precisely. The second feature includes histogram of oriented gradients and the distance of the hand contour form the center of the hand. Also, a dataset composed of variant American sign language gestures is created which includes 64000 samples. In recognition stage, random forest is applied which is a good option for large datasets. The experimental results show that the proposed method performs better than similar methods.