استفاده از ویژگیهای دست ساز اسکلت سه بعدی بدن انسان برایشناسایی خودکار عمل انسان در ویدئو

در این مقاله هدف شناسایی فعالیت های روزمره انسان به طور خودکار می باشد و برای شناسایی اعمال انسان از سنسورهای عمق استفاده می کند. که می تواند در سیستم های جاسازی شده استفاده شود. روش پیشنهادی در این مقاله با استفاده از استخراج دو دسته از ویژگی ها از اطلاعات مفاصل کار خود را پیش می برد. اولین دسته ویژگی تصاویر تاریخچه حرکت از اسکلت دودویی و دیگری که پیشنهاد ما می باشد، فاصله نسبی مفاصل از پنج مفصل مرجع از اسکلت انسان در نظر گرفته شده است. سپس شناسایی اعمال با استفاده از شبکه 3d-dcnn فراهم می شود. با در نظر گرفتن مفصل ناحیه سر به عنوان مفصل مرجع پنجم توانستیم موفقیت بیشتری در اعمالی که توسط دست و در ناحیه سر انجام می شود مانند آب خوردن و مسواک زدن و اعمالی که مفاصل ناحیه دست نسبت به مفصل ناحیه سر در موقعیت های متفاوت تری قرار می گیرد مانند پرتاب کردن و هل دادن یا برداشتن کسب نماییم. تمامی آموزش ها و آزمایشات با استفاده از مجموعه داده های utkinect و cad60 انجام شده است که منجر به نرخ صحت بالاتری نسیت به دیگر همتایان خود شد. دیتاست cad60 شامل اعمالی است که در ناحیه سر انجام می شود و مفاصل دست در آن نقش بیشتری دارند نرخ صحت 2٪ افزایش یافت.