ارزیابی خودکار تمرینات توانبخشی حرکتی بر پایۀ شبکه عصبی چگالی ترکیبی عمیق

طراحی سیستم هوشمند ارزیابی تمرین‌های حرکتی، زمان و هزینه را در درمان‌های توانبخشی کاهش می‌دهد. از جمله روش‌های موجود در این زمینه مدل‌های احتمالاتی هستند که قابلیت تعمیم‌پذیری به حرکات جدید در آن‌ها کم است. روش‌های دیگر از ساختارهای عمیق استفاده می‌کنند که درنظر‌نگرفتن عدم‌قطعیت ذاتی موجود در داده‌های حرکتی از چالش‌های آنهاست. در این مقاله یک شبکه چگالی ترکیبی عمیق معرفی شده‌است که پردازش مدل احتمالاتی را با ساختارهای عمیق به صورت همزمان امکان‌‌پذیر می‌سازد. در این شبکه از لایه پیچشی چند شاخه که ویژگی‌های عمیق داده‌های حرکت را استخراج می‌کند و از لایه بازگشتی که وابستگی زمانی داده‌های حرکت را یاد می‌گیرد، برای تخمین پارامترهای مدل ترکیبی گوسی استفاده شده است. این مدل در لایۀ انتهایی جهت مدیریت عدم قطعیت موجود در داده‌ها قرار دارد. مجموع وزن‌دار میانگین اجزای مدل ترکیبی گوسی به عنوان امتیاز تمرین حرکتی درنظر گرفته می‌شود. داده‌های ورودی، سری‌های زمانی مربوط به مکان و زوایای مفاصل، از مجموعه دادۀ kimore هستند. امتیاز مرجع برای آموزش شبکه، امتیاز بالینی هر حرکت است. محاسبه خطا و همبستگی بین امتیاز پیش‌بینی‌شده و مرجع، برتری این شبکه را نسبت به سایر ساختارها نشان می‌دهد. چرا که ترکیب مدل ترکیبی گوسی با ساختارهای عمیق، علاوه بر مدیریت عدم‌قطعیت‌ها که بر اعتبار خروجی می‌افزاید، قابلیت تعمیم‌پذیری به حرکات جدید را افزایش می‌دهد.

Automatic Evaluation of Motor Rehabilitation Exercises Based on Deep Mixture Density Neural Network

Designing an intelligent assessment system for physical exercises reduces time and cost in rehabilitation therapies. Probabilistic models that have little potential for generalizability to new movements are one category of the existing methods in this field. Other methods use deep frameworks, one of their challenges is to ignore the inherent uncertainties in motion data. In this paper, we propose a deep mixture density neural network that makes concurrent processing of probabilistic model and deep framework, feasible. At the first layer, there is a multi-branches convolutional neural network for learning the deep features of motion data. After that, there is a recurrent neural network for learning the temporal dependence of motion data. These two layers estimate the parameters of the Gaussian mixture model in the last layer. This model is proposed to deal with randomness and uncertainties in data. Finally, the weighted sum of the Gaussian mixture model components averages is considered as the performance score. The input data, the time series related to the location and angles of the joints, are from the KIMORE dataset. For each movement, there is a clinical score used as the reference score for neural network training in this dataset. The results of calculating the error and Spearman correlation coefficient between the predicted score and the reference score show that this network outperforms other structures. This is because combining the Gaussian mixed model with a deep neural network not only handles uncertainties to increase the validity of the output but also increases generalization to new movements.