ترکیب ماشین‌های بولتزمن محدود دوبعدی و شبکه‌های lstm برای شناسایی فعالیت‌های انسانی در ویدئو: یک رویکرد نوین

در حوزه تحلیل ویدئو و به‌ویژه شناسایی فعالیت‌های انسانی، روش‌های پیشین علی‌رغم موفقیت‌های به دست آمده، در حفظ مستقیم ویژگی‌های فضایی بدون نیاز به پیش‌پردازش پیچیده و مدل‌سازی وابستگی‌های زمانی طولانی دچار محدودیت‌هایی بوده‌اند. در این پژوهش، یک معماری نوین مبتنی بر ترکیب ماشین‌های بولتزمن محدود دوبعدی و شبکه‌های lstm ارائه می‌شود که با استخراج دقیق الگوهای فضایی از فریم‌های ویدئویی و مدل‌سازی موثر روابط زمانی، خلا موجود در ادبیات پژوهشی را برطرف می‌کند. در روش پیشنهادی،ماشین­های بولتزمن بدون نیاز به پیش‌پردازش‌های گسترده، ویژگی‌های مهم فضایی را از تصاویر استخراج نموده و شبکه­های lstm وابستگی‌های زمانی پیچیده را مدل‌سازی می‌کنند. نتایج تجربی حاصل از آزمایش بر روی مجموعه‌داده‌های kth، ucf sports و hmdb51 نشان از بهبود عملکرد با دقت‌های به ترتیب 95.3٪، 93.4٪ و 70.8٪ دارد که نسبت به روش‌های رقابتی موجود، کارایی قابل توجهی به اثبات رسانده است.

combining 2d restricted boltzmann machines and lstm networks for human action recognition in videos: a novel approach

in the field of video analysis, particularly in human action recognition, previous methods—despite their successes—have encountered limitations in directly preserving spatial features without resorting to complex preprocessing and in modeling long-term temporal dependencies. in this study, we propose a novel architecture based on the integration of 2d restricted boltzmann machines (rbms) and lstm networks. this approach addresses the existing gap in the literature by accurately extracting spatial patterns from video frames and effectively modeling temporal relationships. in the proposed method, restricted boltzmann machines extract important spatial features from images without the need for extensive preprocessing, while lstm networks model the complex temporal dependencies. experimental results on the kth, ucf sports, and hmdb51 datasets demonstrate improved performance with accuracies of 95.3%, 93.4%, and 70.8%, respectively, thereby establishing the significant effectiveness of the proposed approach compared to the current competitive methods.