ارائه یک معماری یادگیری عمیق برای شناسایی اعمال انسان در ویدئو

شناسایی اعمال انسان در ویدئو با توجه به کاربردهای بسیاری که در زمینه‌های مختلف از جمله امنیت، سلامت، مدیریت هوشمند شهر و ساختمان و ... دارد، طی چند سال اخیر توجه زیادی را به خود جلب کرده است. از سوی دیگر، رویکردهای یادگیری عمیق مانند شبکه‌های عصبی پیچشی (cnn ها) و شبکه‌های عصبی بازگشتی (rnn ها) در زمینه‌های مختلف توانسته‌اند نتایج بسیار خوبی را کسب کنند. با این وجود، علی‌رغم تغییرات زمانی قابل توجه در محتوای ویدئو، تاکنون شبکه‌های عصبی بازگشتی در شناسایی اعمال انسان ضعیف‌تر از روش‌های مبتنی بر شبکه‌های پیچشی عمل کرده‌اند. در این پژوهش با معرفی یک رویکرد سلسله مراتبی زمانی در دو سطح محلی و سراسری، با استفاده از شبکه‌های پیچشی متورم دو جریانی که از شبکه‌های عصبی پیچشی دو‌بعدی معروف برای دسته‌بندی تصاویر ایجاد شده‌اند و همچنین استفاده از پشته‌ای از لایه‌های واحدهای بازگشتی گیت‌دار (gru) توانسته‌ایم رویکردی جدید برای شناسایی اعمال انسان در ویدئو ارائه دهیم. در این رویکرد ابتدا ویژگی‌های فضایی-زمانی را برای هر دو جریان فضایی و زمانی به صورت محلی با استفاده از شبکه‌های پیچشی سه‌بعدی متورم (i3d) فضایی و زمانی استخراج می‌کنیم که این کار باعث تبدیل دنباله طولانی قاب‌های یک ویدئو به یک دنباله کوتاه‌تر و حاوی اطلاعات مفیدتر می‌شود. این دنباله کوتاه‌شده را به شبکه‌ای از gru ها می‌دهیم و در نهایت نیز نتایج دو جریان را تجمیع می‌کنیم. برای تجمیع نتایج، یک لایه جدید با نام میانگین وزن‌دهی شده را معرفی می‌کنیم که اهمیت هر جریان را در فرایند آموزش به صورت خودکار فرا می‌گیرد. ارزیابی‌ها نشان‌دهنده نتایجی قابل قبول برای دو مجموعه داده hmdb51 و ucf101 هستند. روش پیشنهادی موجب 1.6 درصد بهبود در صحت دسته‌بندی نمونه‌های مجموعه داده پرچالش hmdb51 نسبت به نتایج گزارش شده بهترین روش موجود گردیده است.