شناسایی رفتارهای ناهنجار در تصاویر ویدئویی با استفاده از شبکه عصبی کانولوشنی

شناسایی رفتار ناهنجار ازلحاظ اهمیت یک ضرورت در سامانه‌های نظارت بصری تبدیل‌شده است. همچنین این حوزه به‌عنوان یک چالش در تحقیقات بینایی ماشین بدل شده است. گرچه تلاش‌های بسیاری به‌منظور رفع این مشکل انجام‌شده است، اما شناسایی رفتار در یک محیط واقعی و غیرقابل‌کنترل فاصله معناداری تا به بلوغ رسیدن آن وجود دارد. مشکل اصلی ابهام در تفاوت خصوصیات رفتار غیر نرمال و نرمال است که تعریف آن معمولاً با توجه به زمینه پیشین تصاویر می‌تواند متفاوت باشد. در این مقاله یک سیستم شناسایی و موقعیت‌یابی رفتارهای ناهنجار در سکانس‌های ویدئویی ارائه‌شده است. جنبه کلیدی این روش درواقع ترکیب شبکه عصبی کانولوشنی زمانمکانی دوبعدی و سه‌بعدی به‌منظور شناسایی رفتار غیر نرمال در فریم‌های متوالی ویدئویی است. همچنین از روش شناساگر features from accelerated segment test (fast) به‌منظور افزایش ضریب اطمینان در شناسایی موقعیت‌های موردنظر در تصاویر ورودی به مدل شبکه عصبی کانولوشنی بهره گرفته‌شده است. این ویژگی‌ها تنها از حجم پیکسل‌های دارای حرکت استخراج می‌شوند تا بتوانند هزینه محاسبه را کاهش دهند. ساختار مدل شبکه عصبی کانولوشنی به ما اجازه استخراج ویژگی‌های زمانمکانی که شامل استخراج ویژگی‌هایی با حرکات پیچیده نیز هست را می‌دهد.روش ارائه‌شده توسط مجموعه داده‌ی متداول که شامل رفتارها و اعمال ناهنجار متفاوت انسانی در موقعیت‌های گوناگون است، مورد آزمایش و ارزیابی قرار گرفته است. نتایج حاصل از آزمایش‌های مربوطه نمایانگر این است که سیستم ارائه‌شده در مقایسه با بسیاری از روش‌های متداول پیشین، عملکرد بهتری را دارد و کارایی آن در شناسایی رفتار غیر نرمال در مقایسه با روش‌های قبلی بسیار رقابتی است.

Abnormal behavior detection in video by using convolutional neural network

Unusual behavior detection is critically important for visual surveillance. It is also a challenging research topic in computer vision. Although much effort has been devoted to tackle this problem, such detection task in a realistic and uncontrolled environment is still far from mature. The major difficulty lies in the ambiguous characteristic in differentiating normal and abnormal behaviors, whose definitions often vary according to the context of video's history. In this paper we propose a framework for detecting and locating abnormal activities in video sequences. The key aspect of our method is the pairing of the 2D and 3D spatialtemporal Convolutional Neural Networks (CNN) for anomaly detection in contiguous video frames. The Features from Accelerated Segment Test (FAST) detector has been used In order to increase the reliability in identifying the interest locations in entry frames of convolutional neural network model. These feature extracted only from volumes of moving pixels that reduce the computational costs. The architecture of CNN model allows us to extract spatialtemporal features that contain complicated motion features. We test our framework on popular benchmark dataset containing various human abnormal activities and situations. Evaluation results show that our method outperforms most of other methods and achieves a very competitive detection performance compared to stateoftheart methods.