مروری بر سیستم‌های تحلیل محتوایی و معنایی ویدیو از دیدگاه ساختار سلسله مراتب معنایی در تولید فیلم

سیستم‌های تحلیل معنایی ویدیو به دسته‌ای از سیستم‌ها اطلاق می‌شود که نوعی ابزار هوشمند جهت بررسی و تحلیل محتوایی و معنایی ویدیو می‌باشند. بررسی و دسته‌بندی این سیستم‌ها می‌تواند از دیدگاه‌های مختلف انجام شود. در این مقاله سعیشدهبر اساس یک ساختار سلسله مراتبی که از نحوه تولید فیلم توسط یک فیلم‌ساز برگرفته شده است، سیستم‌های تحلیل معنایی ویدیواز نظر شکاف معنایی میان ویژگی‌های سطح پایین و مفاهیم سطح بالا مورد بررسی قرار گیرند. به این ترتیب، پس از معرفی سیستم‌های تحلیل معنایی ویدیو، دو چالش اصلی در این سیستم‌ها مطرح می‌شود: شکاف حسگری و شکاف معنایی. پس از آن با ارائه یکساختار سلسله مراتبی مبتنی بر نحوه ساخت فیلم، چگونگی کاهش شکاف معنایی در سیستم‌های تحلیل ویدیو مورد بررسی قرار گرفته و تحقیقات انجام شده در این زمینه مرور می‌شود. بر اساس این ساختار، سیستم‌های تحلیل ویدیو در سه سطح دسته‌بندی و مرور می‌شوند: پردازش فریم‌ها، استخراج محتوا و استخراج معنا. در نهایت مشکلات و مسائل باز در سیستم‌های کنونی تحلیل معنایی ویدیو بازگو می‌گردد. مهمترین مشکلات در این زمینه عبارتند از: تنوع رویدادها و مفاهیم در یک ویدیو، ‌امکان وجود معانی و مفاهیم متعدد براییک رویداد معین، پردازش‌های بلندمدت برای استخراج معانی و مفاهیم و استفاده و ترکیب داده‌های چندنوعی. به این ترتیب، با مروری بر مقالات، مسیرهای تحقیقاتی فعلی و مشکلات پیشرو در زمینه سیستم‌های تحلیل معنایی ویدیو معرفی خواهد شد.

Systems for Video Content and Semantic Analysis: A Review from Viewpoint of Semantic Hierarchy for Video Production

A semantic video analysis system is a semi or fullyautomated system for investigation of video contents and extraction of concepts and semantics from video. These systems can be classified from different viewpoints. In this article, the semantic gap between lowlevel features and highlevel concepts in the semantic video analysis systems is discussed and the literature is reviewed from viewpoint of semantic hierarchy for video production.To this end, after a brief description of video analysis systems and their general block diagram, two main challenges of these systems are discussed: sensory gap and semantic gap. Then, different approaches for reduction of the semantic gap are studied based on a semantic hierarchy used for video production. According to this hierarchical structure, there are three main steps for reduction of semantic gaps: frame processing content analysis and semantic extraction. Finally, open problems in this field of research are presented as the following. Usually, a wide variety of events and concepts may occur in a video. Different concepts may be assigned to an event in different circumstances. Some highlevel concepts may occur in a relatively long duration of video thus, extraction of such concepts requires processing of a relatively long duration of video to construct a semantic network between the concepts extracted from short durations of video. Usually, analysis of multimodal information may close the semantic gaps that exist in the analysis of singlemodal information.