خلاصه‌سازی ویدئویی با روش ترکیبی گراف شبکه‌ای و خوشه‌بندی

ما در دنیایی زندگی می‌کنیم که وجود دوربین‌های خانگی و قدرت رسانه باعث شده تا با حجم خیره‌کننده‌ای از داده‌های ویدئویی سر و کار داشته باشیم. مسلم است روشی که بتوان با کمک آن، این حجم بالای فیلم را با سرعت و بهینه مورد دسترسی و پردازش قرار داد، اهمیت ویژه‌ای پیدا می‌کند. با کمک خلاصه‌سازی ویدئویی این مهم حاصل شده و فیلم به یک سری فریم یا کلیپ کوتاه ولی بامعنی خلاصه می‌گردد. در این پژوهش سعی گردیده در ابتدا داده با کمک الگوریتم k-medoids خوشه‌بندی شود؛ سپس در ادامه با کمک شبکه توجه گرافی کانولوشنالی، جداسازی زمانی و گرافی انجام گیرد و در گام بعدی با کمک روش ردکردن اتصال، نویزها و موارد تکراری حذف گردد. سرانجام با ادغام نتایج به‌دست‌آمده از دو گام متفاوت گرافی و زمانی، خلاصه‌سازی انجام گیرد. نتایج به دو صورت کیفی و کمی و بر روی سه دیتاست summe، tvsum و opencv مورد بررسی قرار گرفت. در روش کیفی به‌طور میانگین 88% نرخ صحت در خلاصه‌سازی و 31% میزان خطا دست یافته که به نسبت سایر روش‌ها جزء بالاترین نرخ صحت است. در ارزیابی کمی نیز روش پیشنهادی، کارایی بالاتری نسبت به روش‌های موجود دارد.

video summarization using a clustering graph neural networks

the increase of cameras nowadays, and the power of the media in people's lives lead to a staggering amount of video data. it is certain that a method to process this large volume of videos quickly and optimally becomes especially important. with the help of video summarization, this task is achieved and the film is summarized into a series of short but meaningful frames or clips. this study tried to cluster the data by an algorithm (k-medoids) and then with the help of a convolutional graph attention network, temporal and graph separation is done, then in the next step with the connection rejection method, noises and duplicates are removed, and finally summarization is done by merging the results obtained from two different graphical and temporal steps. the results were analyzed qualitatively and quantitatively on three datasets summe, tvsum, and opencv. in the qualitative method, an average of 88% accuracy rate in summarization and 31% error rate was achieved, which is one of the highest accuracy rates compared to other methods. in quantitative evaluation, the proposed method has a higher efficiency than the existing methods.