تشخیص تعاملات انسان و شیء بر مبنای ویژگی های استخراج شده از داده های عمق با استفاده از شبکه عصبی سیامی

تشخیص تعامل انسان و شیء (hoi) مجموعه‌ای از سه تایی‌‌های (انسان، شیء، تعامل) از یک تصویر را استخراج می‌‌کند. این حوزه، یکی از زمینه‌‌های تحقیقاتی رو به رشد در بینایی کامپیوتر است. علاوه بر اطلاعات دو بعدی مانند ظاهر انسان و اشیاء و موقعیت مکانی آن‌‌ها، وضعیت سه بعدی به خصوص در پیکربندی بدن انسان می‌‌تواند نقش مهمی در یادگیری تعاملات میان انسان و شیء داشته باشد. در این مقاله، مشخصه‌‌های بصری انسان‌، زمینه‌ و شیء که به ترتیب از وضعیت‌‌های انسانی و پیکربندی‌های فاصله‌‌ای انسان و شیء به‌‌ دست می‌‌آید، استخراج می‌شود. علاوه بر این، یک شبکه سیامی برای یادگیری ویژگی‌های ساختاری جفت‌های انسان- شیء استفاده می‌شود. شبکه سیامی بهبود یافته برای استخراج ویژگی‌های مشابه هدف، از ابرهای نقطه پیشنهاد می‌‌شود. شبکه سیامی بهبود یافته برای یافتن شباهت دو ورودی و استخراج ویژگی‌های مربوط به انسان و شیء پیشنهاد شده است این شبکه، توانایی تمایز را برای مرحله دوم که مرحله تشخیص تعاملات است، بهبود می‌بخشد. ما از یک بازنمایی داده بر اساس نگاشت سه بعد به دو بعد به صورت چند دیدی استفاده می‌کنیم، سپس از شبکه سیامی برای استخراج ویژگی‌های مربوط به این نگاشت به همراه جعبه شیء در یک توصیف‌گر محلی 32 بعدی استفاده می‌کنیم. نتایج آزمایش‌ها روی مجموعه داده hico-det نشان می‌دهد که روش ما توانسته است نتیجه تعاملات را بهبود بخشد و معیار map را نسبت به روش dj-rn به میزان 2/78 افزایش دهد