یک چارچوب استدلال معنایی سلسله‌مراتبی برای تشخیص اشیاء در طراحی‌های انتزاعی

تشخیص اشیاء در تصاویر واقع‌گرایانه پیشرفت چشمگیری داشته است، اما در تصاویر غیرواقع‌گرایانه مانند اسکچ‌ها، به دلیل تغییر دامنه بصری و عدم وضوح، عملکرد ضعیفی نشان می‌دهد. ویژگی‌های بصری با دقت پایین، ناقص و بسیار انتزاعی در طراحی‌ها، نیاز به یک تغییر رویکرد از تطبیق صرفاً بصری به سمت استدلال مفهومی و معنایی دارد، چالشی که مدل‌های بینایی استاندارد فاقد آن هستند. چارچوب‌های قبلی مانند تشخیص عامل‌محور هدایت‌شده توسط مدل زبانی بزرگ و مدل‌های زبانی بزرگ چندوجهی از توانایی مدل های زبانی بزرگ در تولید برچسب‌های پویا و استدلال زمینه‌ای برای بهبود درک دنیای باز بهره برده‌اند. ما sketch-a-llm، یک چارچوب نوین استدلال معنایی سلسله‌مراتبی را پیشنهاد کرده ایم که از یک مدل مکان‌یابی بصری انتزاعی برای تولید پیشنهاد و یک طبقه‌بندی‌کننده معنایی مبتنی بر مدل زبانی بزرگ برای استدلال زنجیره فکری استفاده می‌کند. این چارچوب قابلیت تشخیص صفر-نمونه برتر برای اشیاء انتزاعی را فراهم می‌سازد. روش ما به طور قابل توجهی از خطوط مبنای پیشرفته فراتر رفته و پارادایم جدیدی را برای درک بصری مبتنی بر اولویت‌دهی قصد معنایی ایجاد می‌کند.