پردازش تصویر و بینایی ماشین در جراحی و آموزش آن

با پیشرفت‌های هوش مصنوعی در در دهۀ اخیر، استفاده از دادۀ تصویری و ویدیویی و فن‌آوری‌های مبتنی بر پردازش تصویر برای خودکارسازی روش‌های جراحی و آموزش آن، رونق یافته است. امروزه در بیش‌ترِ اتاق‌های عمل از یک یا چند دوربین و یا دستگاه ثبت اطلاعات استفاده می‌شود تا دادۀ مهم پزشکی برای انجام تحلیل‌های بعدی ذخیره شوند. از این اطلاعات تصویری می‌توان برای طراحی و توسعۀ سامانه‌های خودکار هدایت تصویری با هدف کمک به پزشک متخصص حین جراحی و آموزش آن استفاده کرد. هم‌چنین، این سامانه‌ها می‌توانند به‌عنوان مغز ابزارهای رباتیکی کمک‌جراح فعالیت کنند. یک سامانۀ هدایت تصویری جراحی نیاز به قسمت‌های مختلفی دارد. از مهم‌ترین این قسمت‌ها می‌توان به تشخیص، بخش‌بندی و ردیابی ابزارها و نواحی مهم جراحی، تشخیص مراحل، حرکات و ژست‌ها، و تشخیص مهارت‌های جراحی اشاره کرد. خودکارکردن این بخش‌ها با استفاده از پردازش تصویر و بینایی ماشین کمک می‌کند، تا سامانه درک مستقل و عمیقی از صحنۀ جراحی داشته باشد. در این مقاله ابتدا تعدادی از مجموعه‌داده‌های‌ تصویری مهم مربوط به جراحی معرفی شده، و سپس شماری از پژوهش‌های اثرگذار در زمینۀ پردازش تصویر و بینایی ماشین در کاربردهای ذکرشده با هدف ایجاد اجزای یک سامانۀ خودکار هدایت تصویری جراحی، معرفی شده و زمینه های تحقیقاتی پیش رو معرفی می‌شوند.

image processing and machine vision in surgery and its training

due to recent advancements in artificial intelligence, the utilization of image and video data along with image processing technologies has been significantly used in automating surgical procedures and their training. today, one or more cameras or imaging devices are commonly used in most operating rooms to capture crucial medical information for further analysis. these visual data can be leveraged to design and develop automated image-guided systems aimed at assisting specialized surgeons during procedures and facilitating their training. furthermore, these systems can serve as the cognitive knowledge for assisting surgical robots. an image-guided surgical system comprises of various components, among which the identification, segmentation, and tracking of surgical instruments and critical anatomical regions, phase recognition, motion analysis, and gesture recognition, and more importantly as surgical skill assessment, are the most crucial components. automating these components by the use of image processing and machine vision will certainly contribute to the system’s deep and independent understanding of the surgical scene. this article introduces the important datasets relevant to image processing and machine vision in surgical applications. subsequently, several research endeavors in the realm of image processing, machine vision, on the above-mentioned applications are presented, and some prospect research areas are introduced.