ترکیب شبکه عصبی موبایل‌نت با الگوهای دودویی محلی برای تولید گزارش رادیولوژی تصاویر سی‌تی‌اسکن کبد

در دنیای امروز پزشکی توسعه روزافزون ابزار تولید تصاویر رادیولوژی پزشکی در مراکز درمانی، ایجاد سیستم‌ های سبک، قابل‌حمل و دقیق جهت تحلیل و آنالیز تصاویر و استخراج اطلاعات تخصصی از این تصاویر را ضروری ساخته است. در بسیاری موارد تصاویر پزشکی فاقد برچسب یا حاشیه‌نویسی با اطلاعات تخصصی و کلینیکال هستند. ازاین‌رو طراحی سیستم‌هایی برای تولید اطلاعات تخصصی در مورد محتوای تصاویر یکی از چالش‌های مطرح است. در این پژوهش سیستم تولید گزارش رادیولوژی ساخت‌یافته مبتنی بر روش‌های حاشیه‌نویسی ارائه‌شده است. ازجمله چالش‌های اساسی در این زمینه استخراج ویژگی‌ها و توصیفگرهای مناسب از تصاویر به منظور مدل‌سازی مفاهیم و محتوای تصاویر است. بدین منظور با توجه به کارآمدی فرایند یادگیری عمیق و قابلیت آن در استخراج ویژگی متناسب با هدف، در این مقاله از شبکه‌های عمیق موبایل‌نت به دلیل سبک و دقیق بودن، استفاده‌ شده است. همچنین با توجه به کم بودن داده‌های آموزشی در حوزه‌های تخصصی پزشکی علاوه بر بهره‌گیری از روش‌های کاهش بیش برازش در شبکه موبایل‌نت، روش ترکیبی مبتنی بر توصیفگرهای عمیق و الگوی دودویی محلی ارائه‌ شده است. نتایج بیانگر موثر بودن روش پیشنهادی هیبریدی در بهبود دقت سیستم بوده و دقت نهایی سیستم 91.4% است.

Generate Structured Radiology Report from Liver CT Images Using Fusion of MobileNet and Local Binary Pattern

In today’s modern medicine, with the spreading use of radiological imaging devices in medical centers, the need to accurate, reliable, and portable medi­cal image analysis and understanding systems has been increasing constantly. Since usually the images are not accompanied by the required clinical anno­tation, automatic tagging and captioning systems are among the most desired applications. This research proposes an automatic structured radiology report generation system that is based on annotation methods. Extracting useful and descriptive image features to model conceptual contents of the images is one of the main challenges in this regard. Considering the ability of deep neural networks in soliciting informative and effective features as well as lower reso­urce requirements, MobileNets are employed as the main building block of the proposed system. Furthermore due to the lack of large labeled medical data for training the network and risk of overfitting, a joint descriptor is induced from the deep features and local bina­ry patterns. Experimental results confirm the efficiency of the proposed hybrid approach with accuracy 91.4%, as compared to the endtoend deep networks and classic annotation methods.