کاهش بعد غیرخطی مبتنی بر روش پیش‌تعلیم لایه به لایه شبکه‌های عمیق همراه با حفظ اطلاعات برچسب داده

یکی از ضعف‌های مطرح برای بسیاری از روش‌های کاهش بعد غیرخطی، عدم توجه به حفظ تمایزپذیری بین طبقات یا به‌عبارتی قابلیت تفکیک و تمایز بین داده‌ها در فضای با بعد پایین است؛ لذا با حفظ اطلاعات برچسب‌ها، تمایزپذیری بهتری بین داده‌ها با برچسب‌های مختلف انجام می‌پذیرد. در این مقاله، شبکه عصبی گلوگاه باسرپرست عمیق (sbdnn) که یک ساختار شبکه عصبی دو تکلیفه می‌باشد، پیشنهاد شده‌است. همچنین جهت تعلیم این ساختار، روش پیش‌تعلیم لایه به لایه با سرپرست که توسعه یافته روش پیش‌تعلیم لایه به لایه است نیز ارائه شده است. بدین وسیله در طی مراحل پیش‌تعلیم، اطلاعات برچسب‌ها برای جهت‌دهی به نحوه کاهش بعد در لایه‌های شبکه عمیق استفاده می‌شود. این شبکه با هدف کاهش بعد تصاویر و سپس بازسازی مجدد آن‌ها مورد تعلیم قرارگرفته به‌گونه‌ای که برای تفکیک طبقات دادگان بهینه باشد. در مرحله بازسازی، اطلاعات اصلی و مرتبط با نمونه‌ها درصورت استفاده از این شبکه حفظ می‌شود. آزمایشات انجام شده نشان می‌دهد برای دادگان mnist، تعلیم شبکه با پیش‌تعلیم لایه به لایه باسرپرست در مقایسه با روش پیش‌تعلیم لایه به لایه بدون برچسب داده، از درصد صحت بالاتری برخوردار بوده و مولفه‌های متمایزکننده بهتری را استخراج می‌نماید.