روش پیش‌تعلیم سریع بر مبنای کمینه‌سازی خطا برای همگرایی یادگیری شبکه‌های‌ عصبی با ساختار عمیق

در این مقاله با توسعه روش‌های موجود و بر مبنای کمینه‌سازی خطا و حفظ تمایز بیشینه بین نمونه‌ها، یک روش پیش‌تعلیم لایه‌به‌لایه سریع و کارا جهت مقداردهی اولیه مناسب وزن‌ها در شبکه‌های عصبی با ساختارهای عمیق ارایه شده است. تعلیم شبکه‌های عصبی عمیق به‌دلیل مواجهه با تعداد بالای کمینه‌های موضعی اغلب همگرا نمی‌شود. درحالی‌که با مقداردهی اولیه مناسب وزن‌های شبکه به‌جای مقادیر تصادفی در ابتدای مسیر تعلیم، می‌توان از بسیاری از کمینه‌های موضعی اجتناب کرد. در این روش شبکه عصبی چندلایه به تعداد متناظری شبکه با یک لایه پنهان شکسته می‌شود و ابتدا این شبکه‌های یک لایه پنهان تعلیم داده می‌شوند. سپس مقادیر وزن حاصل از تعلیم اینها در شبکه عصبی اصلی قرار داده می‌شود و برای تنظیم دقیق وزن‌ها، تعلیم یک‌پارچه صورت می‌گیرد. روش پیشنهادی برای پیش‌تعلیم شبکه عصبی خودانجمنی پنج لایه پنهان جهت استخراج مولّفه‌های اساسی غیرخطی چهره برای دادگان بسفروس مورد استفاده قرار گرفت. مقایسه میانگین نتایج شبکه‌های‌ عصبی با مقداردهی اولیه تصادفی و مقداردهی با روش پیش‌تعلیم لایه‌به‌لایه نشان می‌دهد که این روش پیش‌تعلیم، علاوه‌بر اینکه سرعت همگرایی تعلیم را بهبود می‌دهد، قدرت تعمیم شبکه را نیز بالا می‌برد. به‌گونه‌ای‌که با وجود خطای تعلیم یکسان، با به‌کارگیری روش پیش‌تعلیم لایه‌به‌لایه برای مقداردهی اولیه وزن‌ها، خطای بازسازی هر پیکسل %69/13 کاهش و درصد صحت بازشناسی تصاویر با استفاده از مولّفه‌های استخراج شده حدود %10 بهبود داشته است. همچنین بررسی‌ها نشان داد که روش پیش‌‌تعلیم لایه‌به‌لایه در مقایسه با دو روش پیش‌تعلیم مشرف به هدف و تجزیه به ماشین‌های بولتزمان کارایی بالاتری دارد.