یکی از مسائل حل نشده در شبکه های عصبی سه لایه انتخاب ساختار بهینه (ساختار با حداقل تعداد واحدهای لایه میانی) برای شبکه میباشد. در شبکه های عصبی سه لایه، در ابتدای آموزش، یک ساختار مشخص برای شبکه انتخاب و سپس شبکه آموزش داده می شود. کارایی الگوریتم آموزش برای این شبکه ها به میزان زیادی به ساختار انتخاب شده دارد. برای مشخص نمودن ساختار بهینه باید یک جستجوی کامل در فضای ساختار ها انجام گیرد که این خود دارای هزینه بالایی است. مساله پیدا کردن ساختار بهینه برای شبکه های عصبی، در گروه مسائل NP-Hard قرار دارد و به همین جهت برای کاهش زمان تعیین ساختار مناسب برای شبکه ، روش های تقریبی از جمله الگوریتم های سازنده، الگوریتم های هرس، الگوریتم های ترکیبی و الگوریتم های تکاملی پیشنهاد شده اند که ساختار نزدیک به بهینه را تولید می کنند. در اغلب این روش ها، از الگوریتم های کوهنوردی به عنوان ابزار جستجو استفاده می شود که مشکل گرفتاری در حداقل های محلی را دارند. در این مقاله الگوریتمی به نام الگوریتم بقاء برای تعیین ساختار شبکه عصبی سه لایه معرفی شده است که از یک اتوماتان یادگیر (به عنوان یک ابزار جستجوی عمومی) و الگوریتم انتشار خطا به عقب استفاده می کند و در ضمن آموزش، ساختار نزدیک به بهینه را برای شبکه تعین می نماید. استفاده از اتوماتان های یادگیر به عنوان یک ابزار جستجوی عمومی مشکل گرفتاری در حداقل های محلی را تا حدودی حل می نماید و احتمال رسیدن به بهترین ساختار را افزایش می دهد. در الگوریتم بقا، آموزش از یک شبکه بزرگ شروع شده و اتومان یادگیر با افزودن و کاستن واحدهای مخفی حداقل تعداد واحدهای مورد نیاز لایه مخفی را تعیین می کند.

هدف از مهندسی شبکه های عصبی بررسی معایب و مزایای شبکه های عصبی مصنوعی و ارایه روشهایی برای بهبود کارایی آنهاست. یکی از موضوعات مورد بحث در مهندسی شبکه های عصبی چندلایه، یافتن ساختار مناسب (نزدیک به بهینه) برای حل مساله میباشد. معیار و نحوه انتخاب اندازه شبکه عصبی برای یک مساله خاص هنوز شناخته شده نیست. در روشهای کلاسیک، طراح شبکه در ابتدای آموزش ساختاری را برای شبکه تعیین و سپس شبکه را آموزش میدهد و ساختار تعیین شده در حین آموزش ثابت نگاه داشته میشود. تعیین اندازه شبکه عصبی (تعداد واحدها و لایه های مخفی) تاثیر عمده ای بر روی کارایی شبکه های عصبی خواهد داشت. طراحی یک شبکه با ساختار بهینه یک مساله ذاتا مشکل است. بهمین جهت بیشتر الگوریتم های ارایه شده برای تعیین ساختار شبکه های عصبی، الگوریتم های تقریبی هستند. این الگوریتم ها را میتوان به پنج گروه عمده الگوریتم های هرس، الگوریتم های سازنده، الگوریتم های ترکیبی، الگوریتم های تکاملی و الگوریتم های بر اساس اتوماتانهای یادگیر تقسیم کرد. تنها الگوریتم گزارش شده براساس اتوماتان یادگیر، الگوریتم بقا نام دارد که توسط بیگی و میبدی ارایه گردیده است. این الگوریتم از یک اتوماتان یادگیر مهاجرت اشیا (بعنوان یک ابزار جستجوی عمومی) و الگوریتم یادگیری انتشار خطا به عقب استفاده میکند و در ضمن آموزش، تعداد واحدهای مخفی یک شبکه سه لایه را تعیین مینماید. در این مقاله سه الگوریتم براساس اتوماتانهای یادگیر مهاجرت اشیا و الگوریتم یادگیری انتشار خطا به عقب ارایه شده است که ساختار مناسب شبکه عصبی سه لایه (ساختاریکه دارای اندازه کوچک، پیچیدگی آموزش کم و قدرت تعمیم بالا باشد) را برای یک مجموعه از الگوهای آموزشی تعیین می نماید. اغلب روشهای گزارش شده برای تعیین ساختار شبکه از الگوریتم های کوهنوردی استفاده میکنند و مشکل گرفتاری در حداقل محلی را دارند. در روش پیشنهادی در این مقاله بدلیل استفاده از روشهای جستجوی عمومی، امکان گرفتاری در حداقل های محلی فضای ساختارها کاهش می یابد. الگوریتم های ارایه شده روی مسایل متنوعی از جمله شناسایی اعداد فارسی و شناسایی اعداد انگلیسی آزمایش شده اند. از طریق شبیه سازی نشان داده شده است که شبکه های تولید شده توسط الگوریتم های پیشنهادی دارای کارایی بالایی هستند. همچنین الگوریتم های پیشنهادی با الگوریتم هرس کارنین مقایسه گردیده است. نتایج الگوریتم های پیشنهادی هم از لحاظ ساختار تولید شده، هم از نظر زمان مورد نیاز برای تعیین ساختار شبکه عصبی، بسیار بهتر از الگوریتم هرس کارنین عمل کرده اند.

الگوریتم BP برای طیف وسیعی از کاربردها مورد استفاده قرار گرفته است یکی از مشکلات عمده این الگوریتم، پایین بودن نرخ همگرایی آن می باشد. دلیل عمده اشباع شدن تابع فعالیت می باشد. به محض اینکه خروجی یک واحد در ناحیه اشباع قرار می گیرد، گردایان متناظر دارای مقدار کوچکی خواهد بود، اگر از نرخ یادگیری ثابت کوچکی استفاده شود این مساله می تواند باعث پائین آمدن سرعت همگرایی شود. یک راه حل برای افزایش سرعت همگرایی، استفاده از نرخ یادگیری بزرگ می باشد. متاسفانه این روش در مواقعی که در نقطه ای از سطح خطا قرار داریم که شیب تندی دارد بسیار خطرناک بوده و می تواند باعث نوسان و واگرایی شود. لذا نیاز به الگوریتم هایی داریم که بتواند به طور پویا نرخ همگرایی را براساس تغییرات مقادیر گردایان تغیر دهد. در این مقاله روش های مختلف تغییر دینامیک نرخ یادگیر مورد بررسی قرار گرفته است. الگوریتم نرخ یادگیری متغیر(VLR) و الگوریتم های تطبیق نرخ یادیگری مبتنی بر اتوماتان های یادگیر توضیح داده شده و بر روی مسائل مختلف پیاده و با هم مقایسه شده اند. نظر به اینکه در روش VLR پارامترهای مورد استفاده در این روش تاثیر بسزایی در عملکرد آن دارد لذا در این مقاله از اتوماتان یادگیر برای تنظیم پارامترهای آن استفاده کرده ایم. در الگوریتم جدید که تحت عنوان الگوریتم نرخ یادگیری متغیر تطبیقی (AVLR) نامگذاری کرده ایم پارامترهای الگوریتم VLR به طور دینامیک توسط اتوماتان یادگیر براساس تغییرات خطا تغییر داده می شود. نتایج مشابه سازی ها بر روی مسائل مختلف نشان می دهد الگوریتم پیشنهادی نسبت به روش های دیگر از سرعت همگرایی بالایی برخوردار می باشد.