میهن داکیومنت بزرگترین مرجع و مرکز دانلود پایان نامه (متن کامل فرمت ورد) فروش پایان نامه - خرید پایان نامه (کاردانی ، کارشناسی)همه رشته ها
حقوق اقتصاد مدیریت روانشناسی ریاضی تربیت بدنی کامپیوتر نرم افزار و سخت افزار عمران معماری برق صنایع غذایی علوم اجتماعی هنر علوم سیاسی فیزیک مکانیک حسابداری

تبلیغات کلیکی - افزایش رتبه گوگل

اگهی رایگان

پروسه ارزیابی یک الگوریتم ژنتیک برای بهبود شبکه پس انتشار خطا bpn


کد محصول : 10005 نوع فایل : word تعداد صفحات : 42 صفحه قیمت محصول : 5000 تومان تعداد بازدید 968

فهرست مطالب و صفحات نخست


پروسه ارزیابی یک الگوریتم ژنتیک برای بهبود شبکه پس انتشار خطا bpn

چکیده:

 بسياري از بررسي ها يك رشته بيت را با استفاده از الگوريتم  ژنتيك به منظور بیان ساختار شبکه نگاشت داده اند تا كارايي شبكه هاي پس انتشار خطا را بهبود بخشند. زیرا محدوديت ها در تكنيك هاي جستجوي گراديان كه براي مسائل بهينه سازي غير خطي پيچيده استفاده مي شدند،اغلب كارايي متناقض و غير قابل پيش بيني را نتيجه داده اند.اين مقاله برروي چگونگي جمع آوري و ارزيابي مجدد ماتريس هاي وزن bpn تمركز دارد، در حاليكه عملگرهاي الگوريتم ژنتيك در هر نسل به منظور بهينه سازي ماتريس هاي وزن پردازش مي شوند. در اين روش over fitting، يك اشكال از bpn هاست كه معمولا در طول مرحله بعد ازآموزش  شبكه عصبي با نزول خطاي آموزش و افزايش خطاي پيش بيني اتفاق مي افتد ، قابل حذف شدن مي باشد .اين مقاله هم چنین، پارامترها و توپولوژي شبكه عصبي را در جهت افزايش امكان پذيري اجراي فضاي جواب براي مسائل غيرخطي پيچيده  توسعه مي دهد.

 
1)      مقدمه:

مدل هاي شبكه عصبي مصنوعي (ANN ) به طور گسترده در كاربردهاي متفاوتي استفاده شده اند. شبكه هاي پس انتشار خطا ، پركاربردترين مورد استفاده در شبكه هاي عصبي مصنوعي،براي حل تعداد زيادي از مسائل واقعي بكار گرفته شده است.

در سال هاي اخير بسياري از الگوريتم هاي  يادگيري به طور گسترده اي به منظور آموزش شبكه هاي عصبي براي حل مسائل پيچيده غير خطي طراحي شده و توسعه يافته اند. يكي از نقص ها ي اساسي در شبكه هاي عصبي جاري اين است كه تحقيق و پژوهش وابسته به طراحي شبكه عصبي مي باشد.طراحي يك شبكه عصبي شامل انتخاب يك مجموعه بهينه از پارامتر ها ي طراحي مي باشدنحقخ تا همگرايي سريع را در طول آموزش و دقت مورد نياز را هنگام فراخواني بدست آورد.

محققان به طور معمول شبكه هاي عصبي با را بسيار آموزش داده اند.

دقت هر تقريب آموزش بستگي به انتخاب وزن هاي مناسب براي شبكه عصبي دارد.متاسفانه bp يك الگوريتم جستجوي محلي است. بنابراين موجب واقع شدن در تله مي نيمم محلي مي شود .اگر وزن هاي اوليه در يك شيب محلي واقع شود ، الگوريتم احتمالا در يك بهينه محلي قرار خواهد گرفت .محققان از روش هاي متفاوتي استفاده مي كنند تا اين ويژگي ها يbp  را تنظيم كنند.

 براي مثال در یک روش الگوریتم مي تواند تنظيم شود تا مومنتم را تغيير دهد به طوريكه جستجو از بهينه محلي خارج شود و به سمت راه حل عمومي حركت كند .مقادير صحيح اين پارامتر ها قياسي و عمومي نمي باشند و اغلب براي يك مسئله خاص هستند .بنابراين براي هر مسئله داده شده تعداد زيادي از پارامترها بايد آزمايش شوند تا اطمينان پيدا كنند كه بهينه عمومي پيدا شده است .

 روش عمومي ديگر براي پيدا كردن بهترين راه حل (شايد بهينه عمومي ) با استفاده از bp  اين است كه آموزش دوباره از بسياري از نقاط رندم شروع شود.دوباره تعداد نقاط شروع رندم مشخص نمي باشد و عموما به طور قابل توجهي براي مسائل پيچيده متفاوت مي باشد.

روش سوم اين است كه ساختار شبكه عصبي بازسازي شود در چنين روشي احتمال رسيدن به بهينه عمومي بسيار زياد مي باشد .هر چند در اين روش تخمين پذيرفته شده اي عمومي وجود ندارد و محققان روش هاي متفاوت دیگری را ترجيح مي دهند .

يكي از معقول ترين روش ها ،استفاده از الگوريتم ژنتيك به منظور پيدا كردن يك ساختار بالقوه  براي استفاده از bp مي باشد .هر چه ساختار شبكه ساده تر باشد و پيچيدگي كمتري داشته باشد ، الگوريتم bp با احتمال بيشتري موفق مي شود.

 در اين رويكرد اگر چه شبكه عصبي به طور فزاينده اي شكست مي خورد ولي روش توانايي مدل كردن ارتباطات پيچيده را نيز دارد .

Bpn ها در عين محدوديت داشتن،هنگاميكه از تكنيك جستجوي گراديان استفاده مي كنند مشكل سرعت پايين همگرايي در رسيدن به جواب را دارا مي باشند.

 بنابراين يك bpn داراي دو اشكال عمده به شرح زير است :

1.تكنيك جستجوي گراديان به يك جواب بهينه با كارايي متناقض و غير قابل پيش بيني براي بعضي از كاربردها همگرا مي شود.

2.هنگاميكه در بعضي نواحي در مينيمم محلي واقع مي شودتكنيك جستجوي گراديان به طور ضعيفي دربدست آوردن يك جواب بهينه عمومي عمل مي كند.

 عمده ترين مسئله در طول پروسه آموزش شبكه عصبي احتمال 1OF در داده هاي آموزش مي باشد.بدين معنا كه در طول يك دوره آموزش معين شبكه ،قابليت حل مسائل توسط آن بهتر نمي شود.OF همچنين هنگامي اتفاق مي افتد كه شبكه عصبي دارای درجات آزادي بيشترنسبت به حالتی است  كه مي توانست به وسيله نمونه هاي آموزشي تحميل شود.OF معمولا در طول مرحله بعد از آموزش شبكه عصبي با كاهش خطاي آ‌موزش وافزايش خطاي پيش بيني رخ مي دهد . بنابراين در توانايي عموميت دادن يك شبكه بسيار ضعيف مي باشد .OF داده هاي آموزش مخصوصا در شبكه هايي با يك لايه مخفي معمول مي باشد .آموزش در يك مينيمم محلي متوقف مي شود كه به نتايج غير موثر منجر مي شود و يك تناسب سازي ضعيف از مدل را نشان مي دهد .بهترين روش براي كاهش وزن ها در Riply,1993)) پيشنهاد شده بود تا از چنين OF دوري نمايد .

در بررسي (Schittenk 1997)  شبكه پس انتشار خطا روي مجموعه داده نشان داده شده موجب OF شد كه بعد از تعداد تكرار مشخصي در مرحله آموزش شروع شد .دو استراتژي ارائه شدند تا مقدار اطلاعات انتقال داده شده را به وسيله يك شبكه feed forward،رو به جلو، كه در آناليز مولفه اصلي (PCA) استفاده شده بود محدود كنند .در 1997 zhang  و همکارانش نشان دادند كه OF همچنين هنگاميكه تقريب چند جمله اي هاي مرتبه بالا براي مناسب سازي تعداد كمي از نقاط استفاده شده بود اتفاق مي افتد . در مقاله آنها يك شبكه عصبي بكار برده شده بود تا فلورانس داده ها را از يك سيستم تحمیلی چند مولفه اي به منظور انتخاب ساختاري بهينه مدل كند ،شبكه از يك الگوريتم پيشنهادي هرس نود پنهان (HNPA) نيز استفاده مي نمود .

 
با توجه به اين موارد بهبود همگرايي bpn  و دوري از OF  داده ها در طي آموزش هر دو خيلي مهم هستند.

 

 الگوريتم ژنتيك

 

الگوريتم ژنتيك متعلق به كلاسي از الگوريتم هاي جستجوي تصادفي بر پايه جمعيت مي باشدكه الهام گرفته از فرضيه تكامل تدريجي كه به صورت الگوريتم هاي تكاملي (EA) ناميده مي شوند .ديگر الگوريتم هاي اين كلاس شامل استراتژي هاي تكاملي (ES) و برنامه نويسي هاي ژنتيك (GP) مي باشد.

 GA يك روش جستجوي عمومي است كه از يك جمعيت از راه حل ها به ديگري جستجو مي كند . براي مسائل محدود [4] و براي مسائل پيچيده ، الگوريتم ژنتيك (GA) به طور استثنائي هنگام بهينه سازي توابع غير خطي مشكل ،در بدست آوردن راه حل عمومي به گونه اي مناسب عمل مي نمايد.آنها هم چنين در [5],[7] اثبات كردند كه GA نيز در بهينه سازي شبكه عصبي داراي كارايي بالاست .

به طور كلي الگوريتم با انتخاب تصادفي يك جمعيت اوليه از راه حل هاي ممكن آغاز مي شود .اين جمعيت ، نسل اول است كه الگوريتم ژنتيك در آن ،راه حل بهينه را جستجو مي كند .مقدار جمعيت اوليه 50 در نظر گرفته شده است .بنابراين براي يك الگوريتم ژنتيك مورد آموزش ، 50 مجموعه از وزن ها ، در هر نسل ارزيابي مي شود .بر خلاف bp  كه از يك نقطه به نقطه اي ديگر حركت مي كند ،GA فضاي وزن را از يك مجموعه از وزن ها به مجموعه اي ديگر ، به طور همزمان در بسياري از جهت ها جستجو مي كند .اين احتمال يافتن بهينه عمومي را افزايش مي دهد .براي هر يك از راه حل ها ، تابع ارزياب محاسبه مي شود .در اين مقاله مجموع مربعات خطا به عنوان تابع هدف مورد استفاده قرار مي گيرد كه با bp سازگار مي شود .يك احتمال به هر راه حل بر پايه مقدار تابع هدف آن اختصاص داده مي شود .به عنوان مثال راه حل هايي كه كمترين مقدار مجموع مربعات خطا را دارند ، بيشترين احتمال را به خود اختصاص مي دهند و بدين نحونسل اول كامل مي شود.نسل دوم به وسيله انتخاب تصادفي يك جمعيت جديد ايجاد مي شود .50 راه حل با جايگذاري انتخاب مي شوند  چنانچه راه حل هاي خوب ، احتمال بيشتري دارند تا در جمعيت جديد نمايش داده شوند و بر عكس راه حل هاي ضعيف حذف خواهند شد،اين بازتوليد ناميده مي شود.به عبارت ديگر ويژگي هاي مطلوب تر در بهينه سازي تابع هدف ،دوباره ساخته خواهند شد و در نسل ها ي بعد پيشرفت مي كنند در حاليكه صفات ضعيفتر حذف مي شوند..اين جمعيت جديد از راه حل ها به صورت رندم به دو راه حل بهتر با مقدار تابع ارزياب كمتر ، ميزان خطاي كمتر انتخاب مي شوند و با توجه به احتمال ادغام عمل ادغام صورت مي پذيرد. دوراه حل ممكن فرزند را توليد مي كنند كه هر يك با بعضي از پارامتر ها (وزن ها) را  از راه حل هاي والد دارا هستند . سر انجام هر راه حل يك احتمال كوچك دارد هر يك از وزن ها هاي آن ممكن  است به طور يكنواخت  با يك مقدار انتخاب شده از محدوده پارامتر جايگزين شود (جهش).اين مجموعه نتايج از راه حل ها اكنون يك جمعيت جديد يا نسل بعدي مي باشد و پروسه تكرار مي شود .اين پروسه ادامه مي يابد تا هنگاميكه جمعيت اوليه به صورت نسلي  رشد كند كه بهترين مسئله بهينه سازي ,بهينه مطلوب , را تولید كند.

 الگوریتم ژنتیک به طور گسترده در شبکه های  عصبی مصنوعی استفاده شده است . كاربرد الگوريتم هاي ژنتيك براي شبكه هاي عصبي در دو گروه مجزا تقسيم مي شوند .

اول - الگوريتم هاي ژنتيك براي پيدا كردن معماري بهينه شبكه براي اهداف خاص استفاده مي شود .در اين روش معماري هاي متفاوت شبكه به صورت ماتريس هاي اتصال نمايش داده مي شوند كه مستقيما در يك رشته بيت نگاشت يافته اند .آنگاه عملگرهاي استاندارد ژنتيك استفاده مي شوند تا روي جمعيتي از اين رشته بيت ها عمل كنند تا پي در پي سطوح ارزيابي بالاتري را توليد نمايند .

دوم – ديدگاه دوم بهينه سازي شبكه عصبي با استفاده از الگوريتم  ژنتيك براي جستجو مي باشد .اين پژوهش نيز بر پايه اين ديدگاه مي باشد .اين روش از نمايش باينري وزن ها استفاده مي كند .در مقاله جاري ،همه وزن ها به صورت اعداد اعشاري در الگوريتم ژنتيك نمايش داده مي شوندو به طور متوسط در دستیابی به راه حل های بهینه موفق شناخته شده است .الگوریتم های ژنتیک بهینه سازی کارایی bpn ، پارامتر ها و توپولوژي شبكه را تنظيم و تاييد مي كنند .چندين مقاله كارايي بهينه سازي bpn  بدست آمده مبتني بر GA را با bpn  متداول مقايسه نموده اند .

در مطالعاتي ديگر (Arena, Capponetto,Fortuna 1992 , maniezzo 1994  ,sexton 1998)
 
 GA ها استفاده مي شوند تا ساختار شبكه بهينه را براي هدف مشخصي پيدا كنند .

بيشتر اين مطالعات بر پايه تكنيك جستجوي گراديان مي باشند تا اتصال مقادير وزن را در مدل دست آورند .هر چند ضررهاي قرار گرفتن در يك مي نيمم محلي و كارايي نامتناقض و غير قابل پيش بيني نمي تواند حذف شود .بسياري از مطالعات قبلي صحت پيش بيني برجسته اي راايجاد نمي كردند كه اين مورد تا حدي به دليل ناتواني پيدا نمودن نتايج سازگار بوده است .دليل ديگر ممكن است همگرايي محلي در تكنيك جستجوي گراديان باشد.

در 1998 sextone  و همكارانش, يكي از اميد بخش ترين راه حل هاي استفاده از يك الگوريتم جستجوي عمومي را ارائه دادند تا مقادير وزن راه حل ها را ازساختار يك شبكه عصبي ثابت به طور مستقيم پيدا كنند.آنها از الگوريتم ها ي ژنتيك براي پيدا كردن مقاير وزن به طور مستقيم استفاده كردند و نشان دادند كه اين راه حل ها از روش هاي معمول مورد استفاده بهتر است  .اين مطالعات به طور مستقيم روي مقادير وزن تمركز داشته تا كارايي نتايج را تشخيص دهد .البته آنها bpn ها را با يك مدل توپولوژي ثابت شبكه ارزيابي كردند.اگر چه توانايي تنظيم پارامتر ها و توپولوژي bpn در طول پروسه بهينه سازي بسيار مهم است ,يك ساختار ثابت ممكن است فضاي جستجو را براي راه حل هاي ممكن محدود كند .

  به منظور بررسي كامل خاصيت مقادير باید دانست هنگاميكه الگوريتم هاي ژنتيك اعمال مي شود ،همانند مطالعه sextone و همكارانش ، آنگاه نياز به بيت هايي در يك زير رشته به طور چشمگيري افزايش مي يابد زيرا مقادير وزن توپولوژي به صورت اعداد اعشاري نمايش داده مي شوند .هر ارتباط بين نرون ها در لايه هاي مختلف از شبكه يك زير  رشته را نياز دارد .بنابراين زير رشته اي طولاني, كه به يك رشته الگوريتم ژنتيك باينري (كروموزوم) براي نگاشت ساختار شبكه عصبي توسعه داده شده نيازمند است, به وجود خواهد آمد، كه اين رشته طولاني موجب ايجاد مشكلاتي مي گردد.

دراين مطالعه تاثيرات نامناسب و اشكالات OF در bpn بررسي شده اند .يك پروسه ارزيابي الگوريتم ژنتيك استفاده مي شود تا تاثيرات آن را اندازه گيري كند و طرحي قوي از آزمايشات را بهبود بخشد.هر نسل GA ارزيابي شده و غربال مي شوند تا دو روش بهتر bpn  را با استفاده از ماتريس هاي وزن توپولوژي bpn  توليد كند .بنابراين اين مجموعه ماتريس هاي وزن غربال شده دوباره ارزيابي مي شوند و با داده هاي آموزش ديگر  مقايسه مي شوند . مقاله حاضر ,مقالات قبلي را بر پايه تنظيم پويا پارامتر ها تكميل نموده و توپولوژي bpn  را گسترش مي دهد تا فضا ي جستجوي راه حل هاي امكان پذير را در جهت بهبود احتمال فرار از تله محلي توسعه دهد . بعضي فاكتورها مانند محدوده وزن های اوليه ،نرخ یادگيري و مومنتم مي توانند شديدا روي توانايي جستجوي راه حل يك bpn  تاثير گذاشته و بهينه سازي آنها مي تواند موجب بهبود احتمال يافتن راه حل بهينه عمومي گردد.براي مثال اگر به صورت رندم مقادير وزن رسم شده روي يك شي سراسري قرار گرفته باشند،الگوريتم از واقع شدن در بهينه محلي اجتناب مي ورزد . در نتيجه اين فاكتورها ، متغيرهاي تصميم در مقاله جاري ،با هدف بهينه سازي bpn  خواهند بود.

 فضاي راه حل به وسيله تنظيم فاكتور هاي مهم bpn مانند محدوده وزن هاي اوليه ،تعداد نرون ها در لايه اول ، تعداد نرون ها در لايه دوم و تعداد نرون ها در لايه سوم به صورت پويا جستجو مي شود.

 


منابع :


 
طراحی سایت : سایت سازان