دانشكده مهندسي برق، دانشگاه صنعتي شريف

شبكه هاي عصبي نوعي مدلسازي سادهانگارانه از سيستمهاي عصبي واقعي هستند كه كاربرد فراواني در حل مسائل مختلف در علوم دارند. حوزه كاربرد اين شبكهها آنچنان گسترده است كه از كاربردهاي طبقهبندي گرفته تا كاربردهايي نظير درون يابي، تخمين، آشكارسازي و … را شامل مي شود. شايد مهمترين مزيت اين شبكه ها، توانايي وافر آنها در كنار سهولت استفاده از آن ها باشد.
به موازات گسترش كاربردهاي شبكه عصبي، نياز به فراگيري آن و آشنايي با تواناييها و قابليتهاي آن رخ مي نمايد. در اين راستا، تأليفات زيادي وجود دارد كه مي توان به آن ها استناد نمود اما در اكثر قريب به اتفاق اين خودآموزها، مباني اين شبكهها با تفاصيل و جزئيات بسيار بيان شده است و مسلماً به عنوان قدم اول براي آشنايي، حجيم و وقت گير به نظر مي رسد. لذا بر آن شديم تا با درنظر گرفتن نياز دانشجويان، به ويژه در كاربردهاي پروژه اي در مقطع كارشناسي، مقدماتي را جهت آشنايي با اين شبكهها تدوين كنيم به نحوي كه به عنوان يك خودآموز، در پيمودن قدمهاي اوليه براي آشنايي و سپس تسلط بر مفاهيم مقدماتي آن ها، راهگشا باشد. بنابراين در اين جزوه سعي كرده ايم مباني مدل سازي و تحليل يك سيستم با استفاده از شبكه هاي عصبي بيان شده و شبكه چندلايه پرسپترون، به عنوان يكي از پركاربردترين شبكه ها مرور گردد. همچنين رويكرد در پيش رو بر اين است كه در كنار بيان اجمالي روابط رياضي مورد نياز، به نكات پياده سازي و تكنيكهاي عملي استفاده از آن ها اشاره خواهيم كرد.
با توجه به گستردگي مطالب، در اين نوشتار سعي بر آن شده است كه از پرداختن به جزئيات غيرضروري پرهيز شود. لذا در اين نسخه، تنها به مفاهيم مقدماتي و ضروري شبكه هاي عصبي مصنوعي خواهيم پرداخت، به اين اميد كه دانشجويان عزيز بتوانند با فراگيري اين نكات، مسير فراگيري و به كار گيري اين شبكهها را سادهتر بپيمايند. در اين راستا، رئوس

مطالبي كه به آنها خواهيم پرداخت عبارتند از:
• مفهوم شبكه
• مدل رياضي شبكه عصبي مصنوعي
• پرسپترون چند لايه
• آموزش شبكه به روش پسانتشار خطا
• روند شبيه سازي مسائل

مفهوم شبكه

يكي از روش هاي كارآمد در حل مسائل پيچيده، شكستن آن به زيرمسأله هاي ساده تر است كه هر كدام از اين زيربخشها به نحو سادهتري قابل درك و توصيف باشند. در حقيقت يك شبكه، مجموعه اي از اين ساختارهاي ساده است كه در كنار يكديگر سيستم پيچيده نهايي را توصيف مي كنند. شبكه ها انواع مختلفي دارند اما همگي آنها از دو مؤلفه تشكيل مي شوند:
1. مجموعهاي از گرهها؛ هر گره در حقيقت واحد محاسباتي شبكه است كه ورودي ها را گرفته و برروي آن پردازش انجام ميدهد تا خروجي بدست آيد. پردازش انجام شده توسط گره مي تواند از ساده ترين نوع پردازش ها نظير جمع كردن ورودي ها تا پيچيده ترين محاسبات را شامل شود. در حالت خاص، يك گره ميتواند خود، شامل يك شبكه ديگر باشد.
2. اتصالات بين گرهها؛ اين اتصالات نحوه گذر اطلاعات بين گره ها را مشخص مي كند. در حالت كلي اتصالات .باشند (Bidirectional) يا دوسويه (Unidirectional) مي توانند تك سويه تعامل بين گره ها از طريق اين اتصالات سبب بروز يك رفتار كلي از سوي شبكه مي گردد كه چنين رفتاري به تنهايي در هيچ يك از المانهاي شبكه ديده نميشود. جامع بودن اين رفتار كلي بر عملكرد موجود در هر گره سبب تبديل شبكه به يك ابزار توانمند ميشود. به عبارت ديگر، مجموعه سادهاي از المانها وقتي در قالب يك شبكه باشند مي توانند رفتاري از خود بروز دهند كه هيچ يك از آن المان ها به تنهايي قادر به بروز چنين مشخصه اي نبود.

مدل رياضي شبكه عصبي مصنوعي

به هنگام مدل كردن اعصاب، از پيچيدگي هاي آن ها صرف نظر مي شود و تنها به مفاهيم پايه اي بها داده مي شود، چرا كه در غير اين صورت رويكرد مدلسازي بسيار دشوار خواهد شد. در يك نگاه ساده، مدل يك عصب بايد شامل وروديهايي باشد كه در نقش سيناپس انجام وظيفه كنند. اين ورودي ها در و زنهايي ضرب مي شوند تا قدرت سيگنال را تعيين كنند. نهايتاً يك عملگر رياضي تصميم گيري مي كند كه آيا نرون فعال شود يا خير و اگر جواب مثبت باشد، ميزان خروجي را مشخص مي سازد.

پرسپترون چند لايه

هرچند نحوه مدل كردن نرون جزء اساسيترين نكات كليدي در كارآيي شبكه عصبي ميباشد اما نحوه برقراري اتصالات و چيدمان (توپولوژي) شبكه نيز فاكتور بسيار مهم و اثرگذاري است. بايد توجه داشت كه توپولوژي مغز انسان آنقدر پيچيده است كه نميتوان از آن به عنوان مدلي براي اعمال به شبكه عصبي استفاده نمود، چرا كه مدلي كه ما استفاده مي كنيم، يك مدل ساده شده است در حالي كه چيدمان مغز از المانهاي بسيار زيادي استفاده مي كند.

به منظور آموزش شبكه و اصلاح وزنها تا رسيدن به يك خطاي معنادار، روش هاي بسيار زيادي وجود دارد. يكي از مشهورترين اين روش ها، الگوريتم پس انتشار خطا (Error back propagation algorithm) است كه در ادامه توضيح داده ميشود.

الگوريتم پس انتشار خطا:
اين الگوريتم كه در سال 1986 توسط روملهارت و مككليلاند پيشنهاد گرديد، در شبكههاي عصبي پيشسو (Feed forward) مورد استفاده قرار مي گيرد. پيش سو بودن به اين معناست كه نرون هاي مصنوعي در لايه هاي متوالي قرار گرفته اند و خروجي (سيگنال) خود را رو به جلو مي فرستند. واژه پس انتشار نيز به معناي اين است كه خطاها به سمت عقب در شبكه تغذيه مي شوند تا وزنها را اصلاح كنند و پس از آن، مجدداً ورودي مسير پيشسوي خود تا خروجي را تكرار كند. روش پس انتشار خطا از روش هاي باسرپرست است به اين مفهوم كه نمونه هاي ورودي برچسب خوردهاند و خروجي مورد انتظار هر يك از آنها از پيش دانسته است. لذا خروجي شبكه با اين خروجي هاي ايده آل مقايسه شده و خطاي شبكه محاسبه ميگردد. در اين الگوريتم ابتدا فرض بر اين است كه وزنهاي شبكه به طور تصادفي انتخاب شده اند. در هر گام خروجي شبكه محاسبه شده و بر حسب ميزان اختلاف آن با خروجي مطلوب، وزن ها تصحيح مي گردند تا در نهايت اين خطا، مي نيمم شود. در الگوريتم پس انتشار خطا، تابع تحريك هر عصب به صورت جمع وزندار ورودي هاي مربوط به آن عصب درنظر گرفته مي شود.

دانلود فایل کامل

نوشته آموزش شبکه عصبی Artificial Neural Network اولین بار در ايران متلب. پدیدار شد.

حسام سقا        –          علي نيک نژاد

مقدمه

در شبکه هاي عصبي کلاسيک معماري شبکه بايد قبل از شروع کار مشخص شود به اين معني که بايد تعداد لايه هاي مخفي و نرونهاي هر لايه مشخص شوند ، تشخيص دقيق معماري بهينه در اکثر موارد با پيچيدگي همراه است و معمولا” از سعي و خطا براي پيدا کردن معماري مناسب استفاده ميشود. از طرف ديگر آموزش بر روي شبکه بدست آمده بر روي تمامي شبکه همراه با هم صورت ميگيرد. آموزش همه نرون ها با يکديگر اين مشکل را دارد که طي فرآيند آموزش در هر مرحله تمامي ضرايب در جهتي تغيير ميکنند که خطاي کنوني را کاهش دهد و در مراحل مختلف هر بار بزرگترين منبع خطا دنبال ميشود و در مراحل بعدي منبع ( يا منابع ) ديگري که در مرحله کنوني خطاي بزرگتري دارند دنبال ميشود. اين باعث ميشود که شبکه بين منابع مختلف خطا تا حدي رفت و برگشت داشته باشد.

شبکه عصبي Cascade-Correlation رويکرد متفاوتي را در نظر ميگيرند. در اين شبکه ها اولا” معماري شبکه با اضافه کردن نرون هاي جديد بسته به نياز تعيين ميشود و ثانيا” بجاي آموزش تمام شبکه در هر مرحله ، در هر مرحله تنها بخشي از شبکه را آموزش ميدهد. به اين شکل علاوه بر تعيين خودکار معماري ، از رفت و برگشت بين منابع خطا نيز جلوگيري شده و بازدهي افزايش مي يابد.

معماري شبکه

شبکه هاي عصبي Cascade-Correlation همانند ساير انواع شبکه هاي عصبي شامل يک لايه ورودي و يک لايه خروجي هستند. تفاوت آنها در نرونهاي hidden آنهاست. اين شبکه ها در هر مرحله با افزودن يک نرون hidden جديد شبکه را گسترش ميدهند . هر نرون جديد از هر يک از نرون هاي ورودي و تمامي نرونهاي hidden قبلي ورودي ميگيرد و به ورودي تمامي نرونهاي خروجي ، خروجي دارد. علاوه بر روابط بين نرونهاي hidden ، بين هر يک از نرونهاي ورودي و نرونهاي خروجي نيز يک ارتباط برقرار ميباشد.

الگوريتم

شبکه هاي Cascade-Correlation در اولين قدم مانند شبکه هاي کلاسيک تنها با نرونهاي ورودي و نرونهاي خروجي آموزش ميبينند (ضرايب اوليه بصورت Random انتخاب ميشوند و تعيين وزن ها با هر الگوريتم آموزش مي تواند انجام مي شود ولي اينجا ازquickprop  که سريعتر است استفاده شده). در صورتي که خطا پس از طي کردن تعداد epoch هاي مشخصي مناسب بود ( مثلا” کمتر از مقدار مشخصي بود) فرآيند آموزش متوقف ميشود. در غير اينصورت از اين پس در هر مرحله با افزودن يک نرون جديد و آموزش شبکه بشکل مناسب دوباره اين آزمايش صورت ميگيرد تا بتواند خطاي باقيمانده را کاهش دهد. کار تا جايي که بلاخره شبکه به ميزان قابل قبول خطا برسد ادامه مي يابد.

افزودن نرون جديد

براي افزودن يک نرون جديد ، تعدادي نرون بعنوان کانديد ايجاد شده و ضرايب ورودي آنها بگونه اي تغيير مي يابد تا Correlation خروجي نرون  با ميزان خطاي شبکه افزايش يابد.  با گرفتن مشتق زنجيره اي از correlation نسبت به هر وزن بدست مي آيد:

سپس نروني که بيشترين Correlation را دارد انتخاب ميگردد. ضرايب ورودي اوليه هر يک از اين نرونها بصورت Random انتخاب ميشود و اين ضرايب با يکديگر تفاوت دارند ( براي اينکه بتوان نرونهاي کانديد متفاوتي ايجاد کرد) . از طرف ديگر اين نرونها ميتوانند از لحاظ تابع نرون نيز متفاوت باشند (اين مسئله بسيار جالب توجه است چون اين نوع شبکه ها ميتوانند بصورت dynamic از توابع متفاوتي استفاده نمايند)

انتخاب نروني که خروجي آن بيشترين Correlation يا همبستگي را با خطاي باقيمانده دارد اين کاربرد را دارد که با انتخاب ضريب خروجي مناسب ميتوان خطاي خروجي را کاهش داد . اگر اين همبستگي مثبت باشد ، با انتخاب ضريب منفي و اگر منفي باشد با انتخاب ضريب خروجي مثبت ، منفي خطاي باقيمانده در خروجي ظاهر شده و آن را کاهش مي دهد .

پس از انتخاب نرون مناسب، نرون جديد در شبکه قرار گرفته و کليه ضرايب ورودي آن ثابت ميشوند (در تمامي مراحل بعدي تغيير نخواهند کرد) و ضرايب ورودي نرون هاي خروجي آموزش داده ميشوند(مجددا با quickprop). اين آموزش تا جايي ادامه پيدا ميکند که يا خطا از حد مورد نظر کمتر گردد و يا سرعت تغييرات کاهش يابد . سپس شبکه با توجه به مقدار خطاي کنوني تصميم ميگيرد که نرون جديدي اضافه کند و يا الگوريتم را خاتمه دهد.

الگوريتم :

1-     براي وزنهاي خروجي ، شبکه را آموزش بده تا خطا پايدار شود و يا از حد مورد نظر کمتر گردد.

2-     اگر خطا کمتر از حد مورد نظر بود الگوريتم پايان مي يابد.

3-     تعدادي نرون کانديد ايجاد کن.

4-     وزنهاي ورودي نرونهاي کانديد را آموزش بده تا خطا به وضعيت پايدار برسد.

5-     نروني که بيشترين همبستگي را دارد پيدا کن و در شبکه اضافه کن.

6-      به مرحله اول برگرد.

انواع شبکه هاي Cascade-Correlation

علاوه بر شبکه هاي Cascade-Correlation کلاسيک که در بالا توضيح داده شد ، انواع ديگري از اين شبکه ها نيز موجود ميباشند :

—        Pruned-Cascade-Correlation(PCC)

—        Recurrent-Cascade-Correlation(RCC)

—        Genetic-Cascade-Correlation

شبکه هاي Pruned-Cascade-Correlation

ايده اصلي اين نوع شبکه ها اين است که ما ميتوانيم با حذف بعضي از ارتباطهاي بين نرونها (وزنها) بازدهي شبکه را افزايش دهيم.

اين شبکه ها يک Selection criterion که معمولا” عکس خطاي شبکه بر روي يک قسمت از داده هاي آموزشي(prune) است, در نظر ميگيرند . بکمک اين Selection criterion شبکه در هر مرحله قبل از افزودن نرون Selection criterion را محاسبه کرده و سپس در پايان نيز آن را محاسبه ميکند . اگر اين مقدار افزايش يافته باشد که نشاندهنده پيشرفت صحيح شبکه است ولي در غير اينصورت شبکه در حال بزرگ شدن بدون حاصل است و الگوريتم متوقف ميگردد. از طرف ديگر پس از افزودن نرون جديد شبکه با استفاده از اين Selection criterion ، تک تک هر يک از وزنها را حذف ميکند ، اگر اين مقدار افزايش يافت که نشاندهنده درست بودن تصميم ميباشد و در غير ايصورت وزن برگردانده ميشود.

شبکه هاي Recurrent-Cascade-Correlation

شبکه هاي recurrent کاربردهاي فراواني دارند از جمله ميتوان به توانايي تحليل داده هايي که وابستگي به زمان دارند و يا  به ترتيب خاصي به شبکه ارائه ميشوند اشاره کرد. (مانند سري هاي زماني) .

تبديل شبکه هاي Cascade Correlation به شبکه Recurrent از اين جهت مشکل است که مطابق تعريف ارائه شده ما ورودي هر يک از نرونهاي جديد را ثابت در نظر ميگيريم و اگر غير از اين باشد در واقع ما از مفهوم شبکه هاي CC خارج شده ايم. بنابراين در تعريف ارائه شده از نوع Recurrent اين شبکه ها تنها رابطه Feedback در اين شبکه ها بين هر نرون مخفي و خودش برقرار ميگردد . يعني نرون پس از delay مشخص شده ، خروجي خود را در ورودي دريافت ميکند. وزن اين ارتباط نيز همانند ساير وزنهاي ورودي نرون مورد نظر پس از قرار گرفتن در شبکه ثابت ميگردد.

شبکه هاي Genetic-Cascade-Correlation

ايده اصلي اين نوع شبکه ها استفاده از الگوريتم ژنتيک بجاي هر دو فاز آموزش(الگوريتم quickprop) در شبکه است. مشکلي که در شبکه هاي معمولي Cascade-Correlation وجود دارد کم بودن تعداد نرونهاي کانديد و همچنين عدم وجود ارتباط بين آنها مي باشد. در اين روش با در نظر گرفتن تعداد بيشتري کانديد ، در هر مرحله بکمک الگوريتم ژنتيک نسل بهتري از آنها ايجاد ميگردد.

در اين روش وزنها نقش کروموزوم را دارند و هر دسته از وزنهاي ورودي و خروجي نقش Individual ها را دارند. 50% کل جمعيت را وزنهاي ورودي و 50% ديگر را وزنهاي خروجي تشکيل ميدهند.

تابع ارزيابي در فاز ورودي همبستگي بين خروجي نرون مخفي و جمع خطاي شبکه  و براي فاز خروجي جمع خطاي شبکه ميباشد. براي جفت گيري از روش استاندارد 2-cross استفاده مي شود و جهش نيز با احتمال کم وجود دارد.

نتيجه گيري

همانطور که ديديم شبکه هاي Cascade-Correlation سعي مي کنند بعضي از مشکلات شايع در شبکه هاي عصبي را حل کنند. يکي از خصوصيات ويژه اين شبکه ها عدم نياز به دانستن معماري شبکه است. ما نيازي نداريم که تعداد نرونهاي لايه مخفي را بدانيم ( تعداد نرونهاي لايه هاي ورودي و خروجي بسته به طبيعت مسئله مشخص است) و اين ما را از حدس و خطاي معماري شبکه بي نياز مي کند از طرف ديگر نيازي به تعيين کردن تابع نرونها نيست چون در مرحله ايجاد نرون جديد در بين کانديد هاي مختلف ، توابع مختلفي ميتوانند حضور داشته باشند . شبکه اي که در نهايت توليد ميشود نسبت به شبکه هاي ديگر نسبتا” کوچک است و بازدهي بالاتري دارد. فرآيند آموزشي بدليل اينکه آموزش در هر مرحله تنها بر روي بخشي از شبکه صورت مي پذيرد سريعتر است. اما اين شبکه ها بدليل ساختار ويژه اي که دارند که در هر مرحله تلاش ميکند بزرگترين منبع خطا را حذف کنند ، نسبت به نويز حساس ترند و اگر داده ها Fuzzy(مبهم و پيچيده) باشند ممکن است نتايج مناسبي بدست نيايد و يا سرعت همگرايي نسبت به ساير روشها کمتر باشد.

مراجع

—  Scott E. Fahlman and Christian Lebiere,”The Cascade-Correlation Learning Architecture”, Carnegie Mellon University, 1991.

—  Scott E. Fahlman,”The Recurrent Cascade-Correlation Architecture”, Carnegie Mellon University,1991.

—  Mitchell A.Potter,”A Genetic Cascade-Correlation Learning Algorithm”, George Mason University,COGANN-92,1992

—  Jose Demisio,”The Cascade-Correlation Neural Network Growing Algorithm using the Matlab Environment”

نوشته شبکه هاي Cascade-Correlation اولین بار در ايران متلب. پدیدار شد.

در شبكهي Hamming مقدار «ناصفر» در خروجي كلاس را مشخص ميكند، در حالي كه در شبكهي Hopfiled بردار الگوي كلاس به عنوان خروجي داده ميشود.

مثال سيب و پرتقال!

اين شبكه ها قابليت به خاطر سپردن يك سري الگو را دارا هستند.

اين الگوها در اتصالات بين نرون ها ذخيره مي شود، درست مانند آنچه در مغز انسان رخ مي دهد..

بردارهاي ورودي و خروجي در دو فضاي متفاوت هستند. (ترجمه يك لغت از يك زبان به زبان ديگر)

بردارهاي ورودي و خروجي هر دو در يك فضا هستند.  (كاربرد: شناسايي كاراكتر)

شناسایی کاراکتر با شبکه عصبی هاپفیلد در متلب

برای درک این مفهوم شکل زیر را در نظر بگیرید. شبکه سه الگوی 3 و 8 و 1 را در مرحله آموزش یاد گرفته است. این یادگیری در وزنهای شبکه دخیره شده است.

حال اگر الگوی 3 نویزی شده وارد شود، شبکه  با الگوهای ذخیره شده در خود مقایسه می کند و الگویی که نزدیک تر است را انتخاب می کند.

ساختار شبکه عصبی هاپفیلد از نردیک در شکل زیر نشان داده شده است.

همانطور که می بینید تمامی ورودیها به خروجی وصل هستند و یک شبکه مثل کلاف در هم تنیده می باشد.

در صورتي كه بردارهاي ورودي (( متعامد يكه ))  باشند، شبكه ي تك لايه ي معرفي شده به راحتي و حتي بدون آموزش مي تواند به خوبي از عهده ي پياده سازي نقش يك حافظه ي تداعي گر برآيد.

شبکه هاپفیلد يك شبكه ي بازگشتي تك لايه است .

مانند شبك هي قبلي، به جاي آموزش وزن ها مقداردهي مي شوند.

نوشته شبکه عصبی هاپفیلد اولین بار در ايران متلب. پدیدار شد.

در این پست یک جزوه آموزشی مفید در خصوص آموزش جعبه ابزار شبکه عصبی در MATLAB برای دانلود شما قرار گرفته است. جزوه حاضر به شرح ساختار و اجزای یک شبکه عصبی و نحوه پیاده سازی آن در محیط نرم افزار MATLAB، با تکیه بر شبکه های عصبی پرسپترون چند لایه (MLP) پرداخته است . در پایان نیز نحوه به کارگیری شبکه عصبی مذکور با ارائه یک مثال مربوط به طبقه بندی اطلاعات بازار بورس توصیف گردیده است.

آشنایی با شبکه های عصبی زیستی

معرفی شبکه های عصبی مصنوعی (ANNها)

مبانی شبکه های عصبی مصنوعی

توپولوژی شبکه

نرم افزارهای شبکه های عصبی

مقایسه ی مدل سازی کلاسیک و مدل سازی شبکه ی عصبی

فرآیند یادگیری شبکه

تجزیه و تحلیل داده ها توسط شبکه های عصبی مصنوعی

ایده ی اصلی شبکه های عصبی مصنوعی

مهم ترین تفاوت حافظه ی انسان و حافظه ی کامپیوتر

شبکه های عصبی در مقابل کامپیوترهای معمولی

معایب شبکه های عصبی مصنوعی

کاربردهای شبکه های عصبی مصنوعی

آشنایی با شبکه های عصبی  زیستی

این شبکه ها مجموعه ای بسیار عظیم از پردازشگرهایی موازی به نام نورون اند که به صورت هماهنگ برای حل مسئله عمل می کنند و توسط سیناپس ها(ارتباط های الکترومغناطیسی)اطلاعات را منتقل می کنند.در این شبکه ها اگر یک سلول آسیب ببیند بقیه ی سلولها می توانند نبود آنرا جبران کرده و نیز در بازسازی آن سهیم باشند.

این شبکه ها قادر به یادگیری اند.مثلا با اعمال سوزش به سلولهای عصبی لامسه، سلولها یاد می گیرند که به طرف جسم داغ نروند و با این الگوریتم سیستم می آموزد که خطای خود را اصلاح کند.back propagation of error))

یادگیری در این سیستم ها به صورت تطبیقی صورت می گیرد، یعنی با استفاده ازمثال ها وزن سیناپس ها به گونه ای تغییر می کند که در صورت دادن ورودی های جدید سیستم پاسخ درستی تولید کند.

معرفی ANN ها

یک سیستم پردازشی داده ها که از مغز انسان ایده گرفته و پردازش داده ها را به عهده ی پردازنده های کوچک و بسیار زیادی سپرده که به صورت شبکه ای به هم پیوسته و موازی با یکدیگر رفتار می کنند تا یک مسئله را حل کنند.

در این شبکه ها به کمک د انش برنامه نویسی ، ساختا ر داده ای طراحی می شود که می تواند هما نند نورون عمل کند.که به این ساختارداده node یا گره نیزگفته می شود.بعد باایجاد شبکه ای بین این node  ها و اعمال یک الگوریتم  آموزشی به آ ن،  شبکه را آموزش می دهند .

در این حافظه یا شبکه ی عصبی node  ها دارای دو حالت فعال(on  یا 1) وغیرفعال(   offیا 0) اند و هر یال (سیناپس یا ارتباط  بین node  ها)دارای یک وزن می باشد.یالهای با وزن مثبت ،موجب تحریک یا فعال کردن node غیر فعال بعدی می شوند و یالهای با وزن منفی node متصل بعدی را غیر فعال یا مهار(در صورتی که فعال بوده باشد) می کنند.

به طور خلاصه یک شبکه عصبی باید خصوصیات زیر را داشته باشد:

بتواند الگوها را طبقه بندی کند.

به اندازه کافی کوچک باشد تا از نظر فیزیکی واقع گرایانه باشد.

با به کار گیری آموزش، قابل برنامه ریزی باشد و قدرت یادگیری داشته باشد. یعنی توانایی تنظیم پارامترهای شبکه ( اوزان سیناپتیکی )، در مسیر زمان که محیط شبکه تغییر می کند و شبکه وارد شرایط جدیدی می شود. هدف از این کار این است که اگر شبکه برای یک وضعیت خاص آموزش دید و تغییر کوچکی در شرایط محیطی شبکه رخ داد، شبکه بتواند با آموزش مختصر، برای شرایط جدید نیز کارآمد باشد.    دیگر این که اطلاعات در شبکه های عصبی در سیناپس ها ذخیره و هر نرون در شبکه به صورت بالقوه از کل فعالیت سایر نرون ها تأثیر می پذیرد. در نتیجه اطلاعات از نوع مجزا از هم نبوده و متأثر از کل شبکه می باشد.

توانایی تعمیم را با استفاده از مثال های ارائه شده در فرآیند آموزش، داشته باشد.

نرم افزارهای شبکه های عصبی

نرم افزارهایی برای شبیه سازی ،مطالعه و تحقیق سیستمهای عصبی زیستی و گسترش شبکه های عصبی مصنوعی وAdaptive system ها .

  شبیه سازها: نرم افزارهایی برای شبیه سازی رفتار شبکه های عصبی زیستی و مصنوعی که به صورت مستقل عمل می کنند و قادرند فرآیند آموزش شبکه ی عصبی را به شکل تصویری نمایش دهند.

  شبیه سازهای تحقیقاتی :برای مطالعه ی الگوریتم ها و ساختارهای شبکه ی عصبی که   به فهم بهتر رفتارها و خصوصیات شبکه ی عصبی کمک می کنند.(مطالعه ی ویژگی   های شیمیایی و زیستی بافتهای عصبی و پالس های الکترومغناطیسی بین نورونها).

رایجترین شبیه سازهای ANN ها :

SNNS(stuttgart neural network simulator),PDP++(parallel distribution processing),JavaNNS

رایجترین شبیه سازهای شبکه های زیستی:

XNBC,BNN ToolBox

 شبیه سازهای آنالیز داده :علی رغم دسته ی اول ،کاربردهای عملی شبکه های عصبی را مطالعه میکنند.استفا ده از آنها نسبتا ساده است در عوض تواناییهاشان محدود است . بر روی Data miningوپیش بینی ها کار می کنند.

بعضی از آنها عبارتند از:

Microsoft Excel,Matlab

Development Environment ها:برای گسترش  و آرایش شبکه های عصبی به کار می روند.

رایج ترین نرم افزارهای این دسته عبارتند از:

MathWorks NN ToolBox,GBlearn2

توپولوژی شبکه

وضعیت نسبی سلولها در شبکه(تعداد و گروه بندی و نوع اتصالات آنها)را توپولوژی شبکه گویند.توپولوژی در واقع سیستم اتصال سخت افزار نورونها به یکدیگر است که توام با نرم افزار مربوطه  (یعنی روش ریاضی جریان اطلاعات و محاسبه ی وزنها)نوع عملکرد شبکه ی عصبی را تعیین می کند.

در این توپولوژی یک لایه ی ورودی وجود دارد که اطلاعات را دریافت می کند،تعدادی لایه یمخفی وجود دارد که اطلاعات را از لایه های قبلی می گیرند و در نهایت یک لایه ی خروجی  وجود دارد که نتیجه ی محاسبات به آنجا میرود و جوابها در آن قرار میگیرند.

FeedForward topology

Recurrent topology

مقایسه ی مدل سازی کلاسیک و مدل سازی شبکه ی عصبی

مدل سازی کلاسیک:

این مدل از نخستین قدم خطای بزرگی مرتکب می شود که فقط در سیستمهای ساده (خطی یا نزدیک به خطی )قابل صرفنظر است و آن محاسبه ی شاخصهای تمایل به مرکز و پراکندگی است که به این ترتیب راهمیت فردی تک تک داده ها از بین می رود و در نتیجه سیستم قادر به کشف پیچیدگی ها نخواهد بود.

مدل سازی شبکه ی عصبی :

در این مدل هر یک از کانالهای ورودی دارای یک ضریب عددی هستند که وزن سیناپسی نامیده می شود.شدت تحریک الکتریکی در این ضریب ضرب می شود و به جسم سلولی می رسد.

اگر مجموع تحریکات وارد به جسم سلولی به حد آستانه ی خاصی رسیده باشد،نورون شلیک می کند و در مسیرهای خروجی جریان الکتریکی ثابتی را ایجاد می کند.تحریکات لایه ی ورودی به یک یا چند لایه ی واسط می رود .ادامه ی جریان تحریکات در این لایه ها طوری هدایت میشود  که پیچیدگیهای تاثیرات جریان ورودی را شبیه سازی می کند .سپس تحریکات به لایه ی خروجی می روند که هدف نهایی ماست.

فرآیند یادگیری شبکه

وظیفه ی شبکه های عصبی یادگیری است.تقریبا چیزی شبیه به یادگیری کودک خردسال.

انواع آموزش شبکه:

یادگیری تحت نظارت(یا supervised ) : با تمرکز روی یک موضوع خاص و ارائه ی  مثالهای مختلفی از آن صورت می گیرد .شبکه اطلاعات ورودی و مثال ها را تجزیه و تحلیل خواهد کرد به طوری که پس از مدتی قادر خواهد بود یک نوع جدید از آن دسته مثال ها را که قبلا هرگز ندیده بود شناسایی کند.

یادگیری بدون نظارت(یا unsupervised ) :یادگیری سطح بالاتری است که کاربرد آن امروزه کمتر است.

یادگیری تقویتی(یا  reinforcement):

مدل پنهانی مارکوف(MDP):اجزای اصلی یک مدل مارکوف عبارتند از :مجموعه ی   حالتها،مجموعه ی عملها،گذرها،ارزش افزوده ی فوری هر عمل

مهم ترین تفاوت حافظه ی انسان و حافظه ی کامپیوتر

يكی از مهم‌ترين تفاوت‌های حافظه انسان با حافظه كامپيوتر در نوع آدرس دهی اين دو نوع حافظه می‌باشد. در حافظه كامپيوتر اساس كار بر پايه آدرس خانه‌های حافظه يا آدرس اطلاعات بر روی حافظه دائم می‌باشد. به عنوان مثال برای دستيابی به يك تصوير يا متن خاص، بايد آدرس حافظه يا فايل مربوط به آن تصوير يا متن را داشته باشيد. اما با داشتن خودتصوير يا متن نمی‌توانيد به سادگی آدرس حافظه مربوطه را بيابيد (البته به اين معنی كه اين كار با يك قدم قابل انجام نيست، وگرنه می‌توانيد تصوير يا متن مورد نظر را با تمام موارد موجود در حافظه مقايسه كرده و در صورت تطبيق آدرس را بيابيد. ناگفته پيداست كه انجام چنين كاری بسيار زمان بر و پر هزينه می‌باشد).

اما به سازوكار همين عمل در ذهن انسان دقت كنيد. با ديدن يك تصوير ناقص اغلب بلافاصله كامل آنرا به خاطر می‌آوريد يا با ديدن تصوير يك شخص سريعا نام او را می‌گوييد، يا با خواندن يك متن سريعا تمامی مطالب مربوط به آن را به ذهن می‌آوريد. در واقع ذهن انسان يك نوع حافظه آدرس‌دهی شده بر اساس محتواست (Content Addressable Memory). همانگونه كه از اين نام مشخص است در اين نوع حافظه، با دادن محتوای يك خانه حافظه، بلافاصله آدرس آن به عنوان خروجی داده می‌شود.

دانلود فايل

یک فیلم آموزشی جامع از شبکه های عصبی تهیه شده است که با کلیک بر روی عکس زیر می توانید آنرا سفارش دهید.

این فیلم آموزشی حاصل چندین سال تجربه ما در برنامه نویسی متلب شبکه های عصبی می باشد.

دانشجویان زیادی از سراسر ایران تقاضای تدریس شبکه های عصبی در متلب MATLAB را داشتند اما ما به دلیل دوری راه و نداشتن زمان خالی نمی توانستیم به این نیاز انها پاسخ درستی بدهیم. لذا ما تصمیم گرفتیم که یک فیلم آموزشی کامل برای شبکه های عصبی مصنوعی تهیه کنیم که تمامی مطالب کلاس خصوصی شبکه عصبی را شامل شود. این فیلم آموزشی هم اکنون آماده سفارش است که می توانید با کلیک بر روی تصویر زیر آنرا سفارش دهید.

نوشته آموزش جعبه ابزار شبکه عصبی در MATLAB با مثال اولین بار در ايران متلب. پدیدار شد.