لینک دانلود

شبكه هاي عصبي نوعي مد لسازي ساده انگارانه از سيستمهاي عصبي واقعي هستند كه كاربرد فراواني در حل مسائل مختلف در علوم دارند. حوزه كاربرد اين شبكه ها آنچنان گسترده است كه از كاربردهاي طبقه بندي گرفته تا كاربردهايي نظير درون يابي، تخمين، آشكارسازي و … را شامل مي شود. شايد مهمترين مزيت اين شبكه ها، توانايي وافر آنها در كنار سهولت استفاده از آنها باشد.

سرفصل مطالب :

معرفی شبکه عصبی

شبکه های عصبی پیش رو feedfordward

برنامه نویسی پایتون شبکه های عصبی

آموزش شبکه عصبی در پایتون

محاسبه خطا 

محاسبه گرادیان

الگوریتم پس انتشار خطا

یادگیری عمیق deep learning

برنامه نویسی  شبکه عصبی یک مثال در پایتون

تشخیص چهره face recognition در پایتون با شبکه های عصبی

نوشته شبکه عصبی (Neural Network) در پایتون اولین بار در ايران متلب. پدیدار شد.

در ساختار CNN  براي اعمال مپينگ روي تصوير تمهيدي در نظر گرفته شده است که هر ارتباط عصبي تبديل محلي يکساني را به تمامي تبديلات مکاني اعمال کنند. با اين تمهيد نسبت بين درجه آزادي  سيستم و تعداد نمونه هاي لازم براي يادگيري بطور محسوسي افزايش يافته و باعث ميشود تا قدرت تعميم (generalization) سيستم تقويت شود . اين ويژگي کارائي خود را درزمينه پردازش تصوير نمايان ميسازد که در آن معمولا با اين مشکل مواجه هستيم که بزرگ بودن ابعاد ورودي منجر به ايجاد يک مسئله ضعيف شده ill posed problem ميشود. 

درساختار يک CNN اوزان شبکه در روي آرايه هاي مکاني تکرار ميشوند که باعث ميگردد تا اين نوع شبکه ذاتا نسبت به انتقال ورودي حساس نباشد. اين ويژگي نيز براي پردازش تصوير مفيد ميباشد. علاوه بر آن پياده سازي اين شبکه بر روي سخت افزار نيز بسادگي انجام پذير ميباشد  که امکان استفاده از آنرا در کاربردهاي بدون وقفه ميسر مينمايد. در حال حاضر از  CNN در اموري نظير پردازش حروف دست نويس و شناسائي و تشخيص چهره استفاده ميشود.

لینک سفارش

سرفصل :

یادگیری عمیق Deep Learning

تفاوت بین مدل مرسوم شناسایی الگو و یادیگری عمیق

Trainable feature extractor چیست ؟

ساختار کلی یک سیستم شناسایی الگو pattern recognition

ساختار یک سیستم شناسایی شی object detection

مشاهده بصری ویژگی ها feature visualization در مراحل یک سیستم یادگیری عمیق (شبکه کانالوشن)

Low-Level feature, Mid-Level feature, high-level feature

Visual Cortex (ایده یادگیری عمیق از کجا آمده است؟)

معرفی سه ساختار یادگیری عمیق (feed-forward , feed-back , bi-directional)

چرا به یادگیری عمیق نیاز داریم ؟

کدام مدلها عمیق هستند؟ آیا MLP وSVM و مدلهای دو لایه و درخت تصمیم، عمیق هستند؟

امروزه در کدام کاربردها از یادگیری عمیق استفاده می شود؟

مقایسه مدلهای

 (boosting , perceptron , SVM , AE , decision tree , RBM , DBN , DBM , GMM , spare coding , BayesNP , Conventional Net , RNN , Neural Net)

ساختار کلی (overall architecture) یک شبکه عصبی کانالوشن

معرفی بلوک نرمالسازی Normalization

معرفی بلوک بانک فیلتر Filter Bank

معرفی بلوک Non-Linear

معرفی بلوک Pooling یا subsampling

معرفی تغییرات یک تصویر در هنگام عبور از لایه های مختلف یک شبکه عصبی کانالوشن

معرفی ساختار یک شبکه عصبی کانالوشن

تصویر بعد از کانالوشن چه تغییری می کند؟

تصویر بعد از pooling چه تغییری می کند؟

مفهوم کانالوشن در تصویر

پنجره window در کانالوشن

مفهوم pooling در تصویر

یک مثال از local average operator

نشان دادن تصویر هر مرحله از یک شبکه عصبی کانالوشن

الگوریتم پیش انتشار خطا در شبکه عصبی کانالوشن

یک مثال عددی از عملگر کانالوشن

دو کاربرد شناسایی علائم راهنمایی و شناسایی شماره منازل

یک مثال از شبکه عصبی کانالوشن در شناسایی موضوع صحنه در یک ویدئو

یک مثال از شبکه عصبی کانالوشن در شناسایی شی Object detection

برخی از فریم های این فیلم آموزشی :

نوشته فیلم آموزشی شبکه عصبی کانالوشن اولین بار در ايران متلب. پدیدار شد.

در این پست یک جزوه آموزشی مفید در خصوص آموزش جعبه ابزار شبکه عصبی در MATLAB برای دانلود شما قرار گرفته است. جزوه حاضر به شرح ساختار و اجزای یک شبکه عصبی و نحوه پیاده سازی آن در محیط نرم افزار MATLAB، با تکیه بر شبکه های عصبی پرسپترون چند لایه (MLP) پرداخته است . در پایان نیز نحوه به کارگیری شبکه عصبی مذکور با ارائه یک مثال مربوط به طبقه بندی اطلاعات بازار بورس توصیف گردیده است.

آشنایی با شبکه های عصبی زیستی

معرفی شبکه های عصبی مصنوعی (ANNها)

مبانی شبکه های عصبی مصنوعی

توپولوژی شبکه

نرم افزارهای شبکه های عصبی

مقایسه ی مدل سازی کلاسیک و مدل سازی شبکه ی عصبی

فرآیند یادگیری شبکه

تجزیه و تحلیل داده ها توسط شبکه های عصبی مصنوعی

ایده ی اصلی شبکه های عصبی مصنوعی

مهم ترین تفاوت حافظه ی انسان و حافظه ی کامپیوتر

شبکه های عصبی در مقابل کامپیوترهای معمولی

معایب شبکه های عصبی مصنوعی

کاربردهای شبکه های عصبی مصنوعی

آشنایی با شبکه های عصبی  زیستی

این شبکه ها مجموعه ای بسیار عظیم از پردازشگرهایی موازی به نام نورون اند که به صورت هماهنگ برای حل مسئله عمل می کنند و توسط سیناپس ها(ارتباط های الکترومغناطیسی)اطلاعات را منتقل می کنند.در این شبکه ها اگر یک سلول آسیب ببیند بقیه ی سلولها می توانند نبود آنرا جبران کرده و نیز در بازسازی آن سهیم باشند.

این شبکه ها قادر به یادگیری اند.مثلا با اعمال سوزش به سلولهای عصبی لامسه، سلولها یاد می گیرند که به طرف جسم داغ نروند و با این الگوریتم سیستم می آموزد که خطای خود را اصلاح کند.back propagation of error))

یادگیری در این سیستم ها به صورت تطبیقی صورت می گیرد، یعنی با استفاده ازمثال ها وزن سیناپس ها به گونه ای تغییر می کند که در صورت دادن ورودی های جدید سیستم پاسخ درستی تولید کند.

معرفی ANN ها

یک سیستم پردازشی داده ها که از مغز انسان ایده گرفته و پردازش داده ها را به عهده ی پردازنده های کوچک و بسیار زیادی سپرده که به صورت شبکه ای به هم پیوسته و موازی با یکدیگر رفتار می کنند تا یک مسئله را حل کنند.

در این شبکه ها به کمک د انش برنامه نویسی ، ساختا ر داده ای طراحی می شود که می تواند هما نند نورون عمل کند.که به این ساختارداده node یا گره نیزگفته می شود.بعد باایجاد شبکه ای بین این node  ها و اعمال یک الگوریتم  آموزشی به آ ن،  شبکه را آموزش می دهند .

در این حافظه یا شبکه ی عصبی node  ها دارای دو حالت فعال(on  یا 1) وغیرفعال(   offیا 0) اند و هر یال (سیناپس یا ارتباط  بین node  ها)دارای یک وزن می باشد.یالهای با وزن مثبت ،موجب تحریک یا فعال کردن node غیر فعال بعدی می شوند و یالهای با وزن منفی node متصل بعدی را غیر فعال یا مهار(در صورتی که فعال بوده باشد) می کنند.

به طور خلاصه یک شبکه عصبی باید خصوصیات زیر را داشته باشد:

بتواند الگوها را طبقه بندی کند.

به اندازه کافی کوچک باشد تا از نظر فیزیکی واقع گرایانه باشد.

با به کار گیری آموزش، قابل برنامه ریزی باشد و قدرت یادگیری داشته باشد. یعنی توانایی تنظیم پارامترهای شبکه ( اوزان سیناپتیکی )، در مسیر زمان که محیط شبکه تغییر می کند و شبکه وارد شرایط جدیدی می شود. هدف از این کار این است که اگر شبکه برای یک وضعیت خاص آموزش دید و تغییر کوچکی در شرایط محیطی شبکه رخ داد، شبکه بتواند با آموزش مختصر، برای شرایط جدید نیز کارآمد باشد.    دیگر این که اطلاعات در شبکه های عصبی در سیناپس ها ذخیره و هر نرون در شبکه به صورت بالقوه از کل فعالیت سایر نرون ها تأثیر می پذیرد. در نتیجه اطلاعات از نوع مجزا از هم نبوده و متأثر از کل شبکه می باشد.

توانایی تعمیم را با استفاده از مثال های ارائه شده در فرآیند آموزش، داشته باشد.

نرم افزارهای شبکه های عصبی

نرم افزارهایی برای شبیه سازی ،مطالعه و تحقیق سیستمهای عصبی زیستی و گسترش شبکه های عصبی مصنوعی وAdaptive system ها .

  شبیه سازها: نرم افزارهایی برای شبیه سازی رفتار شبکه های عصبی زیستی و مصنوعی که به صورت مستقل عمل می کنند و قادرند فرآیند آموزش شبکه ی عصبی را به شکل تصویری نمایش دهند.

  شبیه سازهای تحقیقاتی :برای مطالعه ی الگوریتم ها و ساختارهای شبکه ی عصبی که   به فهم بهتر رفتارها و خصوصیات شبکه ی عصبی کمک می کنند.(مطالعه ی ویژگی   های شیمیایی و زیستی بافتهای عصبی و پالس های الکترومغناطیسی بین نورونها).

رایجترین شبیه سازهای ANN ها :

SNNS(stuttgart neural network simulator),PDP++(parallel distribution processing),JavaNNS

رایجترین شبیه سازهای شبکه های زیستی:

XNBC,BNN ToolBox

 شبیه سازهای آنالیز داده :علی رغم دسته ی اول ،کاربردهای عملی شبکه های عصبی را مطالعه میکنند.استفا ده از آنها نسبتا ساده است در عوض تواناییهاشان محدود است . بر روی Data miningوپیش بینی ها کار می کنند.

بعضی از آنها عبارتند از:

Microsoft Excel,Matlab

Development Environment ها:برای گسترش  و آرایش شبکه های عصبی به کار می روند.

رایج ترین نرم افزارهای این دسته عبارتند از:

MathWorks NN ToolBox,GBlearn2

توپولوژی شبکه

وضعیت نسبی سلولها در شبکه(تعداد و گروه بندی و نوع اتصالات آنها)را توپولوژی شبکه گویند.توپولوژی در واقع سیستم اتصال سخت افزار نورونها به یکدیگر است که توام با نرم افزار مربوطه  (یعنی روش ریاضی جریان اطلاعات و محاسبه ی وزنها)نوع عملکرد شبکه ی عصبی را تعیین می کند.

در این توپولوژی یک لایه ی ورودی وجود دارد که اطلاعات را دریافت می کند،تعدادی لایه یمخفی وجود دارد که اطلاعات را از لایه های قبلی می گیرند و در نهایت یک لایه ی خروجی  وجود دارد که نتیجه ی محاسبات به آنجا میرود و جوابها در آن قرار میگیرند.

FeedForward topology

Recurrent topology

مقایسه ی مدل سازی کلاسیک و مدل سازی شبکه ی عصبی

مدل سازی کلاسیک:

این مدل از نخستین قدم خطای بزرگی مرتکب می شود که فقط در سیستمهای ساده (خطی یا نزدیک به خطی )قابل صرفنظر است و آن محاسبه ی شاخصهای تمایل به مرکز و پراکندگی است که به این ترتیب راهمیت فردی تک تک داده ها از بین می رود و در نتیجه سیستم قادر به کشف پیچیدگی ها نخواهد بود.

مدل سازی شبکه ی عصبی :

در این مدل هر یک از کانالهای ورودی دارای یک ضریب عددی هستند که وزن سیناپسی نامیده می شود.شدت تحریک الکتریکی در این ضریب ضرب می شود و به جسم سلولی می رسد.

اگر مجموع تحریکات وارد به جسم سلولی به حد آستانه ی خاصی رسیده باشد،نورون شلیک می کند و در مسیرهای خروجی جریان الکتریکی ثابتی را ایجاد می کند.تحریکات لایه ی ورودی به یک یا چند لایه ی واسط می رود .ادامه ی جریان تحریکات در این لایه ها طوری هدایت میشود  که پیچیدگیهای تاثیرات جریان ورودی را شبیه سازی می کند .سپس تحریکات به لایه ی خروجی می روند که هدف نهایی ماست.

فرآیند یادگیری شبکه

وظیفه ی شبکه های عصبی یادگیری است.تقریبا چیزی شبیه به یادگیری کودک خردسال.

انواع آموزش شبکه:

یادگیری تحت نظارت(یا supervised ) : با تمرکز روی یک موضوع خاص و ارائه ی  مثالهای مختلفی از آن صورت می گیرد .شبکه اطلاعات ورودی و مثال ها را تجزیه و تحلیل خواهد کرد به طوری که پس از مدتی قادر خواهد بود یک نوع جدید از آن دسته مثال ها را که قبلا هرگز ندیده بود شناسایی کند.

یادگیری بدون نظارت(یا unsupervised ) :یادگیری سطح بالاتری است که کاربرد آن امروزه کمتر است.

یادگیری تقویتی(یا  reinforcement):

مدل پنهانی مارکوف(MDP):اجزای اصلی یک مدل مارکوف عبارتند از :مجموعه ی   حالتها،مجموعه ی عملها،گذرها،ارزش افزوده ی فوری هر عمل

مهم ترین تفاوت حافظه ی انسان و حافظه ی کامپیوتر

يكی از مهم‌ترين تفاوت‌های حافظه انسان با حافظه كامپيوتر در نوع آدرس دهی اين دو نوع حافظه می‌باشد. در حافظه كامپيوتر اساس كار بر پايه آدرس خانه‌های حافظه يا آدرس اطلاعات بر روی حافظه دائم می‌باشد. به عنوان مثال برای دستيابی به يك تصوير يا متن خاص، بايد آدرس حافظه يا فايل مربوط به آن تصوير يا متن را داشته باشيد. اما با داشتن خودتصوير يا متن نمی‌توانيد به سادگی آدرس حافظه مربوطه را بيابيد (البته به اين معنی كه اين كار با يك قدم قابل انجام نيست، وگرنه می‌توانيد تصوير يا متن مورد نظر را با تمام موارد موجود در حافظه مقايسه كرده و در صورت تطبيق آدرس را بيابيد. ناگفته پيداست كه انجام چنين كاری بسيار زمان بر و پر هزينه می‌باشد).

اما به سازوكار همين عمل در ذهن انسان دقت كنيد. با ديدن يك تصوير ناقص اغلب بلافاصله كامل آنرا به خاطر می‌آوريد يا با ديدن تصوير يك شخص سريعا نام او را می‌گوييد، يا با خواندن يك متن سريعا تمامی مطالب مربوط به آن را به ذهن می‌آوريد. در واقع ذهن انسان يك نوع حافظه آدرس‌دهی شده بر اساس محتواست (Content Addressable Memory). همانگونه كه از اين نام مشخص است در اين نوع حافظه، با دادن محتوای يك خانه حافظه، بلافاصله آدرس آن به عنوان خروجی داده می‌شود.

دانلود فايل

یک فیلم آموزشی جامع از شبکه های عصبی تهیه شده است که با کلیک بر روی عکس زیر می توانید آنرا سفارش دهید.

این فیلم آموزشی حاصل چندین سال تجربه ما در برنامه نویسی متلب شبکه های عصبی می باشد.

دانشجویان زیادی از سراسر ایران تقاضای تدریس شبکه های عصبی در متلب MATLAB را داشتند اما ما به دلیل دوری راه و نداشتن زمان خالی نمی توانستیم به این نیاز انها پاسخ درستی بدهیم. لذا ما تصمیم گرفتیم که یک فیلم آموزشی کامل برای شبکه های عصبی مصنوعی تهیه کنیم که تمامی مطالب کلاس خصوصی شبکه عصبی را شامل شود. این فیلم آموزشی هم اکنون آماده سفارش است که می توانید با کلیک بر روی تصویر زیر آنرا سفارش دهید.

نوشته آموزش جعبه ابزار شبکه عصبی در MATLAB با مثال اولین بار در ايران متلب. پدیدار شد.

ویولت یا موجک یکی از ابزارهای مهم در مهندسی می باشد که در سایت گروه برنامه نویسی متلب ایران می توانید مطالب مفیدی را در این زمینه بیابید.

matlab1.ir

مطلبی که می خواهیم در این صفحه در مورد آن صحبت کنیم ترکیب ویولت و شبکه عصبی می باشد.

ابتدا توضیح مختصری در مورد شبکه عصبی می آوریم.

شبکه عصبی MLP

شبکه (MLP) مجموعه ای از نورون ها است که در لایه مختلفی پشت سر هم قرار گرفته اند. مقادیر ورودی پس از ضرب در وزن های موجود در گذر گاه های بین لایه ها به نورون بعدی رسیده و در آن جا با هم جمع می شوند و پس از عبور از تابع شبکه مربوطه خروجی نورون ها را تشکیل می دهند. در پایان خروجی به دست آمده با خروجی مورد نظر مقایسه شده و خطای به دست آمده جهت اصلاح وزن های شبکه به کار می رود ، این امر اصطلاحاً آموزش شبکه عصبی نامیده می شود .

قاعده فراگیری MLP

قاعده فراگیری پرسپترون چند لایه را «قاعده کلی دلتا» یا « قاعده پس انتشار » می گویند . این عناوین در سال 1986 رومل هارت ، مک کللند و ویلیامز پیشنهاد شد.

اولین گروهی بودند که نه تنها قاعده فراگیری پرسپترون را به طور مستقل کشف کردند بلکه با ترکیب آن ها پرسپترون چند لایه را ایجاد نمودند. کتاب آن ها به نام «پردازش توزیع شده موازی» یکی از مهم ترین منابع این حوزه علمی می باشد.

نحوه عمل پرسپترون چند لایه ای مشابه پرسپترون تک لایه ای است. به این صورت که الگویی به شبکه عرضه می شود و خروجی آن محاسبه می گردد ، مقایسه خروجی واقعی و خروجی مطلوب باعث می گردد که ضرایب وزنی شبکه تغییر یابد به طوری که در مراحل بعد خروجی صحیح تری حاصل شود. وقتی به شبکه آموزش ندیده ای الگویی را عرضه می کنیم ، خروجی های تصادفی تولید می کند. ابتدا باید تابع خطایی را تعریف کنیم که تفاوت خروجی واقعی و خروجی مطلوب را نشان دهد. از آن جایی که خروجی مطلوب را می دانیم این نوع فراگیری را « فراگیری با سرپرستی » می نامیم.

برای موفقیت در آموزش شبکه باید خروجی آن را به تدریج به خروجی مطلوب نزدیک کنیم. به عبارت دیگر باید میزان خطا را کاهش دهیم. برای رسیدن به هدف از قانون دلتا استفاده می کنیم.

 تبدیل موجک ( ویولت Wavelet )

تبدیلات موجک یا ویولت (Wavelet) از جمله ابزارهایی هستند که کاربردهای فراوانی در شاخه های مختلف علمی و مهندسی، به ویژه هوش مصنوعی، یادگیری ماشینی، پیش بینی سری زمانی، و بازشناسی الگو دارد. تئوری موجک ها در واقع تعمیمی بر تئوری تبدیلات و سری های فوریه است و ضعف های آنالیز فوریه در عملکرد موضعی و مدل سازی رفتارهای کوتاه مدت را، جبران می نماید.

موجک یا ویولت (به انگلیسی: Wavelet) دسته‌ای از توابع ریاضی هستند که برای تجزیه سیگنال پیوسته به مؤلفه‌های فرکانسی آن بکار می‌رود که رزولوشن هر مؤلفه برابر با مقیاس آن است. تبدیل موجک تجزیه یک تابع بر مبنای توابع موجک می‌باشد. موجک‌ها (که به عنوان موجک‌های دختر شناخته می‌شوند) نمونه‌های انتقال یافته و مقیاس شده یک تابع (موجک مادر) با طول متناهی و نوسانی شدیداً میرا هستند. چند نمونه موجک مادر در شکل زیر نمایش داده شده‌اند.

تعداد زیادی تبدیل موجک وجود دارد که لیست آن را می‌شود در فهرست تبدیل‌های مرتبط با موجک مشاهده نمود. معمول‌ترین این تبدیل‌ها عبارتند از:

• تبدیل موجک پیوسته (Continuous wavelet transform (CWT
• تبدیل موجک گسسته Discrete wavelet transform (DWT)
• تبدیل سریع موجک Fast wavelet transform (FWT)
• Lifting scheme
• تجزیه بسته‌های موجکWavelet packet decomposition (WPD)
• تبدیل موجک ساکن Stationary wavelet transform (SWT)

مقایسه تبدیل موجک با تبدیل فوریه

در مقایسه با تبدیل فوریه می‌توان گفت که تبدیل موجک دارای خصوصیت محلی‌سازی بسیار خوبی است. بطور مثال تبدیل فوریه یک پیک تیز دارای تعداد زیادی ضریب است، چرا که توابع پایه تبدیل فوریه توابع سینوسی و کسینوسی هستند که دامنه آنها در کل بازه ثابت است، در حالی که توابع موجک توابعی هستند که بیشتر انرژی آنها در بازه کوچکی متمرکز شده‌است و به سرعت میرا می‌شوند. بنابراین با انتخاب مناسب موجک های مادر می توان فشرده سازی بهتری در مقایسه با تبدیل فوریه انجام داد.

ترکیب ویولت و شبکه عصبی MLP :

برای ترکیب ویولت و شبکه عصبی دو راه در مقالات به آن اشاره شده است :

روش 1 :

 در ابتدا بوسيله تبديل ويولت گسسته و قابليت آن در تجزيه و تحليل سيگنال با رزولوشن هاي مختلف، سگينال در چند سطح تجزيه مي شود، سپس با استفاده از انحراف معيار ضرايب ويولت هر سطح براي هر اغتشاش يك بردار ويژگي استخراج شده كه مبناي كلاس بندي سيگنال توسط شبكه عصبي مي باشد.

روش 2 :

در این روش ویولت در قلب شبکه عصبی MLP استفاده می شود. همانطور که در قسمت بالا توضیح داده شد. یک شبکه عصبی از چندین نرون تشکیل شده است که هر نرون در خروجی خود یک تابع تبدیل یا transfer function دارد. در این روش تابع تبدیل نرون دستخوش تغییر می شود.

به عبارت دیگر یکی از ویولت ها را به صورت یک تابع می نویسیم و در خروجی هر نرون شبکه عصبی قرار می دهیم. لذا شبکه عصبی ورودیها را می گیرد و بنا به وزن ها و بایاس خود خروجی هایی را تولید می کندو در انتها خروجی از یک تابع تبدیل عبور می کند.

کد های هر دو روش بالا موجود است که شما می توانید با گروه تماس بگیرید و تنها با پرداخت مبلغی ناچیز این دو کد را دریافت کنید.

کد نویسی روش دوم نیاز به تجریه و تبحر بالایی در برنامه نویسی دارد.

لینک دنلود

نوشته شبکه عصبی ویولت چیست ؟ اولین بار در ايران متلب. پدیدار شد.