Handwritten and Printed Word Identification Using Gray-Scale Feature Vector and Decision Tree Classifier

Abstract Document image analysis is one of the important steps towards a paper free world. An effective Optical  Character Recognition (OCR) system would be helpful for achieving this fit. But the next question may arise that whether a single OCR system will be sufficient for encoding both handwritten and printed text or not. So to come out of this dilemma, the work as reported here determines the category of a word from the document images containing words both in handwritten and printed forms. A 6-elements feature set is estimated from each gray level image and then these features are ranked based on discriminatory capabilities. Finally, a decision tree classifier has been designed and 1500 words images of handwritten and printed forms (equal in number) are fed to the classifier to evaluate the performance of the present technique. An overall success rate of 96.80% is achieved.

خروجی برنامه :

خلاصه (ترجمه ماشین) :

تجزیه و تحلیل تصویر سند یکی از مراحل مهم در جهت یک جهان آزاد مقاله است. شخصیت نوری تشخیص (OCR) سیستم موثر خواهد بود برای دستیابی به این جا مفید باشد. اما سوال بعدی ممکن است بوجود می آیند که آیا یک سیستم واحد OCR برای رمزگذاری هر دو متن دست نوشته و چاپ شده یا نه کافی خواهد بود. بنابراین از این معضل آمده، کار به عنوان گزارش تعیین رده از یک کلمه از تصاویر سند حاوی کلمات هر دو در شکل دست نوشته و چاپ شده است.6-عناصر مجموعه ویژگی از هر تصویر سطح خاکستری برآورد و سپس این ویژگی ها بر اساس قابلیت های تبعیض آمیز قرار گرفت. در نهایت، یک طبقه بندی درخت تصمیم گیری طراحی شده است و 1500 واژه تصاویر از اشکال دست نوشته و چاپ شده (در تعداد مساوی) به طبقه بندی تغذیه برای ارزیابی عملکرد از روش حاضر.میزان موفقیت کلی 96.80٪ به دست میآید.

دانلود اصل مقاله

دریافت کدها و فایل توضیحی خط به خط کد مقاله

نوشته MP00 – تشخیص کلمه دستنویس و تایپی با بردار ویژگی و دسته بندی درخت تصمیم گیری اولین بار در ايران متلب. پدیدار شد.

حسام سقا        –          علي نيک نژاد

مقدمه

در شبکه هاي عصبي کلاسيک معماري شبکه بايد قبل از شروع کار مشخص شود به اين معني که بايد تعداد لايه هاي مخفي و نرونهاي هر لايه مشخص شوند ، تشخيص دقيق معماري بهينه در اکثر موارد با پيچيدگي همراه است و معمولا” از سعي و خطا براي پيدا کردن معماري مناسب استفاده ميشود. از طرف ديگر آموزش بر روي شبکه بدست آمده بر روي تمامي شبکه همراه با هم صورت ميگيرد. آموزش همه نرون ها با يکديگر اين مشکل را دارد که طي فرآيند آموزش در هر مرحله تمامي ضرايب در جهتي تغيير ميکنند که خطاي کنوني را کاهش دهد و در مراحل مختلف هر بار بزرگترين منبع خطا دنبال ميشود و در مراحل بعدي منبع ( يا منابع ) ديگري که در مرحله کنوني خطاي بزرگتري دارند دنبال ميشود. اين باعث ميشود که شبکه بين منابع مختلف خطا تا حدي رفت و برگشت داشته باشد.

شبکه عصبي Cascade-Correlation رويکرد متفاوتي را در نظر ميگيرند. در اين شبکه ها اولا” معماري شبکه با اضافه کردن نرون هاي جديد بسته به نياز تعيين ميشود و ثانيا” بجاي آموزش تمام شبکه در هر مرحله ، در هر مرحله تنها بخشي از شبکه را آموزش ميدهد. به اين شکل علاوه بر تعيين خودکار معماري ، از رفت و برگشت بين منابع خطا نيز جلوگيري شده و بازدهي افزايش مي يابد.

معماري شبکه

شبکه هاي عصبي Cascade-Correlation همانند ساير انواع شبکه هاي عصبي شامل يک لايه ورودي و يک لايه خروجي هستند. تفاوت آنها در نرونهاي hidden آنهاست. اين شبکه ها در هر مرحله با افزودن يک نرون hidden جديد شبکه را گسترش ميدهند . هر نرون جديد از هر يک از نرون هاي ورودي و تمامي نرونهاي hidden قبلي ورودي ميگيرد و به ورودي تمامي نرونهاي خروجي ، خروجي دارد. علاوه بر روابط بين نرونهاي hidden ، بين هر يک از نرونهاي ورودي و نرونهاي خروجي نيز يک ارتباط برقرار ميباشد.

الگوريتم

شبکه هاي Cascade-Correlation در اولين قدم مانند شبکه هاي کلاسيک تنها با نرونهاي ورودي و نرونهاي خروجي آموزش ميبينند (ضرايب اوليه بصورت Random انتخاب ميشوند و تعيين وزن ها با هر الگوريتم آموزش مي تواند انجام مي شود ولي اينجا ازquickprop  که سريعتر است استفاده شده). در صورتي که خطا پس از طي کردن تعداد epoch هاي مشخصي مناسب بود ( مثلا” کمتر از مقدار مشخصي بود) فرآيند آموزش متوقف ميشود. در غير اينصورت از اين پس در هر مرحله با افزودن يک نرون جديد و آموزش شبکه بشکل مناسب دوباره اين آزمايش صورت ميگيرد تا بتواند خطاي باقيمانده را کاهش دهد. کار تا جايي که بلاخره شبکه به ميزان قابل قبول خطا برسد ادامه مي يابد.

افزودن نرون جديد

براي افزودن يک نرون جديد ، تعدادي نرون بعنوان کانديد ايجاد شده و ضرايب ورودي آنها بگونه اي تغيير مي يابد تا Correlation خروجي نرون  با ميزان خطاي شبکه افزايش يابد.  با گرفتن مشتق زنجيره اي از correlation نسبت به هر وزن بدست مي آيد:

سپس نروني که بيشترين Correlation را دارد انتخاب ميگردد. ضرايب ورودي اوليه هر يک از اين نرونها بصورت Random انتخاب ميشود و اين ضرايب با يکديگر تفاوت دارند ( براي اينکه بتوان نرونهاي کانديد متفاوتي ايجاد کرد) . از طرف ديگر اين نرونها ميتوانند از لحاظ تابع نرون نيز متفاوت باشند (اين مسئله بسيار جالب توجه است چون اين نوع شبکه ها ميتوانند بصورت dynamic از توابع متفاوتي استفاده نمايند)

انتخاب نروني که خروجي آن بيشترين Correlation يا همبستگي را با خطاي باقيمانده دارد اين کاربرد را دارد که با انتخاب ضريب خروجي مناسب ميتوان خطاي خروجي را کاهش داد . اگر اين همبستگي مثبت باشد ، با انتخاب ضريب منفي و اگر منفي باشد با انتخاب ضريب خروجي مثبت ، منفي خطاي باقيمانده در خروجي ظاهر شده و آن را کاهش مي دهد .

پس از انتخاب نرون مناسب، نرون جديد در شبکه قرار گرفته و کليه ضرايب ورودي آن ثابت ميشوند (در تمامي مراحل بعدي تغيير نخواهند کرد) و ضرايب ورودي نرون هاي خروجي آموزش داده ميشوند(مجددا با quickprop). اين آموزش تا جايي ادامه پيدا ميکند که يا خطا از حد مورد نظر کمتر گردد و يا سرعت تغييرات کاهش يابد . سپس شبکه با توجه به مقدار خطاي کنوني تصميم ميگيرد که نرون جديدي اضافه کند و يا الگوريتم را خاتمه دهد.

الگوريتم :

1-     براي وزنهاي خروجي ، شبکه را آموزش بده تا خطا پايدار شود و يا از حد مورد نظر کمتر گردد.

2-     اگر خطا کمتر از حد مورد نظر بود الگوريتم پايان مي يابد.

3-     تعدادي نرون کانديد ايجاد کن.

4-     وزنهاي ورودي نرونهاي کانديد را آموزش بده تا خطا به وضعيت پايدار برسد.

5-     نروني که بيشترين همبستگي را دارد پيدا کن و در شبکه اضافه کن.

6-      به مرحله اول برگرد.

انواع شبکه هاي Cascade-Correlation

علاوه بر شبکه هاي Cascade-Correlation کلاسيک که در بالا توضيح داده شد ، انواع ديگري از اين شبکه ها نيز موجود ميباشند :

—        Pruned-Cascade-Correlation(PCC)

—        Recurrent-Cascade-Correlation(RCC)

—        Genetic-Cascade-Correlation

شبکه هاي Pruned-Cascade-Correlation

ايده اصلي اين نوع شبکه ها اين است که ما ميتوانيم با حذف بعضي از ارتباطهاي بين نرونها (وزنها) بازدهي شبکه را افزايش دهيم.

اين شبکه ها يک Selection criterion که معمولا” عکس خطاي شبکه بر روي يک قسمت از داده هاي آموزشي(prune) است, در نظر ميگيرند . بکمک اين Selection criterion شبکه در هر مرحله قبل از افزودن نرون Selection criterion را محاسبه کرده و سپس در پايان نيز آن را محاسبه ميکند . اگر اين مقدار افزايش يافته باشد که نشاندهنده پيشرفت صحيح شبکه است ولي در غير اينصورت شبکه در حال بزرگ شدن بدون حاصل است و الگوريتم متوقف ميگردد. از طرف ديگر پس از افزودن نرون جديد شبکه با استفاده از اين Selection criterion ، تک تک هر يک از وزنها را حذف ميکند ، اگر اين مقدار افزايش يافت که نشاندهنده درست بودن تصميم ميباشد و در غير ايصورت وزن برگردانده ميشود.

شبکه هاي Recurrent-Cascade-Correlation

شبکه هاي recurrent کاربردهاي فراواني دارند از جمله ميتوان به توانايي تحليل داده هايي که وابستگي به زمان دارند و يا  به ترتيب خاصي به شبکه ارائه ميشوند اشاره کرد. (مانند سري هاي زماني) .

تبديل شبکه هاي Cascade Correlation به شبکه Recurrent از اين جهت مشکل است که مطابق تعريف ارائه شده ما ورودي هر يک از نرونهاي جديد را ثابت در نظر ميگيريم و اگر غير از اين باشد در واقع ما از مفهوم شبکه هاي CC خارج شده ايم. بنابراين در تعريف ارائه شده از نوع Recurrent اين شبکه ها تنها رابطه Feedback در اين شبکه ها بين هر نرون مخفي و خودش برقرار ميگردد . يعني نرون پس از delay مشخص شده ، خروجي خود را در ورودي دريافت ميکند. وزن اين ارتباط نيز همانند ساير وزنهاي ورودي نرون مورد نظر پس از قرار گرفتن در شبکه ثابت ميگردد.

شبکه هاي Genetic-Cascade-Correlation

ايده اصلي اين نوع شبکه ها استفاده از الگوريتم ژنتيک بجاي هر دو فاز آموزش(الگوريتم quickprop) در شبکه است. مشکلي که در شبکه هاي معمولي Cascade-Correlation وجود دارد کم بودن تعداد نرونهاي کانديد و همچنين عدم وجود ارتباط بين آنها مي باشد. در اين روش با در نظر گرفتن تعداد بيشتري کانديد ، در هر مرحله بکمک الگوريتم ژنتيک نسل بهتري از آنها ايجاد ميگردد.

در اين روش وزنها نقش کروموزوم را دارند و هر دسته از وزنهاي ورودي و خروجي نقش Individual ها را دارند. 50% کل جمعيت را وزنهاي ورودي و 50% ديگر را وزنهاي خروجي تشکيل ميدهند.

تابع ارزيابي در فاز ورودي همبستگي بين خروجي نرون مخفي و جمع خطاي شبکه  و براي فاز خروجي جمع خطاي شبکه ميباشد. براي جفت گيري از روش استاندارد 2-cross استفاده مي شود و جهش نيز با احتمال کم وجود دارد.

نتيجه گيري

همانطور که ديديم شبکه هاي Cascade-Correlation سعي مي کنند بعضي از مشکلات شايع در شبکه هاي عصبي را حل کنند. يکي از خصوصيات ويژه اين شبکه ها عدم نياز به دانستن معماري شبکه است. ما نيازي نداريم که تعداد نرونهاي لايه مخفي را بدانيم ( تعداد نرونهاي لايه هاي ورودي و خروجي بسته به طبيعت مسئله مشخص است) و اين ما را از حدس و خطاي معماري شبکه بي نياز مي کند از طرف ديگر نيازي به تعيين کردن تابع نرونها نيست چون در مرحله ايجاد نرون جديد در بين کانديد هاي مختلف ، توابع مختلفي ميتوانند حضور داشته باشند . شبکه اي که در نهايت توليد ميشود نسبت به شبکه هاي ديگر نسبتا” کوچک است و بازدهي بالاتري دارد. فرآيند آموزشي بدليل اينکه آموزش در هر مرحله تنها بر روي بخشي از شبکه صورت مي پذيرد سريعتر است. اما اين شبکه ها بدليل ساختار ويژه اي که دارند که در هر مرحله تلاش ميکند بزرگترين منبع خطا را حذف کنند ، نسبت به نويز حساس ترند و اگر داده ها Fuzzy(مبهم و پيچيده) باشند ممکن است نتايج مناسبي بدست نيايد و يا سرعت همگرايي نسبت به ساير روشها کمتر باشد.

مراجع

—  Scott E. Fahlman and Christian Lebiere,”The Cascade-Correlation Learning Architecture”, Carnegie Mellon University, 1991.

—  Scott E. Fahlman,”The Recurrent Cascade-Correlation Architecture”, Carnegie Mellon University,1991.

—  Mitchell A.Potter,”A Genetic Cascade-Correlation Learning Algorithm”, George Mason University,COGANN-92,1992

—  Jose Demisio,”The Cascade-Correlation Neural Network Growing Algorithm using the Matlab Environment”

نوشته شبکه هاي Cascade-Correlation اولین بار در ايران متلب. پدیدار شد.

شبکه عصبی چیست؟
روشی برای محاسبه است که بر پایه اتصال به هم پیوسته چندین واحد پردازشی ساخته میشود.
شبکه از تعداد دلخواهی سلول یا گره یا واحد یا نرون تشکیل میشود که مجموعه ورودی را به خروجی ربط میدهند.

شبکه عصبی چه قابلیتهائی دارد ؟
محاسبه یک تابع معلوم
تقریب یک تابع ناشناخته
شناسائی الگو
پردازش سیگنال
یادگیری

مسائل مناسب برای یادگیری شبکه های عصبی
خطا در داده های آموزشی وجود داشته باشد. مثل مسائلی که داده های آموزشی دارای نویز حاصل از دادهای سنسورها نظیر دوربین و میکروفن ها هستند.
مواردی که نمونه ها توسط مقادیر زیادی زوج ویژگی-مقدار نشان داده شده باشند. نظیر داده های حاصل از یک دوربین ویدئوئی.
تابع هدف دارای مقادیر پیوسته باشد.
زمان کافی برای یادگیری وجود داشته باشد. این روش در مقایسه با روشهای دیگر نظیر درخت تصمیم نیاز به زمان بیشتری برای یادگیری دارد.
نیازی به تعبیر تابع هدف نباشد. زیرا به سختی میتوان اوزان یادگرفته شده توسط شبکه را تعبیر نمود.

الهام از طبیعت
مطالعه شبکه های عصبی مصنوعی تا حد زیادی ملهم از سیستم های یادگیر طبیعی است که در آنها یک مجموعه پیچیده از نرونهای به هم متصل در کار یادگیری دخیل هستند.
گمان میرود که مغز انسان از تعداد 10 11 نرون تشکیل شده باشد که هر نرون با تقریبا 104 نرون دیگر در ارتباط است.
سرعت سوئیچنگ نرونها در حدود 10-3 ثانیه است که در مقایسه با کامپیوترها 10 -10 ) ثانیه ( بسیار ناچیز مینماید. با این وجود آدمی قادر است در 0.1 ثانیه تصویر یک انسان را بازشناسائی نماید. این قدرت فوق العاده باید از پردازش موازی توزیع شده در تعدادی زیادی از نرونها حاصل شده باشد.

Perceptron
نوعی از شبکه عصبی برمبنای یک واحد محاسباتی به نام پرسپترون ساخته میشود. یک پرسپترون برداری از ورودیهای با مقادیر حقیقی را گرفته و یک ترکیب خطی از این ورودیها را محاسبه میکند. اگر حاصل از یک مقدار آستانه بیشتر بود خروجی پرسپترون برابر با 1 و در غیر اینصورت معادل -1 خواهد بود .

یادگیری پرسپترون عبارت است از:
پیدا کردن مقادیردرستی برای W
بنابراین فضای فرضیه H در یادگیری پرسپترون عبارت است ازمجموعه تمام مقادیر حقیقی ممکن برای بردارهای وزن.

توانائی پرسپترون
پریسپترون را میتوان بصورت یک سطح تصمیم hyperplane در فضای n بعدی نمونه ها در نظر گرفت. پرسپترون برای نمونه های یک طرف صفحه مقدار 1 و برای مقادیر طرف دیگر مقدار -1 بوجود میاورد.

توابعی که پرسپترون قادر به یادگیری آنها میباشد
یک پرسپترون فقط قادر است مثالهائی را یاد بگیرد که بصورت خطی جداپذیر باشند. اینگونه مثالها مواردی هستند که بطور کامل توسط یک hyperplaneقابل جدا سازی میباشند.

توابع بولی و پرسپترون
یک پرسپترون میتواند بسیاری از توابع بولی را نمایش دهد نظیر AND, OR, NAND, NOR
اما نمیتواند XORرا نمایش دهد.
در واقع هر تابع بولی را میتوان با شبکه ای دوسطحی از پرسپترونها نشان داد.

اضافه کردن بایاس
افزودن بایاس موجب میشود تا استفاده از شبکه پرسپترون با سهولت بیشتری انجام شود.
برای اینکه برای یادگیری بایاس نیازی به استفاده از قانون دیگری نداشته باشیم بایاس را بصورت یک ورودی با مقدار ثابت 1 در نظر گرفته و وزن W0 را به آن اختصاص میدهیم.

آموزش پرسپترون
چگونه وزنهای یک پرسپترون واحد را یاد بگیریم به نحوی که پرسپترون برای مثالهای آموزشی مقادیر صحیح را ایجاد نماید؟
دو راه مختلف :
قانون پرسپترون
قانون دلتا

آموزش پرسپترون
الگوریتم یادگیری پرسپترون
مقادیری تصادفی به وزنها نسبت میدهیم
پریسپترون را به تک تک مثالهای آموزشی اعمال میکنیم. اگر مثال غلط ارزیابی شود مقادیر وزنهای پرسپترون را تصحیح میکنیم.
آیا تمامی مثالهای آموزشی درست ارزیابی میشوند:
بله  پایان الگوریتم
خیربه مرحله 2 برمیگردیم

قانون پرسپترون
برای یک مثال آموزشیX = (x1, x2, …, xn) در هر مرحله وزنها بر اساس قانون پرسپترون بصورت زیر تغییر میکند:
wi = wi + Δwi

که در آن

Δwi = η ( t – o ) xi
t: target output
o: output generated by the perceptron
η: constant called the learning rate (e.g., 0.1)

اثبات شده است که برای یک مجموعه مثال جداپذیرخطی این روش همگرا شده و پرسپترون قادر به جدا سازی صحیح مثالها خواهد شد.

قانون دلتا Delta Rule
وقتی که مثالها بصورت خطی جداپذیر نباشند قانون پرسپترون همگرا نخواهد شد. برای غلبه بر این مشکل از قانون دلتا استفاده میشود.
ایده اصلی این قانون استفاده از gradient descent برای جستجو در فضای فرضیه وزنهای ممکن میباشد. این قانون پایه روش Backpropagation است که برای آموزش شبکه با چندین نرون به هم متصل بکار میرود.
همچنین این روش پایه ای برای انواع الگوریتمهای یادگیری است که باید فضای فرضیه ای شامل فرضیه های مختلف پیوسته را جستجو کنند.

برای درک بهتر این روش آنرا به یک پرسپترون فاقد حد آستانه اعمال میکنیم. در انجا لازم است ابتدا تعریفی برای خطا ی آموزش ارائه شود. یک تعریف متداول این چنین است:
E = ½ Σi (ti – oi) 2

که این مجموع برای تمام مثالهای آموزشی انجام میشود.

الگوریتم gradient descent
با توجه به نحوه تعریف E سطح خطا بصورت یک سهمی خواهد بود. ما بدنبال وزنهائی هستیم که حداقل خطا را داشته باشند . الگوریتم gradient descent در فضای وزنها بدنبال برداری میگردد که خطا را حداقل کند. این الگوریتم از یک مقدار دلبخواه برای بردار وزن شروع کرده و در هر مرحله وزنها را طوری تغییر میدهد که در جهت شیب کاهشی منحنی فوق خطا کاهش داده شود.

بدست آوردن قانون gradient descent
ایده اصلی: گرادیان همواره در جهت افزایش شیب E عمل میکند.
گرادیان E نسبت به بردار وزن w بصورت زیر تعریف میشود:

E (W) = [ E’/w0, E’/w1, …, E’/wn]
که در آن E (W) یک بردارو E’مشتق جزئی نسبت به هر وزن میباشد.

برای یک مثال آموزشیX = (x1, x2, …, xn) در هر مرحله وزنها بر اساس قانون دلتا بصورت زیر تغییر میکند:
wi = wi + Δwi

Where Δwi = -η E’(W)/wi

η: learning rate (e.g., 0.1)
علامت منفی نشان دهنده حرکت در جهت کاهش شیب است.

محاسبه گرادیان
با مشتق گیری جزئی از رابطه خطا میتوان بسادگی گرادیان را محاسبه نمود:
E’(W)/ wi = Σi (ti – Oi) (-xi)
لذا وزنها طبق رابطه زیر تغییر خواهند نمود.
Δwi = η Σi (ti – oi) xi

خلاصه یادگیری قانون دلتا
الگوریتم یادگیری با استفاده از قانون دلتا بصورت زیر میباشد.
به وزنها مقدار تصادفی نسبت دهید
تا رسیدن به شرایط توقف مراحل زیر را ادامه دهید
هر وزن wi را با مقدار صفر عدد دهی اولیه کنید.
برای هر مثال: وزن wi را بصورت زیر تغییر دهید:
wi = wi + η (t – o) xi
مقدار wi را بصورت زیر تغییر دهید:
wi = wi + wi
تا خطا بسیار کوچک شود

مشکلات روش gradient descent
ممکن است همگرا شدن به یک مقدار مینیمم زمان زیادی لازم داشته باشد.
اگر در سطح خطا چندین مینیمم محلی وجود داشته باشد تضمینی وجود ندارد که الگوریتم مینیمم مطلق را پیدا بکند.

در ضمن این روش وقتی قابل استفاده است که:
فضای فرضیه دارای فرضیه های پارامتریک پیوسته باشد.
رابطه خطا قابل مشتق گیری باشد

تقریب افزایشی gradient descent
میتوان بجای تغییر وزنها پس از مشاهده همه مثالها، آنها را بازا هر مثال مشاهده شده تغییر داد. در این حالت وزنها بصورت افزایشی incremental تغییر میکنند. این روش را stochastic gradient descent نیزمینامند.
wi = η (t-o) xi
در بعضی موارد تغییر افزایشی وزنها میتواند از بروز مینیمم محلی جلوگیری کند. روش استاندارد نیاز به محاسبات بیشتری دارد درعوض میتواند طول step بزرگتری هم داشته باشد.

مقایسه آموزش یکجا و افزایشی
آموزش افزایشی (Online learning)

آموزش یکجا (Batch learning)

شبکه های چند لایه
بر خلاف پرسپترونها شبکه های چند لایه میتوانند برای یادگیری مسائل غیر خطی و همچنین مسائلی با تصمیم گیری های متعدد بکار روند.

یک سلول واحد
برای اینکه بتوانیم فضای تصمیم گیری را بصورت غیر خطی از هم جدا بکنیم، لازم است تا هر سلول واحد را بصورت یک تابع غیر خطی تعریف نمائیم. مثالی از چنین سلولی میتواند یک واحد سیگموئید باشد:

تابع سیگموئید
خروجی این سلول واحد را بصورت زیر میتوان بیان نمود:

تابع σ تابع سیگموئید یا لجستیک نامیده میشود. این تابع دارای خاصیت زیر است:

الگوریتم Back propagation
برای یادگیری وزن های یک شبکه چند لایه از روش Back Propagation استفاده میشود. در این روش با استفاده از gradient descent سعی میشود تا مربع خطای بین خروجی های شبکه و تابع هدف مینیمم شود.
خطا بصورت زیر تعریف میشود:

مراد ازoutputs خروجیهای مجموعه واحد های لایه خروجی و tkdو okd مقدار هدف و خروجی متناظر با k امین واحد خروجی و مثال آموزشی d است.

الگوریتم Back propagation
فضای فرضیه مورد جستجو در این روش عبارت است از فضای بزرگی که توسط همه مقادیر ممکن برای وزنها تعریف میشود. روش gradient descent سعی میکند تا با مینیمم کردن خطا به فرضیه مناسبی دست پیدا کند. اما تضمینی برای اینکه این الگوریتم به مینیمم مطلق برسد وجود ندارد.

الگوریتم BP
شبکه ای با ninگره ورودی، nhidden گره مخفی، و nout گره خروجی ایجاد کنید.
همه وزنها را با یک مقدار تصادفی کوچک عدد دهی کنید.
تا رسیدن به شرط پایانی ) کوچک شدن خطا( مراحل زیر را انجام دهید:
برای هر xمتعلق به مثالهای آموزشی:
مثال X را به سمت جلو در شبکه انتشار دهید
خطای E را به سمت عقب در شبکه انتشار دهید.

هر مثال آموزشی بصورت یک زوج (x,t) ارائه میشود که بردار x مقادیر ورودی و بردار t مقادیر هدف برای خروجی شبکه را تعیین میکنند.

انتشار به سمت جلو
برای هر مثال X مقدار خروجی هر واحد را محاسبه کنید تا به گره های خروجی برسید.

انتشار به سمت عقب
برای هر واحد خروجی جمله خطا را بصورت زیر محاسبه کنید: δk = Ok (1-Ok)(tk – Ok)
برای هر واحد مخفی جمله خطا را بصورت زیر محاسبه کنید: δh = Oh (1-Oh) Σk Wkh δk
مقدارهر وزن را بصورت زیر تغییر دهید:
Wji = Wji + ΔWji
که در آن :
ΔWji = η δj Xji

ηعبارت است از نرخ یادگیری

شرط خاتمه
معمولا الگوریتم BP پیش از خاتمه هزاران بار با استفاده همان داده های آموزشی تکرار میگردد شروط مختلفی را میتوان برای خاتمه الگوریتم بکار برد:
توقف بعد از تکرار به دفعات معین
توقف وقتی که خطا از یک مقدار تعیین شده کمتر شود.
توقف وقتی که خطا در مثالهای مجموعه تائید از قاعده خاصی پیروی نماید.
اگر دفعات تکرار کم باشد خطا خواهیم داشت و اگر زیاد باشد مسئله Overfitting رخ خواهد داد.

.

منحنی یادگیری

.

مرور الگوریتم BP
این الگوریتم یک جستجوی gradient descent در فضای وزنها انجام میدهد.
ممکن است در یک مینیمم محلی گیر بیافتد
در عمل بسیار موثر بوده است

.

برای پرهیز از مینیمم محلی روشهای مختلفی وجود دارد:
افزودن ممنتم
استفاده از stochastic gradient descent
استفاده ازشبکه های مختلف با مقادیر متفاوتی برای وزنهای اولیه

.

افزودن ممنتم
میتوان قانون تغییر وزنها را طوری در نظر گرفت که تغییر وزن در تکرار n ام تا حدی به اندازه تغییروزن در تکرار قبلی بستگی داشته باشد.
ΔWji (n) = η δj Xji + αΔWji (n-1)

که در آن مقدارممنتم α بصورت 0 <= α <= 1 میباشد.
افزودن ممنتم باعث میشود تا با حرکت در مسیر قبلی در سطح خطا:
از گیر افتادن در مینیم محلی پرهیز شود
از قرارگرفتن در سطوح صاف پرهیز شود
با افزایش تدریجی مقدار پله تغییرات، سرعت جستجو افزایش یابد.

.

قدرت نمایش توابع
گرچه قدرت نمایش توابع به توسط یک شبکه feedforward بسته به عمق و گستردگی شبکه دارد، با این وجود موارد زیر را میتوان به صورت قوانین کلی بیان نمود:
توابع بولی: هر تابع بولی را میتوان توسط یک شبکه دو لایه پیاده سازی نمود.
توابع پیوسته: هر تابع پیوسته محدود را میتوان توسط یک شبکه دو لایه تقریب زد. تئوری مربوطه در مورد شبکه هائی که از تابع سیگموئید در لایه پنهان و لایه خطی در شبکه خروجی استفاده میکنند صادق است.
توابع دلخواه: هر تابع دلخواه را میتوان با یک شبکه سه لایه تا حد قابل قبولی تفریب زد.
با این وجود باید درنظر داست که فضای فرضیه جستجو شده توسط روش gradient deescent ممکن است در برگیرنده تمام مقادیر ممکن وزنها نباشد.

.

فضای فرضیه و بایاس استقرا
فضای فرضیه مورد جستجو را میتوان بصورت یک فضای فرضیه اقلیدسی n بعدی از وزنهای شبکه در نظر گرفت )کهn تعداد وزنهاست(
این فضای فرضیه بر خلاف فضای فرضیه درخت تصمیم یک فضای پیوسته است.
بایاس استقرا این روش را میتوان بصورت زیر بیان کرد:
“smooth interpolation between data points”
به این معنا که الگوریتم BP سعی میکند تا نقاطی را که به هم نزدیکتر هستند در یک دسته بندی قرار دهد.

.

قدرت نمایش لایه پنهان
یکی از خواص BP این است که میتواند در لایه های پنهان شبکه ویژگیهای نا آشکاری از داده ورودی نشان دهد.
برای مثال شبکه 8x3x8 زیر طوری آموزش داده میشود که مقدارهرمثال ورودی را عینا در خروجی بوجو د آورد )تابع f(x)=x را یاد بگیرد(. ساختار خاص این شبکه باعث میشود تا واحد های لایه وسط ویژگی های مقادیر ورودی را به نحوی کد بندی کنند که لایه خروحی بتواند از آنان برای نمایش مجدد داده ها استفاده نماید.

.

قدرت تعمیم و overfitting
شرط پایان الگوریتم BP چیست؟
یک انتخاب این است که الگوریتم را آنقدر ادامه دهیم تا خطا از مقدار معینی کمتر شود. این امر میتواند منجر به overfitting شود.

 
دلایل رخ دادن overfitting
overfitting ناشی از تنظیم وزنها برای در نظر گرفتن مثالهای نادری است که ممکن است با توزیع کلی داده ها مطابقت نداشته باشند. تعداد زیاد وزنهای یک شبکه عصبی باعث میشود تا شبکه درجه آزادی زیادی برای انطباق با این مثالها داشته باشد.
با افزایش تعداد تکرار، پیچیدگی فضای فرضیه یادگرفته شده توسط الگوریتم بیشتر و بیشتر میشود تا شبکه بتواند نویز و مثالهای نادر موجود در مجموعه آموزش را بدرستی ارزیابی نماید.

راه حل
استفاده از یک مجموعه تائید Vallidation و توقف یادگیری هنگامی که خطا در این مجموعه به اندازه کافی کوچک میشود.
بایاس کردن شبکه برای فضاهای فرضیه ساده تر: یک راه میتواند استفاده از weight decayباشد که در آن مقدار وزنها در هر بارتکرار باندازه خیلی کمی کاهش داده میشود.
k-fold cross validation وقتی که تعداد مثالهای آموزشی کم باشد میتوان m داده آموزشی را به K دسته تقسیم بندی نموده و آزمایش را به تعداد k دفعه تکرار نمود. در هر دفعه یکی از دسته ها بعنوان مجموعه تست و بقیه بعنوان مجموعه آموزشی استفاده خواهند شد. تصمیم گیری بر اساس میانگین نتایج انجام میشود.

روشهای دیگر

راه های بسیار متنوعی برای ایجاد شبکه های جدید وجود دارد از جمله:
استفاده از تعاریف دیگری برای تابع خطا
استفاده از روشهای دیگری برای کاهش خطا در حین یادگیری
Hybrid Global Learning
Simulated Annealing
Genetic Algorithms
استفاده از توابع دیگری در واحدها
Radial Basis Functions
استفاده از ساختار های دیگری برای شبکه
Recurrent Network

نوشته شبکه های عصبی مصنوعی اولین بار در ايران متلب. پدیدار شد.

ویولت یا موجک یکی از ابزارهای مهم در مهندسی می باشد که در سایت گروه برنامه نویسی متلب ایران می توانید مطالب مفیدی را در این زمینه بیابید.

matlab1.ir

مطلبی که می خواهیم در این صفحه در مورد آن صحبت کنیم ترکیب ویولت و شبکه عصبی می باشد.

ابتدا توضیح مختصری در مورد شبکه عصبی می آوریم.

شبکه عصبی MLP

شبکه (MLP) مجموعه ای از نورون ها است که در لایه مختلفی پشت سر هم قرار گرفته اند. مقادیر ورودی پس از ضرب در وزن های موجود در گذر گاه های بین لایه ها به نورون بعدی رسیده و در آن جا با هم جمع می شوند و پس از عبور از تابع شبکه مربوطه خروجی نورون ها را تشکیل می دهند. در پایان خروجی به دست آمده با خروجی مورد نظر مقایسه شده و خطای به دست آمده جهت اصلاح وزن های شبکه به کار می رود ، این امر اصطلاحاً آموزش شبکه عصبی نامیده می شود .

قاعده فراگیری MLP

قاعده فراگیری پرسپترون چند لایه را «قاعده کلی دلتا» یا « قاعده پس انتشار » می گویند . این عناوین در سال 1986 رومل هارت ، مک کللند و ویلیامز پیشنهاد شد.

اولین گروهی بودند که نه تنها قاعده فراگیری پرسپترون را به طور مستقل کشف کردند بلکه با ترکیب آن ها پرسپترون چند لایه را ایجاد نمودند. کتاب آن ها به نام «پردازش توزیع شده موازی» یکی از مهم ترین منابع این حوزه علمی می باشد.

نحوه عمل پرسپترون چند لایه ای مشابه پرسپترون تک لایه ای است. به این صورت که الگویی به شبکه عرضه می شود و خروجی آن محاسبه می گردد ، مقایسه خروجی واقعی و خروجی مطلوب باعث می گردد که ضرایب وزنی شبکه تغییر یابد به طوری که در مراحل بعد خروجی صحیح تری حاصل شود. وقتی به شبکه آموزش ندیده ای الگویی را عرضه می کنیم ، خروجی های تصادفی تولید می کند. ابتدا باید تابع خطایی را تعریف کنیم که تفاوت خروجی واقعی و خروجی مطلوب را نشان دهد. از آن جایی که خروجی مطلوب را می دانیم این نوع فراگیری را « فراگیری با سرپرستی » می نامیم.

برای موفقیت در آموزش شبکه باید خروجی آن را به تدریج به خروجی مطلوب نزدیک کنیم. به عبارت دیگر باید میزان خطا را کاهش دهیم. برای رسیدن به هدف از قانون دلتا استفاده می کنیم.

 تبدیل موجک ( ویولت Wavelet )

تبدیلات موجک یا ویولت (Wavelet) از جمله ابزارهایی هستند که کاربردهای فراوانی در شاخه های مختلف علمی و مهندسی، به ویژه هوش مصنوعی، یادگیری ماشینی، پیش بینی سری زمانی، و بازشناسی الگو دارد. تئوری موجک ها در واقع تعمیمی بر تئوری تبدیلات و سری های فوریه است و ضعف های آنالیز فوریه در عملکرد موضعی و مدل سازی رفتارهای کوتاه مدت را، جبران می نماید.

موجک یا ویولت (به انگلیسی: Wavelet) دسته‌ای از توابع ریاضی هستند که برای تجزیه سیگنال پیوسته به مؤلفه‌های فرکانسی آن بکار می‌رود که رزولوشن هر مؤلفه برابر با مقیاس آن است. تبدیل موجک تجزیه یک تابع بر مبنای توابع موجک می‌باشد. موجک‌ها (که به عنوان موجک‌های دختر شناخته می‌شوند) نمونه‌های انتقال یافته و مقیاس شده یک تابع (موجک مادر) با طول متناهی و نوسانی شدیداً میرا هستند. چند نمونه موجک مادر در شکل زیر نمایش داده شده‌اند.

تعداد زیادی تبدیل موجک وجود دارد که لیست آن را می‌شود در فهرست تبدیل‌های مرتبط با موجک مشاهده نمود. معمول‌ترین این تبدیل‌ها عبارتند از:

• تبدیل موجک پیوسته (Continuous wavelet transform (CWT
• تبدیل موجک گسسته Discrete wavelet transform (DWT)
• تبدیل سریع موجک Fast wavelet transform (FWT)
• Lifting scheme
• تجزیه بسته‌های موجکWavelet packet decomposition (WPD)
• تبدیل موجک ساکن Stationary wavelet transform (SWT)

مقایسه تبدیل موجک با تبدیل فوریه

در مقایسه با تبدیل فوریه می‌توان گفت که تبدیل موجک دارای خصوصیت محلی‌سازی بسیار خوبی است. بطور مثال تبدیل فوریه یک پیک تیز دارای تعداد زیادی ضریب است، چرا که توابع پایه تبدیل فوریه توابع سینوسی و کسینوسی هستند که دامنه آنها در کل بازه ثابت است، در حالی که توابع موجک توابعی هستند که بیشتر انرژی آنها در بازه کوچکی متمرکز شده‌است و به سرعت میرا می‌شوند. بنابراین با انتخاب مناسب موجک های مادر می توان فشرده سازی بهتری در مقایسه با تبدیل فوریه انجام داد.

ترکیب ویولت و شبکه عصبی MLP :

برای ترکیب ویولت و شبکه عصبی دو راه در مقالات به آن اشاره شده است :

روش 1 :

 در ابتدا بوسيله تبديل ويولت گسسته و قابليت آن در تجزيه و تحليل سيگنال با رزولوشن هاي مختلف، سگينال در چند سطح تجزيه مي شود، سپس با استفاده از انحراف معيار ضرايب ويولت هر سطح براي هر اغتشاش يك بردار ويژگي استخراج شده كه مبناي كلاس بندي سيگنال توسط شبكه عصبي مي باشد.

روش 2 :

در این روش ویولت در قلب شبکه عصبی MLP استفاده می شود. همانطور که در قسمت بالا توضیح داده شد. یک شبکه عصبی از چندین نرون تشکیل شده است که هر نرون در خروجی خود یک تابع تبدیل یا transfer function دارد. در این روش تابع تبدیل نرون دستخوش تغییر می شود.

به عبارت دیگر یکی از ویولت ها را به صورت یک تابع می نویسیم و در خروجی هر نرون شبکه عصبی قرار می دهیم. لذا شبکه عصبی ورودیها را می گیرد و بنا به وزن ها و بایاس خود خروجی هایی را تولید می کندو در انتها خروجی از یک تابع تبدیل عبور می کند.

کد های هر دو روش بالا موجود است که شما می توانید با گروه تماس بگیرید و تنها با پرداخت مبلغی ناچیز این دو کد را دریافت کنید.

کد نویسی روش دوم نیاز به تجریه و تبحر بالایی در برنامه نویسی دارد.

لینک دنلود

نوشته شبکه عصبی ویولت چیست ؟ اولین بار در ايران متلب. پدیدار شد.

یک جزوه عالی برای علاقه مندان به شبکه عصبی و سیستم های فازی

نکته جالب در این جزوه این است که گفته کتاب شبکه های عصبی منهاج را نخوانید.

گروه برنامه نویسی ایران متلب هم تا حدودی با این متلب موافق است چون این کتاب ، جمع آوری مطالب توسط دانشجویان دکتر می باشد. اما در برخی فصل ها مثال های خوبی دارد که برای افراد مبتدی خوب می باشد.

نام جزوه: کنترل فازی و شبکه های عصبی در متلب (Matlab)
نویسنده: فرزاد چراغپور سماواتی
محل تدریس: دانشگاه آزاد اسلامی – واحد قزوین
ترم تدریس: بهمن 82
تعداد صفحات: 55 صفحه

لینک دانلود

محصولات مرتبط

نوشته کنترل فازی و شبکه های عصبی در متلب اولین بار در ايران متلب. پدیدار شد.

شبکه عصبی

مبحث شبکه های عصبی مربوط به شبیه سازی قوه یادگیری در انسان و پیاده سازی آن به صورت الگوریتم های کامپیوتری می باشد. قوه یادگیری در انسان عبارت از فراگیری الگوهای اطراف خود توسط تکرار می باشد.

مغز  به عنوان یک سیستم پردازش اطلاعات با ساختار موازی از ملیونها نرون تشکیل شده است.بافتهایی که عصب نامیده میشوند اجتماعی از نرون ها  هستند که اطلاعات و پیامها را از یک قسمت بدن به قسمت دیگر منتقل می کنند.

نرون بیولوژیکی

شکل 1 – نرون بیولوژیکی

نرون های بیولوژیکی از چهار قسمت اساسی تشکیل شده اند :

1- دندریت : اطلاعات را دریافت و به هسته سلول می رساند

2- بدنه سلول : اطلاعات دریافتی را پردازش می کند

3- اکسون : اطلاعات هسته سلول را به نرون های دیگر منتقل می کند

4 – سیناپس: محل تلاقی یک اکسون از یک نرون به دندریتهای نرون دیگر را سیناپس میگویند

معماری شبکه عصبی مصنوعی

نرون  مصنوعی : کوچکترین واحد پردازشگر اطلاعات است.ورودیهای نرون توسط یک نوع ارتباط به نام وزن به نرون وارد می شوند

            شکل 2- نرون تک لایه با یک ورودی                              شکل 3 – نرون تک لایه با R ورودی

P   : ورودی  ، W    : وزن ورودی  ،b    : بایاس  ،f    : تابع تحریک  ،a    : خروجی

بایاس : یکی از وزن های ورودی نرون می باشد که مقدار ورودی اش همواره یک است

نرون مدل سازی شده ورودی های خود را محاسبه می کند .ابتدا اولین ورودی را در ضریب وزنی مربوط به خط ارتباطی آن ورودی ضرب می کند سپس همین عمل را برای ورودی دوم و سایر ورودی ها تکرار می کند در نهایت تمام مقادیر را جمع می کند . در صورتی که مجموع مقادیر از حد آستانه بالاتر رود ، نرون  تولید خروجی می کند (فعال می شود)

∑ w_ip_i=w₁p₁+w₂p₂+…+w_np_n           

a = f( ∑ w_ip_i + b_i  )   

B و w دو پارامتر تنظیم شونده در نورون ها می باشند . ایده اصلی شبکه های عصبی این است که با تغییر مقادیر w و b  ،شبکه یک رفتار یا تصمیم را اتخاذ کند

تابع های مورد استفاده در شبکه های عصبی :

شکل 4 – تابع های محرک

تابع محرک f میتواند خطی یا غیر خطی باشد.

یک تابع محرک بر اساس نیاز خاص حل یک مساله انتخاب میشود

انواع شبکه از نظر تعداد لایه :

شبکه تک لایه : شبکه های تک لایه قادر به حل مسایل ساده هستند ولی با شبکه های چند لایه هر مثالی را می توان حل کرد(شکل هایی که تا کنون دیدیم از نوع تک لایه بودند)

شبکه چند  لایه :یک شبکه چند لایه دارای لایه های زیر می باشد

1. لایه ورودی : دریافت اطلاعات خامی که به شبکه تغذیه شده‌است.

2. لایه‌های پنهان : عملکرد این لایه‌ها به وسیله ورودی‌ها و وزن ارتباط بین آنها و لایه‌های پنهان تعیین می‌شود. وزن‌های بین واحدهای ورودی و پنهان تعیین می‌کند که چه وقت یک واحد پنهان باید فعال شود.

3. لایه خروجی : عملکرد واحد خروجی بسته به فعالیت واحد پنهان و وزن ارتباط بین واحد پنهان و خروجی می‌باشد.

شکل 5 – شبکه سه لایه

برخی از کاربرد شبکه های عصبی :

     طبقه بندی ,شناسایی و تشخیص الگو

     پردازش سیگنال

     مدلسازی و کنترل

     مسائل مالی ، بیمه ،امنیتی ،بازار بورس و وسایل سرگرم کننده

     ساخت وسایل صنعتی ،پزشکی و امور حمل و نقل

آموزش شبکه

 1 -یادگیری نظارت نشده یا بدون ناظر

در این نوع یادگیری هیچ سیگنالی که اطلاعات را در مورد مطلوبیت  جواب شبکه به خود شبکه وارد نماید وجود ندارد. به عبارت دیگر به شبکه گفته نمی شود که خروجی هدف چه است و یا اینکه جواب شبکه چقدر مطلوب است.در این حالت شبکه با دریافت اطلاعات ورودی و شاخص های موجود در ورودی ها ، ارتباط موجود بین الگوهای ورودی را پیدا کند و در خروجی کد کند.

شکل – 6

1.یادگیری نظارت شده یا با ناظر:

در این نوع اموزش به الگوریتم یادگیری مجموعه ای از زوج داده که به داده های یادکیری موسوم هستند داده می شود.هر داده یادگیری شامل ورودی به شبکه و خروجی هدف است.پس از اعمال ورودی به شبکه خروجی شبکه با خروجی هدف مقایسه میگردد و سپس خطای یادگیری محاسبه شده و از آن جهت تنظیم پارامتر های شبکه(وزن ها) استفاده می گردد به گونه ای که اگر دفعه بعد به شبکه همان ورودی را دادیم خروجی شبکه به خروجی هدف نزیک گردد.

شکل – 7

چگونگی جداسازی الگوها توسط شبکه عصبی

کلاس بندی به معنای جداسازی چند الگو از یکدیگر است

فرض کنید یک رباتی داریم که میخواهد دو میوه سیب و موز را از هم جدا کند برای اینکار از محور مختصات دو بعدی استفاده می شود و میوه ها بر اساس رنگ و اندازه در صفحه مختصات قرار می گیرند.

ربات جداکننده میوه بر اساس رنگ و اندازه میوه آن ها را در یک صفحه مختصات ، کلاس بندی می کند ، از این پس ربات مقادیر رنگ و اندازه میوه برداشته شده را در محور مختصات قرار داده تا بفهمد میوه در کدام کلاس باید قرار گیرد

شکل – 8کلاس بندی

این دو کلاس توسط خطی از یکدیگر جدا شده  اند ، برنامه این ربات دیگر نیاز ندارد تمام اندازه الگو های خود را در جایی ذخیره کند بلکه با دانستن سه عدد معین که ظرایب معادله خط در صفحه هستند براحتی می تواند الگو ها را شناسایی کند ، کافی است الگو ها را توسط سنسور های خود اندازه گیری کرده و آن را در معادله خط قرار دهد

در صورتی که فقط ظرایب معادله را در نظر بگیریم برداری بدست می آید که به آن وزنهای شبکه عصبی گفته می شود

X₂ + X₁ – 0.5 = 0

[w₀ w₁ w₂]=[-0.5  1  1]

هنر یک شبکه عصبی این است که با روش تکرار وزن ها را به دست آورد

انواع شبکه های عصبی :

1 – پرسپترون

2 – هاپفیلد

3 – همینگ

4 – کوهنن

5 – شبکه عصبی انتشار رو به عقب

6 – شبکه عصبی کارپنتر و گروسبرگ

پرسپترون :

این نوع  شبکه عصبی در حل مساله  ها بسیار سریع و قابل اطمینان است . قاعده یادگیری این شبکه تکرار است و وزنهای خود را به شیوه تکرار بدست می آورد . شبکه با کلاس های خطی تربیت می شود

مجموع حاصل ضربهای ورودی در وزن :Yin

: یک عدد کوچک معمولا 0.2 ، کمیت ناحیه ای را نشان می دهد که در آن ناحیه الگوها را نمی توان کلاس بندی کردѲ

شبکه می تواند به صورت باینری یا بایپولار تربیت شود

در حالت باینری اطلاعات مورد پردازش 0 یا 1 می باشد  در حالت بایپولار اطلاعات مورد پردازش 1 یا 1- می باشد و

در شکل زیر یک شبکه پرسپترون می بینید که از تابع محرک آستانه ای دو مقداره متقارن استفاده کرده است

شکل 9 – پرسپترون

مراحل کار الگوریتم :

1. وزنها را با صفر ، α را با 0.1 و Ѳ را با 0.2 مقدار دهی می کنیم
2. یک حلقه که شرط خاتمه آن عدم تغییر وزن هاست(به ازای n الگوی ورودی باید حداقل یک وزن تغییر کند در غیر این صورت الگوریتم به پایان می رسد)
3. یک حلقه است که به تعداد الگوی ورودی مراحل زیر خود را تکرار می کند
4. ماتریسی به تعداد n سطر(الگوهای ورودی) و به تعداد m+1 ستون (m  تعداد نرون های ورودی)ایجاد می کنیم . بردار فضای هدف(t) را با n عنصر ایجاد میکنیم(هر الگو دارای یک مقدار هدف است)

شکل 10 – ماتریس گیت and به همراه خروجی هدف

تابع تحریک شبکه به صورت زیر است

                  1     IF  yin > Ѳ

      Y=        0    IF  -Ѳ <= yin <= Ѳ

                -1    IF   yin  < Ѳ

معادله خطوط جداکننده پرسپترون به صورت زیر است

W₂x₂ + w₁x₁ + b = ±Ѳ

وزن ها از روش تربیتی زیر استفاده می کنند

Wi(new)=w_i(old) + α . t .x_i

B(new)=b(old) + α .t

مقدار هدف(مقدار هدف کلاس الگو را مشخص می کند)  .  αسرعت تربیت است و مقدارش بین 0  و 1  (به یک نزدیک شود سرعت بالا رفته و دقت پایین می آید)

وزن ها از روش تربیتی زیر استفاده می کنند

Wi(new)=w_i(old) + α . t .x_i

B(new)=b(old) + α .t

مقدار هدف(مقدار هدف کلاس الگو را مشخص می کند)  .  αسرعت تربیت است و مقدارش بین 0  و 1  (به یک نزدیک شود سرعت بالا رفته و دقت پایین می آید)

شبکه هاپفیلد :

شبکه هاپفیلد از معماری بازگشتی استفاده می کند

این شبکه دارای یک لایه از نرون های ورودی به نرون های ورودی است (نرون های ورودی همان نرون های خروجی اند)

در نویزگیری از الگو ها و تبدیل به نمونه اصلی استفاده می شود

               شکل 11 – شبکه هاپفیلد                       شکل 12 – برطرف شدن نویز توسط هاپفیلد

در این شبکه الگویی را که برای تربیت انتخاب شده با S و الگوی ناشناس ورودی را با X نمایش می دهیم

مراحل کار الگوریتم :

1. ورودی را به صورت باینری دریافت کرده و سپس با فرمول زیر آن را به بایپولار تبدیل می کنیم

S_bipolar = 2S – 1

برای بدست آوردن وزن ماتریس S را در ترانهاده خودش ضرب کرده و  مقادیر قطر اصلی آن را صفر می کنیم

W = S_{bipolar *} S_bipolar^T

2. خروجی را معادل ورودی در نظر می گیریم یعنی Y = X
3. به تعداد نرون های ورودی مرحله بعد انجام شود (حلقه)
4. Yin_i = x_i + ∑ x_j . W_ji

شکل 13 – خروجی نرون x

5 .       Y _i =    1   yin _i   >=0

                      0    yin _i  <0          

X=y                   

Yin_i = x_i + ∑ x_j . W_ji

6. در صورتی که تغییری در خروجی دیده نشود الگوریتم پایان یافته تلقی می شود .

           از این الگوریتم برای برطرف کردن نویز از الگو استفاده می شود

لینک دانلود اصل فایل

نوشته شبکه عصبی 1 اولین بار در ايران متلب. پدیدار شد.

لذا  در این پروژه با استفاده از تکنیک هاي داده کاوي و الگوریتم هایی مانند درخت تصمیم، شبکه عصبی ،ماشي ن بردار پشتيبان، بيز ساده، K نزديک ترين همسايه و دسته بندي هاي مبتني بر قانون(قاعده) مدل هايی بر اساسيک مجموعه داده قلب و سیزده متغییر( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …)ایجاد شده وسپس به دو سوال زير به عنوان هدف تحقیق پاسخ داده مي شود.

1-آیا فردی با متغیرهاي ( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، … ) بیماری قلبی دارد؟ (پیش بینی بیماری قلبی در یک فرد؟)

2-کدام یک از الگوریتم های داده کاوی مدل بهتری را از مجموعه داده جمع آوری شده استخراج می کند؟

کلیه مدل هاي استخراج شده ارزيابي شدند مدلبيز ساده با کاهش ابعاد از روش انتخاب زير محموعه اي از ويژگي ها به عنوان مدل بر تر انتخاب شده و  از سه تکنيکbagging و boostingوvoteجهت بهبود اين مدل استفاده شد و در نهايت مدل بيز ساده با کاهش ابعاد از روش انتخاب زير محموعه  اي از ويژگي ها با بهبود دادن مدل از طريق  تکنیک boosting به عنوان بهترين مدل با دقت70/82درصد انتخاب گرديد و سپس اين مدل بر يک مجموعه داده تستي اعمال شده و نتيجه با نود درصد دقت، متغير هدف (وجود يا عدم وجود بيماري قلبي در یک فرد) را پيش بيني کرد.

واژه های کلیدی

داده کاوی، دسته بندی، درخت تصمیم، شبکه عصبی ،ماشين بردار پشتيبان، الگوریتم بيز ساده،الگوریتمK نزديکترين همسايه ، دسته بندي  مبتني بر قانون(قاعده)، بیماری قلب و عروق

فصل اول :کلیات تحقیق

مقدمه فصل اول

در فصل اول بیان مسئله ، مدل مفهومی تحقیق ،هدف تحقیق ،سوالات تحقیق ،قلمرو موضوعی تحقیق ،تعریف واژه ها و جمع بندی فصل آورده شده است.

بیان  مسئله

امروزه افراد زیادی به علت بیماری قلب و عروق جان خود را از دست می دهند این بیماری با توجه به شیوع و سهمی که در مرگ و میر انسانها دارد از اهمیت بالایی برخوردار است .

به گزارش گروه اجتماعی خبرگزاری آنا مورخ 27 تیر 1393، آقای فریدون نوحی رئیس انجمن قلب و عروق ایران بیشترین علت مرگ و میر ها در کشور را ناشی از ابتلا به بیماری قلبی و عروقی دانست و گفت: مرگ 38 درصد ایرانیان بر اثر بیماری‌ قلبی رقم بسیار بالایی محسوب می‌شود. رئیس انجمن قلب و عروق ایران خاطر نشان کرد: البته این مسئله مختص کشور ما نیست و در اکثر قریب به اتفاق کشورهای دنیا وضعیت به همین شکل است اما نکته اینجاست که در کشورهای پیشرفته ای نظیر فنلاند، انگلیس و آمریکا با رعایت برخی اقدامات پیشگیرانه این روند رو به کاهش است اما در کشور ما به دلایل مختلف از جمله تغییر نسبت هرم سنی و پیر شدن جمعیت، آمارها روند افزایشی دارد.لذا سهم38 درصدی مرگ ومیر به علت بیماری قلب و عروق منجر به انتخاب این تحقیق توسط اینجانب گردید.

مدل مفهومی تحقیق

با استفاده از تکنیک دسته بندی و الگوریتم هایی مانند درخت تصمیم، شبکه عصبی،ماشين بردار پشتيبان، بيز ساده، K نزديکترين همسايه و دسته بندي هاي مبتني بر قانون(قاعده) مدل هايی بر اساس يک مجموعه داده قلب با سیزده متغییر( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …)ایجاد می شود و از متغییر هدف جهت پیش بینی وجود و یا عدم وجود بیماری قلبی استفاده می گردد .

هدف تحقیق

طراحی مدلی مناسب برای پیش بينيبیماری قلبی با استفاده از تکنیک داده کاوی، در این پروژه متغیرهایی از قبیل سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …هر فردبه مدل داده می شود و از طریق مدل می توان  وجود و یا عدم وجود بیماری قلبی را در آن فردپیش بینی کرد.

سوالات تحقیق

1- آیا فردی با متغیرهای( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …) بیماری قلبی دارد؟(پیش بینی بیماری قلبی در یک فرد؟)

2-کدام یک از الگوریتم های داده کاوی مدل بهتری را از مجموعه داده جمع آوری شده استخراج می کند؟

قلمرو تحقیق (موضوعی)

از آنجایی که موضوع تحقیق طراحی مدلی برای تشخیص وجود بیماری قلبی با استفاده از تکنیک داده کاوی است لذا قلمرو موضوعی”پیش بینی بیماری قلب و عروق”می باشد.

تعریف واژه ها(متغییر ها)

جمع  بندی فصل اول

در این فصل به تشریح ،  بیان مسئله (ضرورت و اهمیت تحقیق)، مدل مفهومی تحقیق ،هدف و سوالات تحقیق پرداخته شدو همچنین در پایان قلمرو موضوعی تحقیق و تعاریف واژه ها ذکر گردید.

فصل دوم :ادبیات تحقیق

ادبيات موضوعي   مربوط به تحقيق

این مقاله بر موضوع داده کاوی متمرکز است داده کاوی فرآیندی پیچیده جهت شناسایی الگوها و مدل های پنهان ، صحیح، جدید و به صورت بالقوه مفید در حجمی  از داده ها است به طریقی که این الگوها و مدلها برای انسانها قابل درک باشند. داده کاوی که به عبارتی دیگر، کشف دانش از حجم گسترده ای  از داده هانامیده می شود جهت استخراج دانش از پایگاه یا انباره داده  بسته به نوع دادها از تکنیک های مختلفی استفاده می کند که عبارتند از :

تکنیک دسته بندی : در دسته بندی کل مجموعه داده ها به دو قسمت مجموعه داده های آموزشی و مجموعه داده های آزمایشی تقسیم بندی می شوند در مرحله آموزش الگوریتم یاد می گیرد و بر اساس مجموعه داده های آموزشی یک مدل ساخته می شود شکل مدل ساخته شده به الگوریتم یاد گیرنده  که مورد استفاده قرار می گیرد و می تواند درخت تصمیم ، شبکه عصبی ، بیز ، ماشین بردار پشتیبان و غیره باشد بستگی دارد مثلا اگر الگوریتم یاد گیرنده درخت تصمیم باشد مدل ساخته شده یک درخت تصمیم خواهد بود و در مرحله ارزیابی بر اساس مجموعه داده های آزمایشی دقت و کارایی مدل ساخته شده ارزیابی خواهد شد .

تکنیک خوشه بندی : در این روش رکوردها بر اساس شباهتی که به یکدیگر دارند و عدم شباهت شان  با رکورد های دیگر در خوشه های متعددی قرار می گیرند در این تکنیک مراحلی تحت عنوان آموزشی و آزمایشی وجود نداشته ودر پایان مدلی ساخته می شود که عملا” همان تعیین خوشه ها بوده و به همراه کارایی آن به عنوان خروجی ارائه می شود در این تکنیک از الگوریتم هایK-Means،DBSCAN,K-Medoidsو غیره می توان استفاده کرد.

تکنیک کشف قوانین انجمنی : در این روش مجموعه داده مورد کاوش شامل تعداد زیادی تراکنش مثلا” تراکنش های خرید از یک فروشگاه است که هر تراکنش شامل تعدادی شیء است در این الگوریتم بدنبال کشف قوانین وابستگی یا انجمنی در میان این تراکنش ها هستیم بر اساس قوانین کشف شده می توان بگوییم که وجود چه اشیایی بر وجود چه مجموعه اشیاء دیگری اثر گذار است در این تکنیک از الگوریتم هایApriori،FP-Growthو غیره می توان استفاده کرد.

در این پروژهاز تکنیک داده کاوی دسته بندیاستفاده می شودکه روی یک مجموعه داده اعمال و با ساخت چندین مدل برای مجموعه داده، دقت مدل ها مورد بررسی و ارزیابی قرار می گيرد در ضمن برای انجام این کار (ساخت مدل ها ، بررسی دقت مدل ها و غیره)از نرم افزار RapidMiner استفاده می شود.

بررسي پيشينه تحقيق

زمینه های متعددی درخدمات پزشکی مانند پیش بینی اثر بخشی عمل های جراحی ،آزمایشات پزشکی و تشخیص بیماری با استفاده از روش های داده کاوی مورد توجه قرار گرفته اند. محققان در زمینه شناسایی و پیش بینی بیماری ها، علاوه بر بررسی کیفیت مراقبت از بیماران با کمک تکنیک های داده کاوی مبادرت به تشخیص بیماری های مختلفی شامل دیابت ،هپاتیت ،سرطان و بیماری های قلبی نموده اند که در ذیل چند نمونه از پیشینه تحقیق خارجي و داخلي در خصوص بیماری قلبی آورده شده است.

خلاصه اي  از نکات پيشينه تحقيق(خارجي)

خلاصه اي  از نکات پيشينه تحقيق(داخلي)

فصل سوم:روش  شناسي تحقيق

متغیرهای تحقیق

سن:

سن یک عامل مهم بیماری قلبی عروقی است. بعد از سن ۶۵ سالگی احتمال ابتلا به بیماری قلبی و سکته افزایش می یابد به طوری که بیش از ۴۰ درصد همه موارد مرگ در میان افراد بالای ۶۵ تا ۷۴ سال و تقریبا ۶۰ درصد در سن ۸۵ به بالا به این بیماری نسبت داده می شود. احتمال وقوع بیماری قلبی و فشار خون بالا که منجر به نارسایی قلبی می شود در افراد ۶۵ ساله یا مسن تر بیشتر است.
اما یکی از علل وقوع این بیماری ها اتفاقاتی است که با افزایش سن برای عروق رخ می دهد. به طور کلی خون از طریق عروق سرخرگی از قلب خارج شده و از طریق عروق سیاهرگی به آن باز می گردد. با افزایش سن تغییرات متعددی برای عروق رخ می دهد از جمله سفت شدن عروقی خونی در پی افزایش سن ، این عروق در برابر جریان خون بویژه جریان خون پر ضربان، سرخرگ های بزرگ نزدیک قلب مقاومت می کنند. این مقاومت که امپدانس نامیده می شود عامل مهم افزایش فشار خون همزمان با بالا رفتن سن است.

جنسیت:

مردان در معرض خطر بیشتری از ابتلا به بیماری های قلبی و عروقی هستند و در سنین پایین تر به این بیماری دچار می شوند. این میزان نزد زنان حتی پس از یائسگی ( هنگامی که میزان مرگ زنان به دلیل بیماری قلبی افزایش می یابد ) به اندازه مردان نیست زنان پیش از یائسگی بدلیل وجود هورمون های جنسی خود در مقابل بیماری های قلبی عروقی محافظت می شوند پس از یائسگی خطر ابتلاء به بیماری های قلبی عروقی در زنان شروع به افزایش یافتن می کند.معمولا علت اینکه مردان بیشتر از زنان به بیماری قلبی دچار می شوند به دلیل استرس زیاد، فشار خون بالا و کشیدن سیگار بیشتر،  نسبت به زنان می باشد.

نوع درد قفسه سینه:

از جمله بيماري‌ درد قفسه سينه ايسكمي و آسيب به عضله قلب است. (ايسكمي يعني اين كه اكسيژن‌رساني به قلب براي تامين نيازهاي متابوليك سوخت و ساز كافي نباشد)‌ اين عدم هماهنگي ناشي از كاهش اكسيژن‌رساني ، افزايش تقاضا براي اكسيژن يا هر دو است و بارزترين علت زمينه‌ساز ايسكمي قلبي انسداد رگ‌هاي كرونر قلب به وسيله تصلب شرائين است كه با وجود چنين انسدادي دوره‌هاي ايسكمي گذرا به واسطه افزايش تقاضا براي اكسيژن به دنبال فعاليت‌هاي فيزيكي و افزايش ضربان قلب به وجود مي‌آيد.

فشار خون:

چهل و نه درصد بیماری ایسکمی قلبی (ايسكمي يعني اين كه اكسيژن‌رساني به قلب براي تامين نيازهاي متابوليك سوخت و ساز كافي نباشد)‌ به فشارخون بالا منتسب است شیوع بالای این بیماری و بی‌علامت بودن آن اهمیت این مشکل بهداشتی را چندین برابر می‌کند و باید بدانیم این بیماری قابل علاج است 17.5 درصد از افراد 15 تا 65 سال مبتلا به فشارخون بالا هستند. با افزایش سن، شیوع این بیماری افزایش و باعث ایجاد بیماری قلبی می گردد.

کلسترل:

کلسترول ماده ای است از جنس چربی ومومی شکل که در تمام سلول های بدن وجود دارد و برای

ادامه زندگی ماده ای حیاتی و ضروری است اما رسوب همین ماده حیاتی در جدار سرخرگها وتشکیل پلاک موجب تنگی عروق می شود که اگر رسوب کلسترل در جدار عروق کرونری باشد موجب بیماری قلب و عروق می شود .

قند خون:

دیابت بطور جدی شانس بروز بیماریهای قلبی عروقی را افزایش می دهد. حتی با وجود کنترل قند خون ، دیابت شانس بیماری قلبی را افزایش می دهد ولی در صورت عدم کنترل این خطر به مراتب بالاتر خواهد رفت.

نوار قلب و اکوکاردیوگرافی:

در نوار قلب با استفاده از الکترودهایی که روی قفسه سینه و اندامها قرار می‌گیرد،گزارشی از فعالیت الکتریکی قلب ثبت می‌شود. با نوار قلب تا حدودی از خون رسانی قلب، بیماری عضله قلب، تغییرات یونی در بدن و تاثیر داروهای قلبی مطلع می‌شویم.

اکوکاردیوگرافی در واقع سونوگرافی مخصوص قلب می‌باشد که با استفاده از امواج ماوراء صوت به بررسی ساختمان و کار قلب می‌پردازد. با اکوکاردیوگرافی به سایز حفره های قلب، ناهنجاریهای مادرزادی قلب،میزان انقباض و بیماریهای دریچه ای قلب پی می‌بریم. بعد از نوار قلب،اکوکاردیوگرافی معمول ترین اقدام تشخیص در بیماریهای قلب و عروق بوده و کامل کننده اطلاعاتی است که توسط معاینه به دست می‌آید.

تپش قلب:

تپش قلب به معنی آگاهی از تپش قلب خود است. علیرغم تپش و فعالیت مداوم و بی‌وقفه‌ قلب

، این فعالیت نباید توسط خود فرد احساس ‌شود. به عبارت دیگر انسان اصلاً نباید متوجه تپش قلب در بدن خود ‌باشند. پس هرگاه فرد احساس بکند که قلب درون قفسه ‌سینه در حال تپش می‌باشد، دچار تپش قلب شده است .

گرفتگی رگ:

گرفتگی رگ عبارت است از تصلب و باریك شدن فضای داخل سرخرگهای قلب،  قلب ۳ سرخرگ اصلی دارد زمانی كه هر كدام یا همگی تنگ شوند، آنها دیگر نمیتوانند اكسیژن كافی به سلولهای قلب برسانند و باعث ایجاد گرفتگی رگ و به دنبال آن بیماری قلبی در فرد می شوند.

تست ورزش:

در این روش درحالیکه بیمار روی دستگاه تردمیل حرکت می‌کند از بیمار نوار قلب گرفته می‌شود و درصورت وجود تنگی در عروق قلب، همزمان با افزایش ضربان قلب با ورزش، در نوار قلب بیمار تغییراتی حاصل می‌شود که پزشک را به تشخیص گرفتگی عروق کرونر هدایت می‌کند.

افسردگی:

اضطراب و افسردگی خطر مرگ و میر را در افراد مبتلا به بیماری‌های قلبی عروقی افزایش می‌دهد به گفته سرپرست محققان در دانشگاه دوک در دورهام، در میان بیماران مبتلا به بیماری‌های قلبی عروقی،  اضطراب خطر مرگ و میر ناشی از بیماری را تا دو برابر افزایش می‌دهد.

شیب پیک ورزش:

سرعت حرکت نوار گردان تردمیل معمولا بین صفرتا 12کیلومتردر ساعت است. هنگامی که ورزشکارروی نوار گردان می دود،امکان وصل کردن دستگاه های مختلف به بدن وجود دارد.دستگاه هایی از قبیل: الکترود های اندازه گیری فشارخون، دستگاه تجزیه گازهای تنفسی برای اندازه گیری حداکثراکسیژن مصرفی وبسیاری از دستگاه های دیگر که برای اندازه گیری متغیر های فیزیولوژیکی در ورزش کاربرد دارند.صفحه متحرک نوار گردان قادر است که شیب های متفاوت قابل کنترلی را از صفر تا 24 درصد ایجاد کند در صورت داشتن شیب های بالا ، شرایط فعالیت روی صفحه متحرک دشوارتر می شود و از این طریق می توان شدت راه رفتن یا دویدن را افزایش داد.

روش تحقيق

روش تحقيق مجموعه اي از قواعد ابزار و راهي معتبر و نظام يافته براي بررسي واقعيتها ، کشف مجهولات و دستيابي به راه حل مشکلات است . تحقيق را از نظر غايت به دو دسته بنيادي و کاربردي و از نظر رويکرد به دو دسته کمي و کيفي مي توان طبقه بندي کرد .

تحقيق بنيادي:

هدف اساسي اين نوع تحقيقات آزمون نظريه ها ، تبيين روابط بين پديده ها و افزودن به مجموعه دانش موجود در يک زمينه خاص است .تحقيقات بنيادي ، نظريه ها را بررسي کرده آنها را تاييد ،تعديل يا رد مي کنند. با تبيين روابط ميان پديده ها تحقيق بنيادي به کشف قوانين و اصول علمي مي پردازدبا اين اهداف تحقيقات بنيادي در صدد توسعه مجموعه دانسته هاي موجود در باره اصول و قوانين علمي است. اين نوع تحقيقات نتيجه گرا بوده و در رابطه با نيازهاي تصميم گيري انجام نمي شود در تحقيق بنيادي ، موارد و جنبه هاي کاربردي تحقيق در مسائل واقعي و استفاده علمي از نتايج تحقيق کمتر مورد توجه محقق است . انگيزه تحقيق عمدتا” ارضاي کنجکاوي محقق و کشف اصول  و قواعد کلي حاکم بر روابط پديده ها ست . تحقيق بنيادي توسط دانشمندان رشته هاي مختلف علوم و اغلب در مورد جانوران و در موقعيت هاي آزمايشگاهي انجام مي گيرد افراد مورد مطالعه به روش تصادفي انتخاب مي شوند و يافته هاي تحقيق به صورت اصول و قواعد کلي تنظيم و به جامعه تعميم داده مي شود.مجموعه اصول و قواعد حاصل از نتايج تحقيقات بنيادي در هر رشته پايه  هاي دانش بشر را به وجود مي آورند که ممکن است به تدوين نظريه هاي علمي براي تبيين پديده ها منتهي شوند . يافته هاي تحقيق بنيادي اغلب به عنوان پايه هاي تحقيق کاربردي مورد استفاده قرار مي گيرند.

تحقيق کاربردي:

اصول و روش هاي انجام تحقيق کاربردي همانند بنيادي است بدين معنا که در اينجا نيز افراد مورد مطالعه به روش تصادفي انتخاب مي شوند و نتايج حاصل از تحقيق در مورد گروه نمونه به جامعه اي که نمونه از آن انتخاب شده است بر اساس همان اصول تحقيق بنيادي تعميم مي يابد . تفاوت اصلي تحقيق کاربردي با تحقيق بنيادي در اين است که هدف محقق از تحقيق کاربردي دستيابي به اصول و قواعدي است که در موقعيت هاي واقعي و عملي به کار بسته مي شوند و به بهبود محصول و کارآيي روش هاي اجرايي کمک مي کنند . در حقيقت مي توان گفت هدف تحقيقات کاربردي ، توسعه دانش کاربردي در يک زمينه خاص است به عبارت ديگر تحقيقات کاربردي به سمت کاربرد عملي دانش هدايت مي شود.

تحقيق کيفي:

در تحقيق کيفي واقعيت عيني و مجزايي وجود ندارد واقعيت ذهني است و تنها در ارتباط با مشاهده گر است که وجود دارد محقق کيفي فرايند کل را مي آزمايد و باور دارد که واقعيت کلي است و نمي توان آن را به اجزايش تقسيم يا تجزيه نمود.

تحقيق کمي:

در تحقيق کمي واقعيت عيني است يعني خارج از ذهن محقق وجود دارد و هر کسي مي تواند آن را مشاهده کند علاوه بر آن محقق کمي معتقد است که واقعيت را مي توان به اجزاي تشکيل دهنده آن تجزيه کرد و محقق بايد دانش کلي خود را از واقعيت با بررسي اجزا به دست آورد.

بنابر اين روش تحقيق پروژه حاضر از نوع تحقيق کاربردي-کمي مي باشد.

جامعه آماري

جامعه آماري عبارت است از کل گروه افراد ، وقايع يا چيزهايي که محقق مي خواهد به تحقيق در مورد آنها به پردازد يا به عبارت ديگر همه اعضاي واقعي يا فرضي که علاقه مند هستيم يافته هاي پژوهش را به آنها تعميم دهيم.بنابراين جامعه آماري پژوهش حاضر  کل انسانها مي باشند.

نمونه ونمونه گيري

مجموعه داده پروژه حاظر از پايگاه داده UCI استخراج شده که به ادعاي ايشان روش نمونه گيري مورد استفاده نمونه گيري تصادفي طبقه بندي شده است.روش نمونه گيري تصادفي طبقه بندي شده به اين ترتيب است که ابتدا جامعه را طبقه بندي مي نماييم و سپس نمونه تصادفي از هر طبقه را انتخاب مي کنيم .يکي از دلايل نمونه گيري از طبقات به جاي گرفتن يک نمونه تصادفي ساده از کل جامعه اين است که مي توانيم اطمينان حاصل کنيم که نمونه هاي با عناصر کافي از هر طبقه انتخابشده است.

ابزار گرد آوري اطلاعات

لازم به ذکراست پس از مذاکره با چند ين شرکت از جمله شرکت فولاد مبارکه در خصوص ارائه مجموعه داده جهت انجام داده کاوي نهايتا” بعد از چندين ماه تاخير هيچ يک از شرکت ها حاضر به همکاري نشدند سر انجام با راهنمايي اساتيد و جستجوي فراوان يک مجموعه داده مربوط به بيماران قلبي از سايت UCI استخراج شد.

روش تجزيه و تحليل داده ها

معيارهاي ارزيابي تکنيکدسته بندي

قبل از آنکه به بررسی انواع معیارهای  مهم ارزیابی  دسته بندی بپردازیم لازم است که با مفهوم ماتریس درهم ریختگی آشنا شویم این ماتریس چگونگی عملکرد تکنيک دسته بندی را با توجه به مجموعه داده ورودی به تفکیک انواع دسته های مسئله دسته بندی نشان می دهد در این ماتریس مفاهیم  TP,FN,FP,TN به شرح ذیل می باشد.

:TNاین مقدار بیانگر تعداد رکوردهایی است که دسته واقعی آنها منفی بوده و الگوریتم دسته بندی نیز دسته آنها را به درستی منفی تشخیص داده است.

:FPاین مقدار بیانگر تعداد رکوردهایی است که دسته واقعی آنها منفی بوده و الگوریتم دسته بندی آنها را به اشتباه مثبت تشخیص داده است.

:FNاین مقدار بیانگر تعداد رکوردهایی است که دسته واقعی آنها مثبت بوده و الگوریتم دسته بندی آنها را به اشتباه منفی تشخیص داده است.

:TPاین مقدار بیانگر تعداد رکوردهایی است که دسته واقعی آنها مثبت بوده و الگوریتم دسته بندی نیز دسته آنها را به درستی مثبت تشخیص داده است.

اکنون به تشریح انواع معیارهای ارزیابی مهم مربوط به تکنیک دسته بندی با توجه به ماتریس درهمریختگی می پردازیم . مهم ترین معیار برای تعیین کارایی تکنیک دسته بندی معیار Accuracy است. این معیار دقت کل یک دسته بندی را محاسبه می نماید این معیار نشان دهنده این حقیقت است که دسته بندی طراحی شده چند درصد از کل مجموعه رکوردهای آزمایشی را به درستی دسته بندی کرده است . دقت دسته بندی بر اساس مفاهیم مطرح شده در ماتریس درهم ریختگی به شکل ذیل قابل محاسبه می باشد.

Accuracy=

این رابطه نشان می دهد که کلیه مواردی را که می بایست یک دسته بندی رعایت کند تا بتواند عملکرد مطلوب را برای آن در نظر گرفت در معیار Accuracyلحاظ شده اند همانگونه که مشخص است دو مقدار TP وTN مهمترین مقادیری هستند که در یک مسئله باید بیشینه شوند از آنجا که هر دو مقدار TP وTNدر صورت کسر قرار گرفته اند بنابر این می توان عنوان نمود که رابطه فوق به تمام دسته های موجود در مسئله دسته بندی توجه شده است به همین دلیل معیار دقت دسته بندی مشهورترین و عمومی ترین معیار محاسبه کارایی الگوریتم های دسته بندی است.در مسائل واقعی معیار Accuracy دسته بندی به هیچ عنوان معیار مناسبی برای ارزیابی کارایی الگوریتم های دسته بندی نمی باشد دلیل این امر آن است که در رابطه Accuracy دسته بندی ارزش رکوردهای دسته های مختلف یکسان در نظر گرفته شده است بنابراین چنانچه در یک کاربرد خاص ارزش دسته ای در مقایسه با دسته دیگر متفاوت باشد در آن صورت پیشبینی درست و یا غلط برچسب رکورد های آن دسته نفع یا ضرر متفاوتی را در قیاس با رکوردهای سایر دسته ها به همراه خواهد داشت به همین دلیل معیارها و روش هایی جهت حل این مشکل در اینگونه مسائل که مسائل با دسته های نا متعادل نامیده می شوند وجود دارد که به تشریح آنها خواهیم پرداخت. معیارRecall(x) دقت دسته بندی دسته x را با توجه به کل رکوردهای با برچسب x نشان میدهد معیار (Precision(xدقت دسته بندی x را با توجه به کل موارد نشان می دهد که بر چسبxبرای رکورد مورد بررسی توسط دسته بند پیشنهاد شده است توجه کنید که معیارRecall(x)کارایی دسته بند را با توجه به تعداد رخداد دسته xنشان می دهد.

حال آنکه معیار (Precision(xاساسا” مبتنی بر دقت پیشبینی دسته بندی می باشد و مبین آن است که به چه میزان می توان به خروجی دسته بندی اعتماد نماییم نکته مهم دیگری که می بایست به آن توجه کنیم آن است که در دسته بندی هایی که بر چسب برخی از رکوردها نامشخص تعیین می شود باید مخرج روابط به محاسبه Recall(x)را برابر با کل تعداد رکوردهای با برچسب x در نظر گرفت. معیار (F-Measure(xترکیب معیارهایRecall(x)و(Precision(xرا نشان می دهد و در مواردی مورد استفاده قرار می گیرد که نتوان اهمیت ویژه ای را برای هر یک از دو معیارRecall(x)و (Precision(xنسبت به یکدیگر قائل شد.

Recall(+)=

Precision(+)=

F_measure(+)=

روش هاي ارزيابي الگوريتم هاي دسته بندي

در اين قسمت سه روش ارزيابي الگوريتم هاي دسته بنديHoldout,Cross-Validation,Bootstrap توضيح داده مي شود.

روشHoldout :

در اين روش مجموعه داده اصلي به دو مجموعه داده با نام هاي مجموعه داده آموزشي و مجموعه داده آزمايشي تقسيم مي شود مدل دسته بندي توسط مجموعه داده آموزشي ساخته شده و به وسيله مجموعه داده آزمايشي مورد ارزيابيAccuracy,Recall,precision,…) ) قرار مي گيرد چگونگي نسبت تقسيم مجموعه داده ها بستگي به تشخيص تحليل گر دارد معمولا” دو نسبت شناخته شده تر هستند که عبارتند 50-50 ويا دو سوم براي آموزش و يک سوم براي ارزيابي، مهم ترين حسن اين روش سادگي و سرعت بالاي عمليات ارزيابي مي باشد روشHoldout معايب مهمي دارد اولين ايراد اين روش آن است که بخشي از مجموعه داده اوليه که براي آزمايش جدا مي شود شانسي براي حضور يافتن در مرحله آموزش ندارد بديهي است مدلي که با توجه به کل مجموعه داده اوليه ساخته شود جامع تر بوده و پوشش کلي تري را بر روي مجموعه داده مورد بررسي خواهد داشت .

روشK-FOLD Cross-Validation:

فرض کنيد مجموعه داده را به دو قسمت مساوي تقسيم نماييم حال يکي از دو قسمت را به عنوان مجموعه داده آموزشي در نظر گرفته و مدل را بر اساس آن مي سازيم سپس از مجموعه داده ديگر براي ارزيابي مدل ساخته شده استفاده مي کنيم اکنون جايگاه دومجموعه داده را با يکديگر تعويض مي نماييم به اين ترتيب که از مجموعه داده اول که قبلا” براي آموزش استفاده کرده بوديم براي ارزيابي و از مجموعه داده دوم که پيش تر براي ارزيابي بهره برداري کرده بوديم براي آموزش در ساخت مدل استفاده نماييم به اين روش ارزيابي روش

2-Fold Cross Validationگفته مي شودچنانچه به جاي 2 بارKمرتبه اين عمليات را انجام دهيم روش جامع K-Fold Cross Validationحاصل خواهد شد. در اين روش کل مجموعه داده ها به K قسمت مساوي تقسيم بندي مي شود از K-1 قسمت به عنوان مجموعه دادهاي آموزشي استفاده و بر اساس آنها مدل ساخته شده و با يک قسمت باقي مانده عمليات ارزيابي انجام مي شود فرايند مزبور به تعداد K مرتبه تکرار خواهد شد به گونه اي که از هر کدام از K قسمت تنها يک بار براي ارزيابي استفاده شده و در هر مرتبه يک دقت براي مدل ساخته شده محاسبه مي شود در اين روش ارزيابي دقت نهايي دسته بندي برابر با ميانگين K دقت محاسبه خواهد شد.

روشBootstrap:

در روش هاي فوق فرض بر آن بود که عمليات هاي انتخاب نمونه هاي آموزشي بدون جايگزين صورت مي گيرد به عبارت ديگر يک رکورد تنها يکبار در يک فرايند آموزشي مورد توجه واقع مي شود حال فرض کنيد که هر رکورد در صورت انتخاب شدن براي شرکت در عمليات يادگيري مدل بتواند مجددا” براي يادگيري مورد استفاده قرار گيرد روش مزبور در متون علمي مرتبط با نام Bootstrapشناخته مي شود.

نرم افزارRapid Miner

نرم افزار RApidMiner يک ابزار داده کاوي Open Source است که با زبان جاوا نوشته شده و از سال 2001 تا به حال توسعه داده شده است در اين نرم افزار سعي تيم توسعه دهنده بر آن بوده است که تا حد امکان تمامي الگوريتم هاي رايج داده کاوي و همچنين يادگيري ماشين پوشش داده شوند به گونه اي که حتي اين امکان براي نرم افزار فراهم شده است تا بتوان ساير ابزارهاي Open Source داده کاوي را نيز به آن الحاق نمود رابط گرافيکي شکيل و کاربر پسند نرم افزار نيز آن را يک سر و گردن بالاتر از ساير ابزارهاي رقيب قرار مي دهد از نقاط قوت نرم افزار مي توان به موارد زير اشاره کرد .

–         ارائه گزارش و رونوشت از مراحل اجراي الگوريتم

–         ظاهر پرداخته و آراسته

–         نماي گرافيکي خوب

–         قابليت تطابق با فايل هاي خروجي بسيار از نرم افزارها مانند Excel

–         قابليت “پيکر بندي بين اجزاي مختلف با يکديگر از طريق رابط کاربري گرافيکي ETLworkflows

–         امکان تصحيح و خطايابي بسيار سريع

–         وجود آموزش هاي ويديويي مناسب که براي اين نرم افزار تهيه شده و در وب قرار داده شده است

–         مستندات شامل راهنماي بسياري از عملگرها در نرم افزار و همچنين ويکي مناسب در تارنماي شرکت توسعه دهنده براي اين ابزار در دسترس است

–         امکان اجراي هم زمان الگوريتم هاي يادگيري متفاوت در نرم افزار و مقايسه آنها با يکديگر در ابزار در نظر گرفتهشده است

–         به دليل پياده سازي و توسعه اين نرم افزار با استفاده از زبان جاوا امکان کار در سيستم هاي عامل مختلف از جمله ويندوز ، لينوکس و سيستم هاي مکينتاش براي اين نرم افزار وجود دارد.

–         امکانات متن کاوي نيز در اين نرم افزار پيشبيني شده است

–         کليه الگوريتم هاي يادگيريمدل در نرم افزار داده کاوي WEKA پس از به هنگام سازي RapidMinerبه نرم افزار اضافه خواهند شد.

به دلايل فوق الذکردر اين پايان نامه  از نرم افزارRapidMinerجهت داده کاوي استفاده شده است.

الگوريتم هاي ارزيابي دسته بنديRapidMiner

Split Validation-

اينعملگر روش ارزيابي Holout را انجام مي دهد پارامتر split مشخص مي کند که مجموعه داده با چه رويکردي بايد تقسيم شود با تعيين پارامتر به ميزان relative‌اين مقدار به صورت نسبي خواهد بود پارامتر Split Ratioاندازه نسبي مجموعه آموزشي را که به صورت پيش فرض مقدار 0.7 مجموعه داده اوليه است مشخص کرده و باقي رکوردها نيز به عنوان مجموعه آزمايشي در نظر گرفته خواهد شد در صورتيکه اين مقدار absolute در نظر بگيريم تعداد رکوردها براي هر يک از مجموعه هاي آموزشي و آزمايشي توسط پارامترtrainingsetsize و test set size تعيينخواهند شد براي trainingsetsizeمقدار -1 به معني استفاده از بقيه داده ها(همه به جز داده هاي آزمايشي) براي آموزش و براي test set size مقدار 1- به معني استفاده از بقيه داده ها ( به جز داده هاي آموزشي ) براي آزمايش است.

Bootstrapping validation

اين عملگر روش ارزيابي Bootstrappiung validationرا انجام مي دهد تعداد تکرار نمونه گيري با پارامتر number of validation و ميزان نرخ نمونه برداري نيز با پارامتر sample ratio تعيين خواهد شد عملگر دو بخش مجزا را به عنوان عملگر دروني در خود دارد در بخشTraining يک مجموعه داده مي سازد و بر اساس يک مدل آن را آزمايش خواهد نمود سپس رکوردهاي باقيمانده يعني آنهايي که نمونه برداري نشده اند را در بخش ارزيابي روي مدل فوق اعمال مي کند اين فرايند براي تعداد تکرارهاي مشخص شده در پارامتر number of validations تکرار مي شود و بعد از آن متوسط دقت محاسبه خواهد شد. اولين بخش عملگر دروني،يک مدل ايجاد خواهد کرد و دومين بخش مي بايست يک بردار عملکرد فراهم سازد پارامتر Use weights در صورت فعال بودن، مشخص خواهد نمود که در صورت وجود فاکتور وزن براي وي‍ژگي ها ، اين اوزان در عمليات Bootstrapping مورد استفاده قرار گيرند . پارامترonlyaverage performancesنشان مي دهد آيا بايد فقط بردارهاي عملکرد ميانگين گيري شوند يا بر روي همه انواع بردارهاي نتيجه که قابليت  ميانگين گيري دارند عمليات ميانگين گيري را اعمال نمود .

X-Validation-

اين عملگر روش ارزيابي K-Fold Cross Validationرا انجام مي دهد پارامتر averageperformance only نشان مي دهد که آيا بايد فقط بردارهاي عملکرد، ميانگين گيري شوند يا بر روي همه انواع بردارهاي نتيجه که قابليت ميانگين گيري دارند عمليات مورد نياز را اعمال نمود با فعال بودن پارامتر leave one out به تعداد مجموعه داده ورودي ، طبقه خواهيم داشت با کمک پارامتر number of validationتعداد طبقات مورد نظر را مي توان مشخص نمود پارامتر samplingtype نوع نمونه برداري نمونه هاي ممکن را تعيين مي کند که مي تواند يکي از حالات زير باشد:

Linear sampling: نمونه ها بر اساس توالي خطي داده ورودي انتخاب خواهند شد

Shuffled sampling : نمونه ها بدون هيچ گونه طبقه بندي و به صورت تصادفي و چند در ميان انتخاب خواهند شد

Stratified sampling : داده ها به صورت متوازن از دسته ها ي تعيين شده انتخاب خواهند شد

در اين پروژه از عملگرX-Validationو از معيارهايAccuracy,recall,precisionوF_measure جهت ارزيابي مدل هاي داده کاوياستفاده شده است.

خلاصه چگونگي تجزيه و تحليل داده ها:

1- آیا فردی با متغیرهاي (سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …) بیماری قلبی دارد؟ (پیش بینی بیماری قلبی در یک فرد؟)

در اين پايان نامه براي پاسخ به سوال فوق از تکنیک دسته بندیو يک مجموعه داده آموزشي و الگوریتمي مانند درخت تصمیم، شبکه عصبی ،ماشين بردار پشتيبان، بيز ساده، K نزديکترين همسايه و دسته بندي هاي مبتني بر قانون(قاعده)مدلی بر اساس سیزده متغییر( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …) ایجاد می شود و از متغییر هدف جهت پیش بینی وجود بیماری قلبی در مجموعه داده آزمايشي استفاده می گردد.

2-کدام یک از الگوریتم های داده کاوی مدل بهتری را از مجموعه داده های جمع آوری شده استخراج می کند؟

براي پاسخ به سوال فوقاز عملگرX-Validationو ازمعيارهايAccuracy,recall,precision,F_measureاستفاده شده و مدلي که بيشترين مقدار معيارهاي فوق را داشته باشد به عنوان بهترين مدل شناخته مي شود.

فصل چهارم:تجزيه و تحليل داده ها

روش انجام پروژه

برای انجام پروژه های داده کاوی روش های مختلفی وجود دارد یکی از بهترین روش ها در عمل روش استفاده از استاندارد CrispDmاست . در ذیل این استاندارد به صورت مختصر آورده شده و انجام پروژه بر اساس آن توضیح داده خواهد شد.

استانداردCrispDm

مدل فرآیند متداول برای داده کاوی خلاصه ای از چرخه حیات پروژه داده کاوی را تهیه می کند این چرخه شامل مراحل یک پروژه ، وظایف مربوطه و روابط بین وظایف آنها می شود. در این سطح از تشریح ، تشخیص همه روابط ممکن نیست . روابط می تواند میان هر کدام از وظایف داده کاوی وابسته به هدف ، زمینه ، علاقه کاربر و از همه مهمتر روی داده و جود داشته باشد. در این استاندارد چرخه حیات داده کاوی از شش مرحله تشکیل شده است که در شکل ذیل نشان داده شده است . توالی مراحل مستقیم نیست حرکت به عقب و جلو بین مراحل مختلف همیشه نیاز است . خروجی هر مرحله مشخص می کند که چه مرحله ای یا وظیفه ای خاص از یک مرحله باید بعد از آن اجرا شود . بردارها وابستگی های مهم و غالب بین مراحل را مشخص می کند. دایره بیرونی در شکل فوق طبیعت گردشی خود داده کاوی را نشان می دهد . داده کاوی تا هنگامی که یک راه حل گسترش داده شود ، پایان نمییابد . آموزش هایی که در طول پردازش و از طریق راه حل گسترده شده فرا گرفته می شود ، اغلب برای مسائل تجاری می تواند به روز شود. پردازش های بعدی داده کاوی از تجربیات پردازش های قبلی سود خواهد برد. در ادامه خلاصه هر مرحله به طور مختصر بیان می شود.

درک مسئله کسب و کار(Business Understanding)

مرحله ابتدایی بر روی درک نیازمندی ها و اهداف پروژه از منظر کسب و کار تمرکز می کند. سپس این دانش را به یک تعریف مسئله داده کاوی تبدیل و یک طرح مقدماتی برای دستیابی به اهداف را طراحی می کند که شامل موارد زیر می باشد.

–  تعیین اهداف کسب و کار

-وضعیت ارزیابی

–  تعیین اهداف داده کاوی

–  تولید طرح پروژه

درک داده(Data Understanding)

مرحله درک داده با جمع آوری داده اولیه آغاز شده و با فعالیت هایی که شما را با داده مانوس تر می کند ، تشخیص مشکلات کیفیت داده ، دریافتن درک داده و یا تعیین زیر مجموعه های جالب توجه برای تشکیل فرضیه راجع به اطلاعات پنهان پیش می رود و می تواند شامل  موارد زیر باشد.

–  جمع آوری داده اولیه

–  توصیف داده

-کشف داده

–  بررسی کیفیت داده

آماده سازی داده(Data Preparation)

مرحله آماده سازی داده همه فعالیت هایی که نیاز به ساخت داده های نهایی از داده اولیه خام دارد را تحت پوشش قرار می دهد.(داده ای که به ابزار مدل سازی خورانده شده است.) وظایف تولید داده شبیه این هستند که بارها و البته نه به ترتیب خاص اجرا شوند. وظایف شامل جدول ، رکورد، انتخاب خصوصیت و پاک سازی دادهبرای ابزارهای مدل سازی می شود که شامل موارد زیر می باشد.

–  انتخاب داده

–  پاکسازی داده

–  ساخت داده

–  یکپارچه سازی داده

–  طراحی ظاهر داده

مدل سازی(Modeling)

در این مرحله ، تکنیک های متفاوت مدل سازی انتخاب شده و به کار گرفته می شوند و پارامترهای آنها به مقدار بهینه تنظیم مي شوند. به طور نمونه ، تکنیک های زیادی برای انواع یکسان مسائل داده کاوی وجود دارد . بعضی از تکنیک ها نیازمندی ها ی خاصی برای تشکیل داده دارند. بنابر این ، اغلب عقبگرد به مرحله تولید داده لازم است و می تواند  شامل موارد زیر باشد.

–  انتخاب تکنیک مدل سازی

–  تولید طرح آزمایشی

–  ساخت مدل

–  ارزیابی مدل

ارزیابی(Evaluation)

در این مرحله از پروژه ، شما مدل یا مدل هایی را ساخته اید که به نظر می رسد کیفیت بالایی از منظر تحلیل یک داده را دارد . قبل از پیشروی به گسترش نهایی مدل ، مهم است که کاملا” آنرا ارزیابی نموده و گام هایی را که اجرا شده تا ساخته شوند را بازبینی کنیم تا مطمئن شویم مدل به طور کامل به اهداف تجاری می رسد. در پایان این مرحله ، تصمیم روی کاربرد داده کاوی باید به نتیجه برسد که شامل موارد زیر می باشد.

–  ارزیابی نتیجه ها

–  بازبینی فرایند

–  تعیین گام بعدی

استقرار(Deployment)

ساخت مدل عموما” پایان پروژه نیست. حتی اگر هدف مدل افزایش دانش داده است ، دانش بدست آمده به طوری که مشتری بتواند آن را استفاده کند . نیاز به سازماندهی دارد . این بخش اغلب درگیر اجرای مدل های “جاری” در حین سازماندهی تصمیم فرآیندهای ساخته شده هستند. خصوصی سازی صفحات وب یا امتیازبندی مکرربازیابی پایگاه داده مثال هایی از این نمونه ها هستند. بسته به نیاز، مرحله استقرار می تواند به سادگی تهیه یک گزارش یا به پیچیدگی اجرای یک فرآیند داده کاوی تکرار پذیر در نسخه ای تجاری باشد. در موارد زیادی ، کسی که گام های استقرار را انجام میدهد تحلیلگر داده نیست بلکه مشتری است . هر چند حتی اگر تحلیلگر تلاش برای استقرار داشته باشد ، مهم است که مشتری بداند که چه فعالیت هایی نیاز است انجام شوند که در حقیقت باعث کاربرد مدل های ساخته شده می شود و می تواند شامل موارد زیر باشد.

–  طرح ریزی برای استقرار

–  طرح ریزی برای نگهداری و نظارت

–  تهیه گزارش پایانی

–  بازبینی پروژه

تشریح انجام پروژه

همانطوریکه در بالا  اشاره شد این پروژه مطابق استاندارد CrispDmانجام شده و در اینجا به توضیح بیشتر پروژه بر اساس این استاندارد می پردازیم.

درک مسئله کسب و کارپروژه

امروزه در دانش پزشکی جمع آوری داده ها ی فراوان در مورد بیماری های مختلف از اهمیت فراوانی برخوردار است . مراکز پزشکی با مقاصد گوناگونی به جمع آوری این داده ها می پردازند. تحقیق روی این داده ها و به دست آوردن نتایج و الگوهای مفید در رابطه با بیماری ها ، یکی از اهداف استفاده از این داده ها است . حجم زیاد داده ها و سر در گمی حاصل از آن مشکلی است که مانع رسیدن به نتایج قابل توجه می شود بنابراین از داده کاوی برای غلبه بر این مشکل و به دست آوردن روابط مفید بین عوامل خطرزا در بیماری ها از جمله بیماری قلبی استفاده می شود .در ابتدای قرن بیستم 10% کل مرگ و میر ها به علت بیماریهای قلبی عروقی بود در انتهای همین قرن موارد مرگ و میر ناشی از بیماریهای قلبی به 25% افزایش یافت و پیش بینی می شود با توجه به روند کنونی تا سال 2025 میلادی بیشتر از 35 تا 60 درصد موارد مرگ و میر در جهان از بیماریهای قلبی عروق ناشی شود. طبق گزارش معاونت بهداشتی وزارت بهداشت و درمان 46 درصد علل مرگ ومیر در سطح ایران بعلت بیماریهای گردش خون می باشد. از طرفی طبق بررسیها بعمل آمده شیوع بیماریهای قلبی عروقی در شهر اصفهان 4/19 درصد بوده است. رشد چشمگیر این بیماریها و اثرات و عوارض آنها و هزینه های بالایی که بر جامعه وارد می کند باعث شده که جامعه پزشکی به دنبال برنامه هایی جهت بررسی بیشتر ، پیشگیری ، شناسایی زود هنگام و درمان موثر آن باشند . استفاده از روش های داده کاوی در بررسی داده ها مدتی است که رونق گرفته است بطوریکه اغلب تحلیل های پزشکی به وسیله روش های داده کاوی و آماری انجام می شود . همکاری متخصصین در زمینه کامپیوتر و پزشکی راه حل جدیدی را در تحلیل این داده ها و بدست آوردن الگوهای مفید و کاربردی ارائه می دهد که همان داده کاوی می باشد. در داده کاوی بر خلاف علم آمار به دنبال پیشگویی هستیم نه کشف یا اثبات. بدین معنا که با استفاده از روش های داده کاوی به دنبال تایید آنچه از قبل می دانسته ایم نیستیم بلکه به دنبال مشخص کردن الگوهای از قبل شناخته نشده ایم . همچنین در این پروژه به دنبال این هستیم که  بر اساس داده های آموزشی تعیین کنیم  کدامیک از داده های آزمایشی ما دارای بیماری قلبی هستند .

درک داده پروژه

جمع آوری داده اولیه

اين مجموعه داده از پايگاه داده UCI استخراج شده و متد به کار گرفته شده برای دستیابی به آن وب کاوی بوده است لازم به ذکراست پس از مذاکره با چندين شرکت از جمله شرکت فولاد مبارکه در خصوص ارائه مجموعه داده جهت انجام داده کاوي نهايتا” بعد از چندين ماه تاخير هيچ يک از شرکت ها حاضر به همکاري نشدند سر انجام با راهنمايي اساتيد و جستجوي فراوان يک مجموعه داده مربوط به بيماران قلبي از سايت UCI استخراج شد.

توصیف داده

در این مجموعه داده ششصد رکورد انتخاب شده است و نام فیلد ها به شرح زیر می باشد

کشف داده

سوال:آیا فردی با متغیرهاي ( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …) بیماری قلبی دارد؟ (پیش بینی بیماری قلبی در یک فرد؟)

با استفاده از تکنیک دسته بندیو يک مجموعه داده آموزشي و الگوریتمي مانند درخت تصمیم، شبکه عصبی ،ماشين بردار پشتيبان، بيز ساده، K نزديکترين همسايه و دسته بندي هاي مبتني بر قانون(قاعده) مدلی بر اساس سیزده متغییر( سن ، جنس ، نوع درد قفسه سینه ، فشار خون ، کلسترل ، قند خون ، …) ایجاد می شود و از متغییر هدف جهت پیش بینی وجود بیماری قلبی در مجموعه داده آزمايشي استفاده می گردد.

بررسی کیفیت داده

به پیوست مجموعهداده اولیهدر فایلی بانامheart first.xlsxآورده شده است همانطوریکه ملاحظه می شود این داده ها شامل داده های مفقود شده می باشد و همچنین بایدداده های پرت  آن نیز بر اساس فرمول شوهارت  بررسی شده و درصورت وجود حذف گردند لذا در قسمت “آماده سازی”نویز داده ها(داده های پرت)،Missing valuesو …اصلاح خواهند شد.

آماده سازی داده پروژه

حذف داده های پرت

این نمونه ها رکوردهایی هستند که مقادیر ویژگی های آنها نسبت به سایر رکوردها بسیار متفاوت است. این تفاوت سبب می شود که در فضای چند بعدی ویژگی ها محل قرار گرفتن نمونه های پرت نسبت به سایر رکوردها بسیار متفاوت باشد امکان یافتن نظم با حضور نمونه های پرت بسیار مشکل تر از زمانی است که داده ها دارای این نوع از داده نیستند. به همین دلیل داده پرت باعث خواهند شد که الگوریتم یاد گیری نتواند مدل دقیقی را برای تبیین دانش نهفته در داده بیابد.

از فرمول شوارت برای حذف داده های پرت می توان استفاده کرد.

فرمول شوارت :        انحراف معیار*3±میانگین

داده هایی که خارج از بازه (انحراف معیار*3+ میانگین) و (انحراف معیار*3- میانگین) باشند داده پرت محسوب می شوند. مثلا” برای حذف داده های پرت فیلد سن در ابتدا میانگین و انحراف معیار سن مجموعه داده اولیه در این پروژه را محاسبه می کنیم میانگین برابر183/51 و انحراف معیاربرابر074/9است لذا مطابق فرمول شوارت افرادی که سن آنها خارج از بازه4/78 و 96/23می باشند داده پرت محسوب شده و باید از مجموعه داده حذف گردند نا گفته نماند که این کار را باید برای تمام فیلدها انجام داد که کار دشواری است.

می توان از امکانات نرم افزار Rapid Miner نیز جهت حذف داده های پرت استفاده کرد که در این پروژه از آن استفاده شده است و به صورت گام به گام توضیح داده خواهد شد.

همانطور که از شکل بالا ملاحظه می گردد این کار در سه مرحله انجام می گردد.

-1صدا زدن مجموعه داده اولیه که در یک فایل Excle قرار دارد.

2-استفاده از تابعDetect Outlierجهت تشخیص داده های پرت که در این عملگر پارامتر ها به شکل زیر set شده است

Number of neighbors=10

Number of Outliers=30

3- در مرحله Filter Examples رکورد هایی که در مرحله 2 به عنوان داده پرت تشخیص داده شده اند از مجموعه داده حذف می گردند.

حال داده های پرت حذف شده اند و بایستی تکلیف داده های از دست رفته تعیین گردند.

اصلاح داده های از دست رفته(Missing values)

به دلایلی ممکن است بعضی از مقادیر مربوط به برخی ویژگی ها Null باشند به این گونه مقادیر داده های  از دست رفته می گوییم دلایل به وجود آمدن این مقادیر متفاوت است گاهی اوقات اطلاعات به درستی جمع آوری نمی شوند مثلا” بعضی افراد از گفتن سن و وزن خود اجتناب می ورزند که در این صورت مقدار این ویژگی برای این افراد Null ذخیره خواهد شد بعضی از ویژگی ها ممکن است برای همه رکوردها قابل استفاده نباشند مثلا” در آمد سالیانه برای کودکان قابل محاسبه نیست، در این مواقع نه می توان رکوردهای مربوط به کودکان و نه ویژگی در آمد سالانه را  حذف نمود . بنابراین مجبور خواهیم بود که مقدار ویژگی در آمد سالانه  را برای رکوردهایی که متعلق به کودکان است Null در نظر بگیریم. چهار روش برای مدیریت مقادیر از دست رفته و جود دارند که عبارتند از :

حذف کردن : در این روش رکوردهایی که حداقل یکی از ویژگی های آنها Null است حذف می شوند.

تخمین زدن : در این روش مقادیر Nullبا استفاده از روش های ابتکاری تخمین زده می شوند که در اینصورت بایستی  مقادیر ویژگی مورد تخمین از توزیع و نظم ویژه ای تبعیت کنند.

نادیده گرفتن:در این روش در زمان تحلیل داده ها ، آن دسته از ویژگی هایی که مقادیرشانNull است را در نظر نمی گیریم ولی از مقادیر بقیه ویژگی های غیر Null استفاده می کنیم.

جایگزین کردن : در این روش مقادیر Null با تمام مقادیر امکان پذیر جایگزین می شوند. این روش همیشه با شرط عدم محدودیت زمان و حافظه بهترین روش است.

در این پروژه داده های از دسته رفته از طریق نرم افزارRapid Miner و به “روش تخمین زدن” با مقدار میانگین داده ها جایگزین می گردند که جزئیات انجام کار در زیر آورده شده است .

پس از حذف داده های پرت که در بالا توضیح داده شد از تابع Select Attributes استفاده کرده و فیلد Outlier را که در مرحله قبل ایجاد شده بود را کنار می گذاریم وسپس از تابع replaceMissing valuesاستفاده کرده و داده های از دسته رفته را با مقدار میانگین آنها جایگزین می کنیم. از طریق شکل زیر نیز ملاحظه می شود که داده های از دست رفته (Missing) کلیه فیلدها  مجموعه داده حذف شده است .

کاهش ابعاد

به طور کلی هر چه ابعاد یا همان تعداد ویژگی های مساله(تعداد فیلد ها) مورد کاوش بالاتر رود باعث خواهد شد رکوردها در فضای جستجو پراکنده تر شوند . سه روش برای کاهش ابعاد وجود دارند که عبارتند از :

انتخاب زیر مجموعه ای از ویژگی ها :

در این روش ویژگی هایی که ارزش اطلاعاتی آنها برای کاوش پایین تر است برای حذف شدن انتخاب خواهند شد . به همین دلیل معمولا” تعداد ویژگی هایی که از این طریق نادیده گرفته می شوند خیلی زیاد نیست بر این اساس نمی توان عملیات انتخاب زیر مجموعه ای از ویژگی ها را برای حل مشکل مسائلی که تعداد ویژگی های آنها بسیار بالا است زیاد موثر دانست.

تحلیل اجزای اصلی(PCA):

در این روش ابتدا از روی رکوردهای موجود در مجموعه داده اصلی ماتریس کواریانس محاسبه می شود . سپس مقادیر ویژه ای با توجه به آن ماتریس استخراج خواهند شد این مقادیر ویژه در ادامه در ماتریس اولیه ضرب شده و در نهایت ویژگی های مسئله ابتدایی به یک فضای جدید با ابعاد کمتر تصویر می شوند که خصوصیات ماتریس اولیه را با ابعاد کمتر در بر دارند این روش از جمله روش های بسیار مشهور است.

روشSVD:

در این روش از مفاهیم جبر خطی برای کاهش ابعاد استفاده می شود این روش که قرابت بسیار بالایی با روش PCA دارد بیشتر در کاربردهای پردازش متون مورد استفاده قرار می گیرد.

در این پروژه از طریق نرم افزارRapid Minerو با دو روش “انتخاب زیر مجموعه ای از ویژگی ها” و”تحلیل اجزایاصلی(PCA)” ابعاد  مجموعه داده کاهش داده شده است که در زیر هر کدام به صورت جدا گانه توضیح داده شده است.

انتخاب زیر مجموعه ای از ویژگی ها از طریق نرم افزار Rapid Miner:

مجموعه داده به روش”انتخاب زیر مجموعه ای از ویژگی ها” به پنج بعد تاثیر گذارکاهش داده شده است .

پس از جایگزین کردن داده های از دست رفته با میانگین که در بالا توضیح داده شد از دو تابع اضافی جهت کاهش ابعاد استفاده شده است از تابع Weight by information Gain استفاده شده است تا ابعاد بر اساس بیشترین تاثیر گذاری اولویت دهی شوند و سپس از تابع select by weight با پارامتر top k=5 جهت انتخاب 5 بعد با بیشترین تاثیر استفاده می شود.

تحلیل اجزای اصلی(PCA) از طریق نرم افزار Rapid Miner:

مجموعه داده به روش”تحلیل اجزایاصلی(PCA)” به سه بعد کاهش داده شده است. لازم به ذکر است که مجموعه داده کاهش داده شده به سه بعد ، حاوی خصوصیات تمام فیلد ها ی مجموعه داده پیش از کاهش ابعاد می باشد.

پس از جایگزین کردن داده های از دست رفته با میانگین که در بالا توضیح داده شد از دو تابع اضافی جهت کاهش ابعاد استفاده شده است از تابع Nominal To Numerical استفاده شده است تا داده های گسسته به داده های پیوسته تبدیل شوند سپس از تابعPCAبا پارامتر

Number of Components=3

استفاده می شود تا مجموعه داده به سه بعد کاهش یابد .

در نهایت از برنامه Rapid Minerشکل زیر استفاده می شود تا مجموعه داده پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگیندر فایل Heartclean.xlsx ذخیره شودو همچنین مجموعه دادهپس از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها” در فایلHeartweight.xlsxذخیره می شودو در پایانمجموعه دادهپس از پاکسازی وکاهش ابعاد از روشPCAدر فایلHeartPCA.xlsx ذخیره می گردد.

این سه فایل به پیوست پایان نامه آورده شده است.

مدل سازی پروژه

در این پروژه از الگوریتم های دسته بندی برای مدل سازی مجموعه داده استفاده شده است و در پایان با مقایسه دقت مدل ها ، مدلی که بالاترین دقت را دارد انتخاب می شود . دسته بندی از جمله روش هایی است که در آن برای هر کدام از رکوردهای مجموعه داده مورد کاوش ، یک بر چسب که بیانگر حقیقتی در مسئله است ، وجود دارد این برچسب سبب می شود که هر الگوریتم دسته بندی یک الگوریتم با ناظر محسوب شود در روش های با ناظر ، الگوریتم ابتدا در مرحله آموزش مدلی را فرا می گیرد و سپس در مرحله ارزیابی ، کارایی مدل یاد گرفته شده بررسی می شود در ادامه انواع الگوریتم های دسته بندی که جهت مدل سازی در پروژه استفاده شده است آورده می شود.

درخت تصمیم :

درخت تصمیم یکی از مشهورترین و قدیمی ترین روش های ساخت مدل دسته بندی است در الگوریتم های دسته بندی مبتنی بر درخت تصمیم دانش خروجی به صورت یک درخت از حالات مختلف مقادیر ویژگی ها ارائه می شود.نمایش دانش به شکل درخت سبب شده است که دسته بندی های مبتنی بر درخت تصمیم کاملا” قابل تفسیر باشند.درحالت کلی درخت تصمیم رسم شده برای یک مجموعه داده آموزشی،واحد ویکتا نیست و بر اساس یک مجموعه داده درخت تصمیم های مختلفی می توان بدست آورد. لازم به ذکر است در یک درخت تصمیم انواع روش های شکست وجود دارد که به طور کلی می توان آنرا به دو روش شکست چند انشعابی و شکست دو انشعابی تقسیم کرد در شکست دو انشعابی هر گره درخت به حداکثر دو شاخه تقسیم می شود درصورتی که در شکست چند انشعابی یک گره درخت می تواند به بیش از دو شاخه نیز تقسیم شود حال در ساخت درخت تصمیم این سوال پیش می آید که چگونه بهترین شکست شناسایی شود در پاسخ به این سوال باید گفت شکستی که در آن توزیع دسته ها در گره های حاصل از آن همگن باشد نسبت به سایر شکست ها بهتر است منظور از همگن بوده گره این است که همه رکوردها ی موجود در آن متعلق به یک دسته خاص(lableخاص) باشند در واقع گره همگن گره ای است که کمترین میزان ناخالصی را داشته باشد انواع روش های محاسبه ناخالصی گره عبارتند از Gini Index و Entropyو…می باشند نرم افزار RapidMinerاین دو روش را پشتیبانی می کند برای محاسبهGini IndexوEntropy فرمولهای جداگانه ای وجود دارد و روش کار به این ترتیب است که موارد فوق را برای هر گره با هر چند انشعاب ممکن محاسبه کرده و آن تعداد انشعابی انتخاب می شود که Gini Indexیا Entropy آن کمتر باشد در آن صورت نا خالصی آن گره کمتر بوده و همگن تر است.

در اين پروژه درخت تصمیم در تابع Validationصدا زده شده استو همانطوریکه از شکل زير ملاحضه می شود سه تابع 1- Decision Tree برای ایجاد مدل درخت تصمیم 2-Apply Modelبرای به کارگیری مدل درخت تصمیم و 3-تابعperformance با فعال شدن پارامترهای recall, precision,accuracy وF_measureبه عنوان پارامترهای اندازه گیری دقت، همگي در تابع Validation صدا زده شده اند .

با توجه به برنامه Rapid Miner زیر سه مدل درخت تصمیم1- پس از پاکسازی و کاهش ابعاد داده از روش” انتخاب زیر مجموعه از ویژگی ها”2-پس از پاکسازی وکاهش ابعاد داده از روشPCA3-پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)، ایجاد شده است.

که برای نمونه یکی از درخت های تصمیم ایجاد شده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین در زیر نمایش داده شده است.

در زیر ماتریس درهم ریختگی مدل درخت تصمیم مجموعه داده بعد از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها”با استفاده از نرم افزار Rapid Miner آورده شده است.(دقت برابر 34/76 درصد بدست آمده است)

ماتریس درهم ریختگی مدل درخت تصمیم مجموعه داده بعد از پاکسازی و کاهش ابعاد از روشPCAبا استفاده از نرم افزار Rapid Miner در زیرآورده شده است.(دقت برابر 79/59 درصد بدست آمده است)

ماتریس درهم ریختگی مدل درخت تصمیم مجموعه داده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)،با استفاده از نرم افزار Rapid Miner در ذیل آورده شده است(دقت برابر 23/74 درصد بدست آمده است).

بررسی ، مقایسه و تحلیل دقت کلیه مدل ها متعاقبا” انجام خواهد شد.

شبکه عصبی :

به مجموعه اي از واحدهاي ورودي و خروجي متصل به هم که هر کدام از اتصالات وزن دارند شبکه عصبي گفته مي شود در طول فاز آموزش، شبکه با تنظيم وزن هاي اتصالات سعي دارد با توجه به رکورد هاي ورودي ، پيش بيني درستي از lable آنها داشته و به درستي برچسب زني کند آموزش اين شبکه ها بسيار زمان بر است به عبارت ديگر شبکه هاي عصبي يکي از روش هاي ساخت مدل دسته بندي هستند که در آنها مدل ياد گرفته شده به صورت مجموعه اي از گره هاي به هم متصل به همراه ارتباطات وزن دار آنها نشان داده مي شود. به کمک شبکه هاي عصبي امکان مدل سازي يک تابع غير خطي که بردار ورودي را به مقدار اسمي نگاشت مي کند وجود دارد از شبکه عصبي به وفور براي طراحي دسته بندي هاي جعبه سياه استفاده مي شود منظور از به کارگيري عبارت جعبه سياه اين است که در دسته هاي مبتني بر شبکه هاي عصبي امکان تفسير دانش خروجي به هيچ وجه وجود ندارد به عبارت بهتر هرگز نمي توان دانش مستمر کشف شده در شبکه هاي عصبي را به صورت شفاف مشاهده نمود دقيقا” بر عکس دسته بندهاي مبتني بر درخت که روش کاملا” قابل تفسيري است

در اين پروژه تابعشبکه عصبيدر داخل تابع Validationصدا زده شده استو همانطوریکه در شکل زير مشاهده می شود چهار تابع1- Nominal To Numericalبرای تبديل داده هاي گسسته به داده هاي پيوسته که قبل ازمدل شبکه عصبي لازم است2- Neural networkبرای ایجاد مدل شبکه عصبي3-Apply Modelبرای به کارگیری مدل شبکه عصبي و 4-تابعperformanceبا فعال شدن پارامترهای recall, precision,AccuracyوF_measureبه عنوان پارامترهای اندازه گیری دقت، همگي در تابع Validationصدا زده شده اند .

سه مدل شبکه عصبي1- پس از پاکسازی و کاهش ابعاد داده از روش” انتخاب زیر مجموعه از ویژگی ها”2-پس از پاکسازی وکاهش ابعاد داده از روشPCA3-پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)، ساخته شده اند.

در زیر ماتریس درهم ریختگی مدل شبکه عصبي مجموعه داده بعد از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها”با استفاده از نرم افزار Rapid Miner آورده شده است.(دقت برابر 30/75 درصد بدست آمده است)

ماتریس درهم ریختگی مدل شبکه عصبي مجموعه داده بعد از پاکسازی و کاهش ابعاد از روشPCA با استفاده از نرم افزار Rapid Miner در زیرآورده شده است.(دقت برابر 97/65درصد بدست آمده است)

ماتریس درهم ریختگی مدل شبکه عصبي مجموعه داده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)،با استفاده از نرم افزار Rapid Miner در ذیل آورده شده است(دقت برابر 92/62 درصد بدست آمده است).

ماشين بردار پشتيبان(support vector machine):

استفاده از بردارهاي پشتيبان خطي در مسائل دسته بندي ، رويکرد جديدي است که در چند ساله اخير مورد توجه بسياري قرار گرفته است . ماشين بردار پشتيبان در ابتدا توسط واپينک در سال 1990 طراحي شد و نظريه آماري يادگيري را به صورت مستحکمي بنا نهاد. در اين الگوريتم با فرض اینکه دسته ها بصورت خطی جداپذیر باشند، ابرصفحه هائی با حداکثر حاشیه را بدست می آورد که دسته ها را جدا کنند.در مسایلی که داده ها بصورت خطی جداپذیر نباشند داده ها به فضايی با ابعاد بیشتر نگاشت پیدا میکنند تا بتوان آنها را در این فضای جدید بصورت خطی جدا نمود.رويکرد svm به اين صورت است که در مرحله آموزش ، سعي دارد که مرز تصميم گيري را به گونه اي انتخاب نمايد که حداقل فاصله آن با هر يک از دسته هاي مورد نظر را بيشينه کند. اين نوع انتخاب باعث مي شود که تصميم گيري ما در عمل ، شرايط نويزي را به خوبي تحمل نموده و همچنين پاسخ دهي مناسبي داشته باشد اين نحوه انتخاب مرز بر اساس نقاطي به نام بردارهاي پشتيبان انجام مي شود.الگوريتم هاي مبتني بر ماشين هاي بردار پشتيبان الگوريتم هايي هستند که سعي مي کنند يک حاشيه را بيشينه کنند. اين الگوريتم ها براي پيدا کردن خط جدا کننده دسته ها ، از دو خط موازي شروع کرده و اين خطوط را در خلاف جهت يکديگر حرکت مي دهند تا هر کدام از خطوط به يک نمونه از يک دسته خاص در سمت خود برسد . پس از انجام اين مرحله ميان دو خط موازي يک نوار يا حاشيه شکل مي گيرد. هر چه پهناي اين نوار بيشتر باشد به اين معنا است که الگوريتم توانسته حاشيه را بيشينه کند و هدف نيز بيشينه نمودن اين حاشيه است در واقع هدف ما اين است که بيشترين مقدار ممکن براي اين حاشيه انتخاب شود در مرکز حاشيه،  شکل خط جدا کننده دسته ها يا همان خط مرکزي قرار مي گيرد حال از بين خطوطي که رسم مي شوند الگوريتم خطي را که حاشيه کناري آن بيشترين باشد، به عنوان خط جدا کننده دستهها انتخاب مي کند هدف ماشين هاي بردار پشتيبان بيشينه نمودن حاشيه است. نزديکترين داده هاي آموزشي به ابر صفحه هاي جدا کننده،”بردار پشتيبان” ناميده مي شوند که در شکل زير نشان داده شده اند به طور خلاصه در مدل ماشين بردار پشتيبان از داده هاي آموزشي استفاده شده و معادله خط با بيشترين فاصله از دو مجموعه داده بدست مي آيد سپس مقدار داده هاي آزمايشي در معادله خط قرار مي گيرد اگر مقدار حاصل بزرگتر از 1باشد مدل دسته واقع در سمت چپ خط راپيش بيني مي شود و اگرمقدار حاصل کوچکتر از 1- باشد مدل دسته واقع در سمت راست خط را پيش بيني مي کند

در اين پروژه تابع svmدر داخل تابع Validationصدا زده مي شودو همانطوریکه در شکل زير مشاهده می شود چهار تابع 1- Nominal To Numericalبرای تبديل داده هاي گسسته به داده هاي پيوسته که قبل ازمدل svm لازم است2- تابع svmبرای ایجاد مدل ماشين بردار پشتيبان3-تابع ApplyModelبرای به کارگیری مدل svmو 4-تابعperformance با فعال شدن پارامترهای recall ,precision, Accuracy وF_measure

به عنوان پارامترهای اندازه گیری دقت، همگي در تابع Validationصدا زده شده اند .

سه مدل svm1- پس از پاکسازی و کاهش ابعاد داده از روش” انتخاب زیر مجموعه از ویژگی ها”2-پس از پاکسازی وکاهش ابعاد داده از روشPCA3-پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)، ساخته شده اند.

در زیر ماتریس درهم ریختگی مدل svm مجموعه داده بعد از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها” با استفاده از نرم افزار Rapid Miner آورده شده است.(دقت برابر 01/73 درصد بدست آمده است)

ماتریس درهم ریختگی مدل svm مجموعه داده بعد از پاکسازی و کاهش ابعاد از روشPCA با استفاده از نرم افزار Rapid Miner در زیرآورده شده است.(دقت برابر 49/66 درصد بدست آمده است)

ماتریس درهم ریختگی مدل svmمجموعه داده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)،با استفاده از نرم افزار Rapid Miner در ذیل آورده شده است(دقت برابر 35/42 درصد بدست آمده است).

الگوریتم بیز ساده(Navi  Bayes):

دسته بندی مبتنی بر رابطه نظریه بیز از یک چهارچوب احتمالات برای حل مسا ئل دسته بندی استفاده می کند.درنظریه بیز احتمالات شرطی زیر را داریم:

از دو رابطه فوق رابطهBayesاستخراج می شود.

یک رکورد مفروض با مجموعه ویژگی های  را در نظر بگیرید هدف محاسبه دسته این رکورد است. در واقع از بین دسته های موجود به دنبال پیدا کردن دسته ای هستیم که مقدار  را بیشینه کند.در نتیجه این احتمال را برای تمامی دسته های موجود محاسبه نموده و دسته ای که مقدار این احتمال به ازای آن بیشینه شود را به عنوان دسته رکورد جدید در نظر می گیریم. نحوه عملکرد این دسته بندی به صورت زیر می باشد ابتدا با استفاده از نظریه بیز احتمال

برای تمام دسته های موجود از رابطه زیر محاسبه می شود.

دسته ای که به ازای آن اندازه احتمالبیشینه می شود، انتخاب خواهد شد از آنجایی که مخرج رابطه فوق برای تمام دسته ها یکسان است،در نتیجه عملا” هدف پیدا کردن دسته ای است که صورت رابطه را بیشینه می کند. از طرفیبرابر با احتمال رخداددسته  در میان مجموعه داده ها است که میزان آن را می توان به دست آورد.در نتیجه مقداری که باید به ازای هر دسته از روی مجموعه داده ها محاسبه شود ، مقدار رابطه است.نحوه محاسبه  اگر ویژگی ها مستقل با شند در این صورت این رابطه به صورت زیر محاسبه می شود.

=

همچنین احتمال رخداد یک دسته بر اساس رابطه زیر محاسبه می شود:

در این رابطه و به ترتیب برابر با تعداد کل رکوردهای موجود و تعداد رکوردهای با برچسب دسته  است  احتمال برای ویژگی های گسسته بر اساس رابطه زیر محاسبه می شود:

در این رابطه برابر با تعداد رکوردهای متعلق به دسته  است که مقدار ویژگی آنها با مقدار همین ویژگی از رکورد داده شده برابر باشد. برابر با تعداد رکوردهای متعلق به دسته  است. لذا مقدار برای تمام دسته هامحاسبه شده و آنگاه مقادیر  به دسته ای اختصاص می یابد که مقدار بیشتر شده باشد.

در اين پرو‍ژهNavi Bayes در تابع Validationصدا زده شده استو همانطوریکه از شکل زير ملاحضه می شود سه تابع  1- Navi Bayes برای ایجاد مدلبیز2-Apply Modelبرای به کارگیری مدل بیز و 3-تابعperformanceبا فعال شدن پارامترهای recall ,precision, accuracy وF_ measureبه عنوان پارامترهای اندازه گیری دقت، همگي در تابع Validation صدا زده شده اند .

سه مدل بیز 1- پس از پاکسازی و کاهش ابعاد داده از روش” انتخاب زیر مجموعه از ویژگی ها”2-پس از

پاکسازی وکاهش ابعاد داده از روشPCA3-پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)، ساخته شده اند.

در زیر ماتریس درهم ریختگی مدل بیز مجموعه داده بعد از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها” با استفاده از نرم افزار Rapid Minerآورده شده است.(دقت برابر 82/81 درصد بدست آمده است)

ماتریس درهم ریختگی مدل بیز مجموعه داده بعد از پاکسازی و کاهش ابعاد از روشPCA با استفاده از نرم افزار Rapid Miner در زیرآورده شده است.(دقت برابر 08/65 درصد بدست آمده است)

ماتریس درهم ریختگی مدل بیز مجموعه داده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)،با استفاده از نرم افزار Rapid Minerدر ذیل آورده شده است(دقت  برابر 29/81 درصد بدست آمده است).الگوریتمk نزديکترينهمسايه(K Nearest Neighbor):

هنگام تلاش برای حل مسائل جدید، افراد معمولاً به راه­حل های مسائل مشابه که قبلاً حل شده­اند مراجعه می کنند. k نزدیکترین همسایه یک تکنیک کلاسه بندی است که از نسخه­ای از این متد استفاده می کند. در این روش تصمیم­گیری اینکه یک نمونه جدید در کدام کلاس قرار گیرد با بررسی تعدادی k از شبیه ترین نمونه ها یا همسایه­ها انجام می­شود. در بین این kنمونه، تعداد نمونه ها برای هر کلاس شمرده می شوند، و نمونه جدید به کلاسی که تعداد بیشتری از همسایه­ها به آن تعلق دارند نسبت داده می­شود. شکل مقابل محدوده همسایگی نمونه Nرا نشان می دهد. در این محدوده، بیشتر همسایه ها در کلاسX قرار گرفته اند. اولین کار برای استفاده از KNNیافتن معیاری برای شباهت یا فاصله بین صفات در داده­ها و محاسبه آن است. هنگامی که فاصله بین نمونه های مختلف را توانستیم اندازه بگیریم، می­توانیم مجموعه نمونه هایی که قبلاً دسته­ بندی شده­اند را به عنوان پایه دستهبندی نمونه های جدید استفاده کنیم.فاصله بين دو نمونه با استفاده از فاصله اقليدسي بصورت زير محاسبه مي شود.

KNNبار محاسباتی زیادی را روی کامپیوتر قرار می­دهد زیرا زمان محاسبه بصورت فاکتوریلی از تمام نقاط افزایش می­یابد. درحالی که بکاربردن درخت تصمیم یا شبکه عصبی برای یک نمونه جدید فرایند سریعی است، KNNنیاز به محاسبه جدیدی برای هر نمونه جدید دارد. برای افزایش سرعت KNNمعمولاً تمام داده­ها در حافظه نگه­داری می­شوند. فهم مدلهای KNNهنگامی که تعداد متغیرهای پیشبینی کننده کم است بسیار ساده است. به طور خلاصه در دسته بندي هايKNN براي دسته بندي کردن يک رکورد با دسته نامشخص به صورت زير عمل مي شود. 1( فاصله رکورد جديد از همه رکوردهاي آموزشي محاسبه مي شود. 2(به تعداد K، نزديک ترين همسايه ها مشخص مي شوند. 3( از برچسب دسته متعلق به اين K نزديک ترين همسايه،براي پيش بيني دسته رکورد جديد استفاده مي شود. به اين صورت که بين K رکورد، دسته اي که بيشترين تعداد دفعات ديده شدن را در بين اين K رکورد دارا است،به عنوان دسته رکورد جديد در نظر گرفته خواهد شد.

در اين پرو‍ژه تابع ‍KNNداخل تابع Validationصدا زده شده است و همانطوریکه از شکل زير ملاحضه می شود سه تابع  1-تابعKNN برای ایجاد مدلK نزديک ترين همسايه باKبرابر هشت2-Apply Modelبرایبه کارگیری مدل K نزديک ترين همسايه و 3-تابعperformance با فعال شدن پارامترهای recall, precision,AccuracyوF_measureبه عنوان پارامترهای اندازه گیری دقت، همگي در تابع Validation صدا زده شده اند .

سه مدلK نزديک ترين همسايه1- پس از پاکسازی و کاهش ابعاد داده از روش” انتخاب زیر مجموعه از ویژگی ها”2-پس از پاکسازی وکاهش ابعاد داده از روشPCA3-پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)، ساخته شده اند.

در زیر ماتریس درهم ریختگی مدل K نزديک ترينهمسايه مجموعه داده بعد از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها” با استفاده از نرم افزارRapid Miner آورده شده است.(دقت برابر 02/79 درصد بدست آمده است)

ماتریس درهم ریختگی مدل K نزديک ترين همسايه مجموعه داده بعد از پاکسازی و کاهش ابعاد از روشPCA با استفاده از نرم افزار Rapid Miner در زیرآورده شده است.(دقت برابر 38/61 درصد بدست آمده است)

ماتریس درهم ریختگی مدل K نزديک ترين همسايه مجموعه داده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)،با استفاده از نرم افزار Rapid Miner در ذیل آورده شده است(دقت برابر 73/64 درصد بدست آمده است).

دسته بندی های مبتنی بر قانون(قاعده):

دسته بندی های مبتنی بر قانون ، دسته بندهایی هستند که دانش خروجی را به صورت یک مجموعه از قوانین “اگر – آنگاه” نشان می دهند. هر قانون یک بخش شرایط و یک بخش نتیجه دارد.این دو بخش به شکل گیری قانون کمک می کنند به عنوان مثال در زیر به یک نمونه قانون استخراج شده از مجموعه داده مورد بررسی اشاره دارد

یکی از روش ها برای استخراج یک مجموعه قانون، ساخت درخت تصمیم برای مجموعه داده های موجود و استخراج قوانین از درخت ساخته شده است مهم ترین ویژگی درخت تصمیم این است که در صورت انتخاب یک ویژگی به عنوان خصیصه گره درخت ، تمام حالت های امکان پذیر را برای آن ویژگی در نظر می گیرد و پوشش می دهد. در نتیجه اگر از یک درخت تصمیم یک مجموعه از قوانین را استخراج کنیم، اولا” این مجموعه قوانین تمامی حالت های ممکن از ویژگی ها را پوشش می دهد در نتیجه قوانین جامع خواهند بود. ثانیا” هیچ گونه تداخلی هم بین این مجموعه قوانین وجود نداردچون اگر تداخل داشت درخت دارای حلقه می شد و در واقع درخت تصمیم شکل نمی گرفت.

در اين پرو‍ژه تابع د‍سته بندی مبتنی بر قانون داخل تابع Validationصدا زده شده است و همانطوریکه از شکل زير ملاحضهمی شود سه تابع1-تابعrule inductionبرای ایجاد مدلد‍سته بندی مبتنی بر قانون2-ApplyModelبرایبه کارگیری مدل د‍سته بندی مبتنی بر قانونو 3-تابعperformance با فعال شدن پارامترهای recall, precision,AccuracyوF_measure به عنوان پارامترهای اندازه گیری دقت، همگي در تابع Validation صدا زده شده اند .

سه مدل د‍سته بندی مبتنی بر قانون1- پس از پاکسازی و کاهش ابعاد داده از روش” انتخاب زیر مجموعه از ویژگی ها”2-پس از پاکسازی وکاهش ابعاد داده از روشPCA3-پس از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)، ساخته شده اند.

در زیر ماتریس درهم ریختگی مدل د‍سته بندی مبتنی بر قانونمجموعه داده بعد از پاکسازی و کاهش ابعاد از روش” انتخاب زیر مجموعه از ویژگی ها” با استفاده از نرم افزار Rapid Miner آورده شده است.(دقت برابر 74/74 درصد بدست آمده است)

ماتریس درهم ریختگی مدل د‍سته بندی مبتنی بر قانون مجموعه داده بعد از پاکسازی و کاهش ابعاد از روشPCA با استفاده از نرم افزار Rapid Miner در زیرآورده شده است.(دقت برابر 73/58 درصد بدست آمده است)

ماتریس درهم ریختگی مدل د‍سته بندی مبتنی بر قانون مجموعه داده بعد از حذف داده های پرت و جایگزین کردن داده های از دست رفته با مقدار میانگین(بدون کاهش ابعاد)،با استفاده از نرم افزار RapidMiner در ذیل آورده شده است(دقت برابر 19/76 درصد بدست آمده است).

ارزیابی مدل های پروژه

“معیارهای ارزیابی” اندازه گیری شده،  مربوط به کلیه مدل ها ی فوق در جدول ذیل آورده شده است.

حال می خواهیم از جدول فوق استفاده کرده و دو مدل برتر را انتخاب کنیم. با توجه به تعریف معیارهای اندازه گیری که در ذیل آورده شده است نتیجه می گیریم کهمقادیر فرمول های Recallوprecision در فرمول F_measure وجود دارند لذا در انتخاب مدل های برتر به جای Recallوprecision از F_measureاستفاده می شود .

Recall(+)=

Precision(+) =

F_measure(+) =

سپس ا ز طریق مصور سازی داده ها، نموداردو متغییرF_measure و Accuracy راترسیم می کنیم . همان طوری که از شکل پایین مشاهده می شود سه نقطه بالا ، سمت راست نمودار، به عنوان مدل های برتر می باشندو از تکنیک های بهبود کارایی(Bagging ، BoostingوVote که در زیر توضیح داده شده است )استفاده می شود تا به توان این مدل ها را بهبود داد.

سه مدل زیر به عنوان مدل های برتر ارزیابی می شوند.

بهبود کارايي تکنيک هاي دسته بندي

اجراي روش هاي دسته بندي مختلف بر روي داده هاي متفاوت نشان مي دهد که عملکرد اين روش ها يکسان نيست هر يک از آنها عملکرد مناسبي بر روي مجموعه داده خاصي از خود نشان مي دهند بنابر اين مي بايست با توجه به ماهيت داده ها و همچنين برنامه کاربردي خود، مدل هاي مختلف را از روي مجموعه داده استخراج کردهو سپس از تکنيک هاي بهبود کاراييجهت افزايش دقت مدل ها استفاده کردکه در اين پرو‍ژه از سهروش بهبود کارايي استفاده شده که در اينجا معرفي مي شوند.1-Bagging،2-Boostingو3-Vote

Bagging:

اصولاً میتوان از اين تکنیک به منظور افزايش دقت مدل هاي بکار گرفته شده در داده کاوي، از طریق نمونه برداري با جایگذاري از داده‌هاي آموزشی استفاده نمود. در این تکنیک فرض بر آنست که مجموعه‌داده هاي آموزشی نماینده جامعه تحت بررسی بوده و انواع حالات تحقق یافته جامعه را میتوان از این مجموعه داده شبیه سازی نمود. بنابراین با استفاده از دوباره نمونه گیری از مجموعه داده و به کارگیری آنها در مجموعه داده‌های مختلف تنوع مورد نیاز حاصل خواهد شد و زمانی که یک نمونه جدید وارد هرکدام از مدل هايدسته بندي می‌شود، توافق اکثریتیپاسخ مدل هاي ساخته شده از اين مجموعه داده هابه عنوان خروجي به کار گرفته شدهو کلاس مورد نظر تشخیص داده مي شود.

 Boosting:

در اين روش از يک الگوريتم تکرار شونده استفاده مي کند تا به طور تطبيقي، توزيع نمونه هاي آموزشي را تغيير دهد و در فرايند يادگيري بيشتر روي رکورد هايي که در مراحل قبلي به اشتباه دسته بندي شده اند تمرکز مي کند. در ابتدا به تمام رکوردهاي موجود يک وزن برابر نسبت داده مي شود در ايده Boosting در انتهاي هر مرحله ممکن است وزن نمونه ها تغيير کند. به اين صورت که وزن رکوردهايي که به اشتباه دسته بندي شده اند افزايش يافته و وزن رکوردهايي که به درستي دسته بندي شده اند کاهش مي يابد همچنين وزن رکوردهايي که مدل ساخته شده نتوانسته آنها را دسته بندي کند ثابت مي ماند. در اين صورت پس از گذشت مدتي ، دسته بندي ها براي يادگيري به سمت رکورد هايي مي روند که وزن بيشتري داشته باشند. يعني رکوردهايي که به اشتباه دسته بندي شده اند. چون اگر بر اساس اين رکوردها آموزش ببينند و مدل بسازند ارزش مدل ساخته شده افزايش مي يابد. اين فرايند ادامه مي يابد تا زماني که مجموع وزن رکوردها از آستانه  اي مشخص کمتر شود، در اين وضعيت الگوريتم متوقف خواهد شد.

Vote:

ایده اصلی این عملگر انتخاب رأی اکثریت برای دسته بندی است . در واقع عملگر Vote دارای زیر پردازشی است که حاوی حداقل دو عملگر مدل سازی است. جهت تخمین برچسب یک نمونه جدید، هریک از مدل های موجود در زیر پردازش عملگر Vote برچسب کلاس پیشنهادی خود را به عنوان یک رأی انتخاب می کنند و در نهایت با شمارش آراء ، رأی اکثریت به عنوان بر چسب کلاس نمونه مورد نظر انتساب می شود. اغلب استفاده از این عملگر باعث افزایش قابل ملاحظه ای در مدل می شود و همچنین مدل در مواجهه با مجموعه داده های دارای نویز یا مقادیر مفقود شده نیز مقاوم تر خواهد شد.

ارزیابی نهایی

در مرحله اول مطابق شکل های زیر روی سه مدل برتر، تکنیک های Bagging و Boostingاجرا می شوند

نتیجه حاصل در جدول زیر آورده شده است. همان طوری که از جدول مشاهده می شود درمدل بیز ساده (کاهش ابعاداز روش انتخاب زیر مجموعه ای از ویژگی ها) با اجرای تکنیک های Bagging و Boostingدقتمدل هاافزایش می یابد.

در مدل بیز ساده (بدون کاهش ابعاد) اجرای تکنیک Baggingرویدقتبی تاثیر و اجرای تکنیک Boostingباعث کاهش دقت شده است.

در مدل Kنزدیک ترین همسایه (کاهش ابعاد از روش انتخاب زیر مجموعه ای از ویژگی ها) دقت مدل با اجرای تکنیک Bagging افزایشیافته و اجرای تکنیک Boosting باعث کاهش دقت شده است.

در مرحله دوم دو مدل با دقت بالاتر را جهت انجام تکنیک Vote انتخاب می کنیم.

1-مدل بیز ساده (کاهش ابعاداز روش انتخاب زیر مجموعه ای از ویژگی ها) با اجرای تکنیک Boosting

2-مدل بیز ساده (کاهش ابعاداز روش انتخاب زیر مجموعه ای از ویژگی ها) با اجرای تکنیک Bagging

مطابق شکل زیر عملگر Voteرا روی دو مدل فوقاجرا می کنیم

طبق شکل زیر عملگر Voteباعث افزایش دقت نشده است(دقت برابر 55/64 درصد بدست آمده است).

لذا بهترین مدل برای مجموعه داده مورد بررسی بیز ساده (کاهش ابعاداز روش انتخاب زیر مجموعه ای از ویژگی ها) با اجرای تکنیک Boostingمی باشد.(با دقت 70/82 درصد)

استقرار مدل

در این قسمت می خواهیم از مدل برتری که در مرحله قبل بدست آمده، استفاده کرده و جهت پیش بینی متغیر هدف (بیماری قلبی) در یک مجموعه داده تستی از آن استفاده کنیم.  بدین منظور ده رکورد از مجموعه داده اصلی را انتخاب کرده و اجازه می دهیم متغیر هدف آنها را، مدل برتر پیش بینی کند(تشخیص دهد). مجموعه داده تست در فایل heart data-test.xlsx به پیوست آورده شده و همانطور که از شکل زیر مشاهده می شود پنج رکورد آن، متغیر هدفc(lass) برابر صفر و پنج رکورد آن، متغیر هدف برابر یک دارند.

از برنامه Rapid Miner زیر استفاده کرده و متغیر هدف مجموعه داده تستی فوق را پیش بینی می کنیم .

مجموعه داده آموزشی در عملگر Read Excle و مجموعه داده تست در عملگرRead Excle(2) قراردارند.

نتیجه پیش بینی مدل در زیر آورده شده است.

با مقایسه دو فیلدc(lass) وpreciction(c)ملاحظه می گردد فقط یکی از متغیرها را مدل اشتباه پیش بینی کرده است یعنی 90 درصد مجموعه داده تست را مدل درست پیش بینی کرده است و با توجه به دقت مدل برتر ما که 70/82 درصد بود پیش بینی 90 درصد قابل توجیه می باشد.

نوشته اجرای تکنیکهای داده کاوی روی مخزن داده واستخراج الگوهای پنهان از داده ها اولین بار در ايران متلب. پدیدار شد.