یکی از مشکلاتی که در حال حاضر بیماران دیابتی با آن روبرو هستند ضعف در تشخیص این بیماری در مراحل ابتدایی آن می¬باشد به همین منظور در این مقاله سعی شده است با استفاده از برخی الگوریتم¬های هوشمند که عبارتند از SVM، Naive Bayse، C4.5، Random Forest، و همچنین ترکیب این الگوریتمها با دسته¬بندی کننده تجمعی Bagging و استفاده از 8 ویژگی به همراه نمونه¬ها در پایگاه¬داده استاندارد، که هر یک بازگو کننده افراد سالم و مبتلا به بیماری دیابت می¬باشند به تشخیص وجود یا عدم وجود بیماری دیابت با توجه به معیارهای دقت و سرعت عمل الگوریتم¬های هوشمند در تشخیص این بیماری خواهیم پرداخت.

مقدمه

بيماري ديابت يكي از شايعترين بيماريهاي حاضر دنيا شناخته شده است كه علي رغم گستردگي شيوع اين بيماري هنوز روشي به منظور ريشه¬كن كردن و از بين بردن آن در دنيا شناخته نشده است هرچند كه روش¬هاي مختلفي جهت تشخيص و كنترل آن در حال حاضر مورد استفاده قرار مي¬گيرد. از جمله عوارضي كه به دنبال مبتلا شدن افراد به اين بيماري گريبانگير آنها خواهد شد ميتوان به گرفتگي عروق قلبي و در نوع پيشرفته آن به نابينايي، قطع اعضاي بدن، اختلالات فكري و غيره اشاره نمود.
بيماري ديابت را از نظر تقسيمبندي ميوان به دو نوع وابسته به انسولين(IDDM) كه در اين نوع لوزالمعده شخص مبتلا به ديابت قادر به ترشح انسولين نميباشد و يا نوع غير وابسته به انسولين(NIDDM) كه در آن لوزالمعده شخص مبتلا به ديابت قادر به توليد و ترشح انسولين مي¬باشد اما ميزان جذب آن در بدن بسيار اندك است.
مشكل عمده¬اي كه در رابطه با بيماري ديابت وجود دارد عدم تشخيص به موقع و يا بهطور كلي ضعف در تشخيص اين بيماري است كه اين ضعف نيز به¬دليل عدم انتخاب الگوي مناسب توسط پزشك و يا عدم استفاده مناسب از الگوهاي استاندارد است. بنابراين پياده¬سازي روشي كه بتواند هر فرد را در تشخيص صحيح ابتلا يا عدم ابتلا به اين بيماري ياري رساند مي¬تواند گام مهمي در جهت پيشگيري و كنترل اين بيماري به¬خصوص در مراحل ابتدايي آن باشد.
تاكنون روش¬هاي هوشمند گوناگوني به منظور حل اين مشكل بنيادي در سراسر جهان ارائه گرديده كه از آن جمله مي¬توان به استفاده از روش¬هاي تكاملي[1] و نيز استفاده از روش الگوريتم¬هاي فازي تشخيص الگو در استخراج ويژگي[2]و[3] و همچنين استفاده از روش شبكه¬هاي عصبي RBF [4] اشاره نمود. در اين مقاله سعي شده است با استفاده از الگوريتم¬هاي SVM، Naive Bayse، C4.5، Random Forest و همچنين تركيب اين الگوريتم¬ها با Bagging بر روي پايگاه داده استاندارد ديابت[5] بتوان الگويي در جهت تشخيص بيماري ديابت و بهبود آن از ديد زمان و دقت ارائه نمود.

معیارهای جهانی تشخیص بیماری دیابت
معیارهای جهانی تشخیص بیماری دیابت که توسط سازمان بهداشت جهانی گردآوری شده¬¬اند شامل موارد زیر می¬باشند:
تعداد دفعات وضع حمل؛
غلظت گلوکوز پلاسمای خون؛
فشار دیاستوک(mm Hg)؛
ضخامت پوست ماهیچه سه سربازویی(mm)؛
انسولین سرم دوساعته(mu U/ml)؛
شاخص جرم بدن؛
داشتن سابقه دیابت؛
سن.

دسته¬بندی کننده Bagging

Bagging(متراکم شدن خودکار) توسط لئوبریمن در سال 1994 پیشنهاد شد که برای بهبود دادن رده بندی توسط ترکیب کردن رده¬بندی¬های مجموعه¬های آموزشی به طور تصادفی تولید شده، می-باشد.
این روش یک متا الگوریتم می¬باشد که برای بهبود دادن یادگیری ماشین رده¬بندی و مدل¬های پسرفتی بر حسب پایداری و دقت رده-بندی می¬باشد. این روش همچنین واریانس را کاهش داده و به دوری از اورفیتینگ کمک می¬کند. اگر چه این روش در درخت تصمیم به¬کار می¬رود اما می¬تواند در هر نوع مدل استفاده شود. Bagging یک حالت مخصوص از روند مدل میانگین میباشد.
یک مجموعه آموزشی استاندارد D به اندازه n را فرض کنید، Bagging توسط نمونه¬گیری به¬طور یکنواخت و باجایگزینی مثال¬ها از D، m مجموعه آموزشی جدید Di با اندازه تولید می-شود. نمونه¬گیری با جایگزینی این امکان را می¬دهد که بعضی از مثال¬ها امکان تکرار در هر Di را داشته باشند. اگر n=n’ باشد لذا برای n بزرگ، مجموعه Di انتضار داشتن %63.2 از مثال¬های بی-همتای D را دارد و بقیه مثال¬ها تکراری می¬باشند. این نوع نمونه-گیری به عنوان نمونه¬گیری هورراه¬انداز شناخته می¬شود. M مدل برای استفاده کردن m نمونه های خودکار بالا گنجانیده شده و این مدل¬ها توسط متوسط¬گیری خروجی یا رای گیری(برای رده¬بندی) ترکیب میشوند.
از آنجایی¬که این روش چندین پیشگویی کننده را میانگین می¬گیرد، لذا برای بهبود مثال¬های خطی مفید نمی¬باشد.
Bagging مفهومی برای ترکیب رده¬بندی¬های پیش¬بینی شده از چند مدل به¬کار می¬رود.

دسته بندی کننده Naive Bayse

هدف ما در اين بخش ايجاد قانوني¬ست که قادرمان سازد اعضاي بعدي را در يك دسته قرار دهيم و اينكار را تنها با داشتن بردارهايي از متغييرهاي توصيف كننده اجسام بعدي مي¬توانيم انجام دهيم. مشكلاتي از اين نوع كه دسته¬بندي نظارت شده نام دارند و روش¬هاي بسياري براي ايجاد چنين قوانيني بوجود آمده¬اند. يك روش بسيار مهم روش بيز ساده است كه بيز سطحي، بيز ساده، و بيز مستقل نيز ناميده مي¬شود. اين روش به دلايل متعددي اهميت دارد. ساخت آن بسيار ساده است و نيازي به برنامه¬هاي تخمين پارامتر تكرار شونده پيچيده ندارد. يعني از آن مي¬توان براي مجموعه داده¬هاي وسيع استفاده كرد و در نهايت اين روش معمولاً فوق¬العاده عمل مي¬كند. ممكن است بهترين دسته¬بندي كننده ممكن در يك كاربرد خاص نباشد اما اغلب مي¬توان به قوي بودن و عملكرد عالي آن اطمينان كرد.

قوانين اصلي در Naive Bayse

براي راحتي تفسير در اينجا دو دسته را در نظر مي¬گيريم كه به-صورت i=0 and 1 رتبه¬بندي مي¬شود. هدف ما استفاده از يك مجموعه اعضاي اوليه با عضويت¬هاي دسته شناخته شده(مجموعه آموزشي) براي ايجاد يك امتياز است به¬طوري¬كه امتيازات بالاتر با اعضاي دسته 1 مرتبطند و امتيازات كوچك¬تر با اعضاي دسته 0 در ارتباطند. بنابراين دسته¬بندي با مقايسه اين امتيازات با يك آستانه به¬دست مي¬آيد. اگر ما P(i|x) را اين احتمال تعريف كنيم كه يك عضو با بردار مكان x = (x1,…,xp) به دسته i تعلق داشته باشد، هر عملكرد يكنواخت P(i|x) يك امتياز مناسب ايجاد خواهد كرد. بطور ويژه نسبت P(1|x) P(0|x) مناسب خواهد بود. احتمال ابتدايي به مامي¬گويد كه P(i|x) را به نسبت p(i) / f(x|i) تجزيه كنيم كه در آن f(x|i) توزيع شرطي x براي اجسام دسته i است و p(i) احتمال تعلق يك عضو به دسته i است در صورتيكه ما چيز بيشتري درباره آن ندانيم (احتمال اوليه دسته دسته i). يعني نسبت به اين صورت در مي¬آيد:
(1)
براي استفاده از اين نسبت در دسته بندي¬ها ما نياز به تخمين f(x|i) و P(i) داريم.
اگر مجموعه آموزشي يك نمونه تصادفي از جمعيت كل باشد P(i) را مي¬توان مستقيماً از جمعيت اجسام دسته i محاسبه كرد. براي محاسبه f(x|i) روش بيز ساده اينطور در نظر مي¬گيرد كه اعضاي x مستقل¬اند، سپس هر يك از توزيعات يكنواخت را جداگانه اندازه¬گيري مي¬كند. بنابراين مشكل چند شكلي P بعدي به مشكلات اندازه¬گيري يك شكلي كاهش مي¬يابد. تخمين يك شكلي آشنا و ساده بوده و به اندازه¬هاي مجموعه يادگيري كوچكتري براي دستيابي به اندازه¬هاي درست نيازمند است. اين يكي از جذابي¬هاي خاص و نيز منحصربه فرد روش بيز ساده است: تخمين ساده، و بسيار سريع بوده و به برنامه-هاي اندازه¬گيري تكرار شونده پيچيده نياز ندارد.
اگر توزيع حاشيه¬اي مجزا باشد و هر xj تعداد اندكي از ارزش¬ها را شامل شود، اندازه یک اندازه گیرنده سابقه نمای چند جمله¬ایست که تنها نسبت اعضای دسته i را که در یک سلول قرار می¬گیرند محاسبه می¬کند. اگر ادامه داشته باشند، یک روش رایج تقسیم آن¬ها به فواصل کوچک¬تر و استفاده مجدد از اندازه گیرنده چند جمله¬ای است اما انواع پیشرفته¬تر آن که بر پایه اندازه¬های مداوم هستند(مانند اندازه¬های هسته) نیز مورد استفاده قرار می¬گیرند نسبت داده شده به این صورت در می¬آید:
(2)اکنون با یادآوری این¬که هدف ما تنها معرفی یک امتیاز بود که بطور یکنواخت به P(i|x) مرتبط باشد، می¬توانیم از آن لگاریتم بگیریم.
(3)اگر ما و یک مداوم را تعریف کنیم می¬بینیم که نسبت معادله بالا شکل ساده زیر را می-گیرد:
(4)بطوری¬که دسته¬بندی ساختار ساده¬ای دارد.فرض استقلال xj هر دسته مشخص در مدل بیز ساده ممکن است زیادی سخت¬گیرانه به نظر برسد. با این وجود در واقع فاکتورهای مختلفی ممکن است وارد بازی شوند که به این معناست که فرض آنقدر که به نظر می¬رسد مضر نیست.اول این¬که، یک مرحله انتخاب متغییر اولیه معمولاً اتفاق می¬افتد که در آن متغییرهای بسیار مرتبط با یکدیگر در زمینه¬هایی که ممکن بود به شباهت جدایی بین دسته¬ها کمک کنند رفع شدند. دوم این¬که، در نظر گرفتن ارتباطات به عنوان صفر یک مرحله نظم¬دهی مشخص فراهم می¬کند که باعث کاهش واریانس مدل و دسته¬بندی¬های درست¬تر می¬شود. سوم این-که، در برخی موارد وقتی متغیرها به هم مرتبط هستند سطح تصمیم¬گیری بهینه با سطح ایجاد شده تحت فرض مستقل تصادف می¬کند بطوری¬که ایجاد فرض به هیچ عنوان زیان¬بار نیست. چهارم این¬که، مسلماً سطح تصمیم ایجاد شده توسط مدل بیز ساده می-تواند یک شکل غیر خطی پیچیده داشته باشد.

دسته¬بندی کننده SVM
این الگوریتم از روش¬های یادگیری باناظر است که از آن برای طبقه-بندی و رگرسیون استفاده می¬کنند.
این روش از جمله روش¬های نسبتاً جدیدی است که در سال¬های اخیر کارایی خوبی نسبت به روش¬های قدیمی¬تر برای طبقه¬بندی از جمله شبکه¬های عصبی پرسپترون نشان داده است. مبنای کاری دسته¬بندی کننده¬ی SVM دسته¬بندی خطی داده¬هاست و در تقسیم خطس داده¬ها سعی بر آن است خطی انتخاب شود که حاشیه اطمینان بیشتری داشته باشد. حل معادله¬ی پیدا کردن خط بهینه برای داده¬ها به وسیله روش¬های QP که روش¬های شناخته شده¬ای در حل مسائل محدودیت¬دار هستند صورت می¬گیرد.قبل از تقسیم خطی برای این¬که ماشین بتواند داده¬های باپیچیدگی بالا را دسته¬بندی کند داده¬ها را باید به وسیله توابع phi به فضای با ابعاد خیلی بالاتر برد]6[.
این الگوریتم دارای مبانی نظری قوی و بی¬نقصی می¬باشد، فقط به یک دوجین نمونه احتیاج دارد و به تعداد ابعاد مسأله حساس نمی-باشد. همچنین متدهایی کارآمد برای یادگیری SVM به سرعت در حال رشد هستند. در یک فرایند یادگیری که شامل دو کلاس می-باشد، هدف SVM پیدا کردن بهترین تابع برای طبقه¬بندی می¬باشد به نحوی که بتوان اعضای دو کلاس را در مجموعه داده¬ها از هم تشخیص داد. معیار بهترین طبقه¬بندی به¬صورت هندسی مشخص می¬شود، برای مجموعه داده¬هایی که به¬صورت خطی قابل تجزیه هستند. به¬طور حسی آن مرزی که به¬صورت بخشیاز فضا تعریف می-شود یا همان تفکیک بین دو کلاس بوسیله hyperplane تعریف می¬شود. همین تعریف هندسی به ما اجازه می¬دهد تا کشف کنیم که چگونه مرزها را بیشینه کنیم ولو اینکه تعداد بیشماری hyperplane داشته باشیم و فقط تعداد کمی، شایستگی راه حل برای SVM دارند دلیل اینکه SVM روی بزرگ¬ترین مرز برای hyperplane پافشاری می¬کند این¬ست که قضیه قابلیت عمومیت بخشیدن به الگوریتم را بهتر تامین می¬کند. این نه تنها به کارایی طبقه¬بندی و دقت آن روی دده¬های آزمایشی کمک می¬کند، فضا را نیز برای طبقه¬بندی بهتر داده¬های آتی مهیا می¬کند.
یکی از مشکلات SVM پیچیدگی محاسباتی آن است. با این¬حال این مشکل به¬طور قابل قبولی حل شده است. یک راه¬حل این است که یک مسأله بهینه¬سازی بزرگ را به یک سری از مسائل کوچک¬تر تقسیم کرد که هر مسأله شامل یک جفت با دقت انتخاب شده از متغیرها که مساله بطور موثر بتواند از آن¬ها بهره ببرد. این پروسه تا زمانی که همه این قسمت¬های تجزیه شده حل شوند ادامه خواهد داشت.

6 – دسته¬بندی کننده Random Forestاز جمله دسته¬بندهایی که متد Bagging را به کار می¬گیرد Random Forest است که حاوی چندین درخت تصمیم می¬باشد و خروجی آن از خروجی¬های درخت¬های انفرادی به دست می¬آید. این الگوریتم متد Bagging را با انتخاب تصادفی ویژگی¬ها ترکیب می¬کند تا مجموعه¬ای از درخت¬های تصمیم با تنوع تحت کنترل ایجاد گردد. دقت بسیار بالای دسته¬بند از مزایای آن است، ضمن این¬که می¬تواند با تعداد زیاد ورودی به¬خوبی عمل کند]7[.

7 – دسته¬بندی کننده C4.5الف- توصیف الگوریتمC4.5 یک الگوریتم نیست بلکه مجموعه¬ای از الگوریتم¬هاست. توصیف کلی چگونگی کارکرد C4.5 در شکل(1) نشان داده شده است. همه روش¬های استنتاج درخت از گره ریشه آغاز می¬شوند که همه اطلاعات داده شده را ارائه می¬دهد و بطور بازگشتی اطلاعات را به مجموعه¬های کوچک¬تری تقسیم¬بندی می¬کند. و این¬کار را به وسیله آزمایش هر نسبت در هر گروه انجام می¬دهد. درختان فرعی، دسته¬بندی¬های مجموعه اطلاعات اصلی را نشان می¬دهند که آزمایشات ارزش¬گذاری نسبت¬های مشخص شده را تکمیل می¬کنند. این فرایند معمولاً تا خالص¬سازی مجموعه¬ها ادامه می¬یابد، یعنی همه نمونه¬ها در یک دسته قرار می¬گیرند و در این زمان رشد درخت متوقف می¬گردد.

ب- قوانین دسته¬بندی کننده¬هاC4.5 یک لیست از قوانین در قالب یک فرم معرفی می¬کند. قوانین برای هر کلاس با هم گروه¬بندی می¬شوند یک نمونه با پیدا کردن اولین قانون، به موقعیت امن می¬رود و اگر قانونی برای نمونه پیدا نشد به کلاس پیش فرض می¬رود. فایده مجموعه قوانین C4.5 در مقدار زمان CPU و حافظه مورد نیاز است.

دانلود فایل اصلی

مقایسه الگوریتم های هوشمند در شناسایی بیماری دیابت

لینک

بر روی هر تصویر کلیک کنید تا توضیحات کامل هر قسمت را مشاهده فرمایید

نوشته مقایسه الگوریتم های هوشمند در شناسایی بیماری دیابت اولین بار در ايران متلب. پدیدار شد.

الگوريتم SVM اوليه در ۱۹۶۳ توسط Vladimir Vapnik ابداع شد و در سال ۱۹۹۵ توسط Vapnik وCorinna Cortes براي حالت غيرخطي تعميم داده شد.

ماشين بردار پشتيباني (Support vector machines) يکي از روش‌هاي يادگيري بانظارت(Supervised learning) است که از آن براي طبقه‌بندي و رگرسيون استفاده مي‌کنند.

اين روش از جمله روش‌هاي نسبتاً جديدي است که در سال‌هاي اخير کارايي خوبي نسبت به روش‌هاي قديمي‌تر براي طبقه‌بندي از جمله شبکه‌هاي عصبي پرسپترون نشان داده است.

مبناي کاري دسته‌بندي کنندةSVM دسته‌بندي خطي داده‌ها است و در تقسيم خطي داده‌ها سعي مي‌کنيم خطي را انتخاب کنيم که حاشيه اطمينان بيشتري داشته باشد. حل معادلة پيدا کردن خط بهينه براي داده‌ها به وسيله روش‌هاي QP (Quadratic Programming) که روش‌هاي شناخته شده‌اي در حل مسائل محدوديت‌دار هستند صورت مي‌گيرد.

SVM از يک تکنيک که kernel trick ناميده مي شود، براي تبديل داده هاي شما استفاده مي کند و سپس بر اساس اين تبديل، مرز بهينه بين خروجي هاي ممکن را پيدا مي کند. به عبارت ساده تبديلات بسيار پيچيده را انجام مي دهد، سپس مشخص مي کند چگونه داده هايتان را بر اساس برچسب ها يا خروجي هايي که تعريف کرده ايد ، جدا کنيد.

يکي از روش هايي که در حال حاضر به صورت گسترده براي مسئله دسته بندي (Classification) مورد استفاده قرار مي گيرد، روش ماشين بردار پشتيبان (SVM) است. شايد به گونه اي بتوان محبوبيت کنوني روش ماشين بردار پشتيبان را با محبوبيت شبکه هاي عصبي در دهه گذشته مقايسه کرد. علت اين قضيه نيز قابليت استفاده اين روش در حل مسائل گوناگون مي باشد، در حاليکه روش هايي مانند درخت تصميم گيري را نمي توان به راحتي در مسائل مختلف به کار برد.

کاربردهاي SVM

الگوريتم  SVM، جز الگوريتم هاي تشخيص الگو دسته بندي مي شود. از الگوريتم SVM، در هر جايي که نياز به تشخيص الگو يا دسته بندي اشيا در کلاس هاي خاص باشد مي توان استفاده کرد. در ادامه به کاربرد هاي اين الگوريتم به صورت موردي اشاره مي شود:

سيستم آناليز ريسک، کنترل هواپيما بدون خلبان، رديابي انحراف هواپيما، شبيه سازي مسير، سيستم راهنمايي اتوماتيک اتومبيل، سيستمهاي بازرسي کيفيت، آناليز کيفيت جوشکاري، پيش بيني کيفيت، آناليز کيفيت کامپيوتر، آناليز عملياتهاي آسياب، آناليز طراحي محصول شيميايي، آناليز نگهداري ماشين، پيشنهاد پروژه، مديريت و برنامه ريزي، کنترل سيستم فرايند شيميايي و ديناميکي، طراحي اعضاي مصنوعي، بهينه سازي زمان پيوند اعضا، کاهش هزينه بيمارستان، بهبود کيفيت بيمارستان، آزمايش اتاق اورژانس، اکتشاف روغن و گاز، کنترل مسير در دستگاههاي خودکار، ربات، جراثقال، سيستمهاي بصري، تشخيص صدا، اختصار سخن، کلاسه بندي صوتي، آناليز بازار، سيستمهاي مشاوره اي محاسبه هزينه موجودي، اختصار اطلاعات و تصاوير، خدمات اطلاعاتي اتوماتيک، مترجم لحظه اي زبان، سيستمهاي پردازش وجه مشتري، سيستمهاي تشخيص ترمز کاميون، زمانبندي وسيله نقليه، سيستمهاي مسيريابي، کلاسه بندي نمودارهاي مشتري/بازار، تشخيص دارو، بازبيني امضا، تخمين ريسک وام، شناسايي طيفي، ارزيابي سرمايه، کلاسه بندي انواع سلولها، ميکروبها و نمونه ها، پيش بيني فروشهاي آينده، پيش بيني نيازهاي محصول، پيش بيني وضعيت بازار، پيش بيني شاخصهاي اقتصادي، پيش بيني ملزومات انرژي، پيش بيني واکنشهاي دارويي، پيش بيني بازتاب محصولات شيميايي، پيش بيني هوا، پيش بيني محصول، پيش بيني ريسک محيطي، پيش بيني جداول داوري، مدل کردن کنترل فرآيند، آناليز فعاليت گارانتي، بازرسي اسناد، تشخيص هدف، تشخيص چهره، انواع جديد سنسورها، دستگاه کاشف زير دريايي بوسيله امواج صوتي، رادار، پردازش سيگنالهاي تصويري شامل مقايسه اطلاعات، پيگيري هدف، هدايت جنگ افزارها، تعيين قيمت وضعيت فعلي، جلوگيري از پارازيت، شناسايي تصوير /سيگنال، چيدمان يک مدار کامل، بينايي ماشين، مدل کردن غير خطي، ترکيب صدا، کنترل فرآيند ساخت، آناليز مالي، پيش بيني فرآيندهاي توليد، ارزيابي بکارگيري يک سياست، بهينه سازي محصول، تشخيص ماشين و فرآيند، مدل کردن کنترل سيستمها، مدل کردن ساختارهاي شيميايي، مدل کردن سيستمهاي ديناميکي، مدل کردن سيگنال تراکم، مدل کردن قالبسازي پلاستيکي، مديريت قراردادهاي سهام، مديريت وجوه بيمه، ديريت سهام، تصويب چک بانکي، اکتشاف تقلب در کارت اعتباري، ثبت نسيه، بازبيني امضا از چکها، پيش بيني ارزش نسيه، مديريت ريسک رهن، تشخيص حروف و اعدا، تشخيص بيماري و…..

ايده اصلي SVM

l      با فرض اينکه دسته ها بصورت خطي جداپذير باشند، ابرصفحه هائي با حداکثر حاشيه(maximum margin)  را بدست مي آورد که دسته ها را جدا کنند.

l      در مسايلي که داده ها بصورت خطي جداپذير نباشند، داده ها به فضاي با ابعاد بيشتر نگاشت پيدا مي کنند تا بتوان آنها را در اين فضاي جديد بصورت خطي جدا نمود.

l      در يک فرايند يادگيري که شامل دو کلاس مي­باشد، هدف SVM پيدا کردن بهترين تابع براي طبقه­بندي مي­باشد به نحوي که بتوان اعضاي دو کلاس را در مجموعه داده­ها از هم تشخيص داد. معيار بهترين طبقه­بندي به­صورت هندسي مشخص مي­شود، براي مجموعه داده­هايي که به­صورت خطي قابل تجزيه هستند. به­طور حسي آن مرزي که به­صورت بخشي از فضا تعريف مي­شود يا همان تفکيک بين دو کلاس بوسيله hyperplane تعريف مي­شود. همين تعريف هندسي به ما اجازه مي­دهد تا کشف کنيم که چگونه مرزها را بيشينه کنيم ولو اينکه تعداد بيشماريhyperplane داشته باشيم و فقط تعداد کمي، شايستگي راه حل براي SVM دارند.

مسئله جداسازي خطي: Linear Discrimination

اگر دو دسته وجود داشته باشند که بصورت خطي از هم جداپذير باشند، بهترين جدا کننده اين دو دسته چيست؟

الگوريتم هاي مختلفي از جمله  پرسپترون ميتوانند اين جداسازي را انجام دهند.

آيا همه اين الگوريتمها بخوبي از عهده اين کار بر مي آيند؟

آشنايي با مفاهيم ابتدايي

خط يا ابر صفحه جدا کننده: 

 هدف: پيدا کردن بهترين خط ( ابر صفحه) که دو دسته را از هم جدا کند. در حالت دو بعدي معادله اين خط بصورت زير است:

در حالت n  بعدي خواهيم داشت:

حداکثر حاشيه (maximum margin)

بر طبق قضيه اي در تئوري يادگيري اگر مثالهاي آموزشي بدرستي دسته بندي شده باشند، از بين جداسازهاي خطي، آن جداسازي که حاشيه داده هاي آموزشي را حداکثر مي کند، خطاي تعميم را حداقل خواهد کرد.

چرا حداکثر حاشيه؟

¢     به نظر مي رسد که مطمئن ترين راه باشد.

¢     تئوري هائي برمبناي VC dimension وجود دارد که مفيد بودن آنرا اثبات مي کند.

¢     بطور تجربي اين روش خيلي خوب جواب داده است.

¢     دليل اينکه SVM روي بزرگ­ترين مرز براي hyperplane پافشاري مي­کند اين­ست که قضيه قابليت عموميت بخشيدن به الگوريتم را بهتر تامين مي­کند. اين نه تنها به کارايي طبقه­بندي و دقت  آن روي داده­هاي آزمايشي کمک مي­کند، فضا را نيز براي طبقه­بندي بهتر داده­هاي آتي مهيا مي­کند.

بردار پشتيبان

نزديکترين داده هاي آموزشي به ابر صفحه هاي جدا کننده بردار پشتيبان ناميده مي شوند.

ماشين بردار پشتيبان خطي

ماشين بردار پشتيبان يک روش يادگيري نسبتا جديد است که اغلب براي کلاسبندي باينري مورد استفاده واقع مي شود. فرض کنيد L مشاهده داريم که هر مشاهده مشتمل بر زوج هاي است که در آن . بردار ورودي و يک مقدار دو وضعيتي (1- يا 1+) است. ايده ي ماشين بردار پشتيبان مي کوشد، ابرصفحاتي در فضا رسم کند که عمل تمايز نمونه هاي کلاس هاي مختلف داده ها را بطور بهينه انجام دهد. مي توان يک ابرصفحه را از طريق رابطه زير نشان داد:

براي يک بردار خطي b با وزن w ، حاشيه جداسازي عبارتست از فاصله ي بين ابرصفحه تعريف شده توسط رابطه ي فوق و نزديکترين ويژگي به آن. هدف ماشين بردار پشتيبان يافتن ابرصفحه اي ست که بيشترين حاشيه ي جداسازي را داشته باشد. مهمترين وظيفه SVM ، يافتن پارامترهاي w0 و b0 بر اساس بردارهاي آموزشي داده شده، براي اين ابرصفحه بهينه است. براي يک بردار ويژگي X، فاصله تا ابرصفحه بهينه به صورت زير است:

از رابطه بالا نتيجه مي شود که ماکزيموم کردن حاشيه جداسازي بين الگوها و ابرصفحه، معادلست با مينيموم کردن فرم اقليدسي بردار وزن w. بنابراين مساله بهينه سازي مقيد را مي توان به صورت زير تعريف کرد:

براي حل اين مساله، تابع لاگرانژ زير را تشکيل داده و حل مي کنيم:

لاگرانژين L بايد نسبت به متغيرهاي اوليه  bو w مينيموم و نسبت به متغيرهاي دوگان ماکزيموم شود. با مساوي صفر قراردادن مشتق L نسبت به b،w:

به معادلات زير خواهيم رسيد:

مجموعه جواب، بسطي از نمونه هاي آموزشي است که مقدار  متناظر با آن ها، يک مقدار غير صفر است. اين نمونه هاي آموزشي خاص به بردارهاي پشتيبان مشهورند. بردارهاي پشتيبان روي مرز حاشيه قرار دارند. مابقي نمونه هاي آموزشي در اين قسمت نقشي ندارند.

تمايز نمونه هاي دو کلاس با ابرصفحه ي بهينه

با قرار دادن 7 و 8 در  به مساله دوگان ولف زير خواهيم رسيد:

حل اين مساله دوگان ضرايب لاگرانژ را به ما مي دهد. تابع ابرصفحه متمايز کننده را مي توان به صورت زير نوشت:

ماشين بردار پشتيبان براي بردارهاي ورودي جدايي ناپذير:

اغلب در عمل، يافتن يک ابرصفحه متمايز کننده به راحتي امکان پذير نيست. زيرا مثلا يک نويز قوي مي تواند باعث ايجاد رويهم افتادگي کلاس ها شود. در اين حالت از متغير هايي به نام متغيرهاي کمبود(Slack Variables) استفاده مي کنيم. به گونه اي که شرايط زير برقرار باشند:

حال يک تعميم خوب براي ابرصفحه ي متمايز کننده، با کنترل ظرفيت کلاسبند (از طريق ) و همچنين تعداد خطاهاي مرحله آموزش بدست مي آيد. مساله بهينه سازي به صورت زير تعريف خواهد شد:

مساله دوگان به فرم زير خواهد بود:

ماشين بردار پشتيبان غيرخطي:

ابرصفحه جداکننده بهينه اولين بار توسط Vapnik در سال ۱۹۶۳ ارائه شد که يک دسته کننده خطي بود. در سال ۱۹۹۲ ،Bernhard Boser ،  Isabelle GuyonوVapnik راهي را براي ايجاد دسته بند غيرخطي، با استفاده قرار دادن هسته براي پيدا کردن ابرصفحه با بيشتر حاشيه، پيشنهاد دادند. الگوريتم نتيجه شده ظاهرا مشابه است، به جز آنکه تمام ضرب هاي نقطه اي با يک تابع هسته غيرخطي جايگزين شده اند. اين اجازه مي دهد، الگوريتم، براي ابرصفحه با بيشترين حاشيه در يک فضاي ويژگيِ تغييرشکل داده، مناسب باشد. ممکن است، تغييرشکل غيرخطي باشد و فضاي تغيير يافته، داراي ابعاد بالاتري باشد. به هر حال دسته کننده، يک ابرصفحه در فضاي ويژگي با ابعاد بالا است، که ممکن است در فضاي ورودي نيز غيرخطي باشد.

در حالت غيرخطي، مي توان با اعمال پيش پردازش داده ها، مساله را به فضايي برد که در آن جا با يک ابرصفحه ساده قابل حل باشد. براي اين منظور يک نگاشت  تعريف مي کنيم که بردار ورودي d بعدي x را به بردار d’ بعدي z تبديل مي کند.

 بايد به گونه اي انتخاب شود که بردارهاي فضاي ويژگي جديد جدايي پذير باشند. در حالت کلي مي توان گفت که اگر  بردارهاي ورودي را به فضايي ببرد که تعداد ابعاد آن به اندازه کافي بزرگ باشد (

نوشته آشنایی با ماشین بردار پشتیبان Support Vector Machine یا SVM در متلب MATLAB اولین بار در ايران متلب. پدیدار شد.

الف- پيدا كردن اطلاعات مرتبط

ب- بوجود آوردن دانش هاي جديد از اطلاعاتي كه از طريق وب در دسترسند

ج- شخصي سازي اطلاعات

د- يادگيري درباره مشتريان يا كاربران فردي

چنين رشد عظيمي در داده و پايگاه‌هاي داده يك نياز فوري به تكنيك ها و ابزارهايي كه بتوانند به صورت خودكار و هوشمند داده را به اطلاعات و دانش مفيد تبديل كنند، بوجود آورده است.
وب‌کاوي شامل عمليات مختلفي مي‌شود که اين عمليات به سه دستة عمده تقسيم مي‌شوند: کاوش در محتواي وب، کاوش در ساختار وب و کاوش در کاربردهاي وب. از کاربردهاي مهم وب‌کاوي در تعيين اعتبار صفحات، طبقه‌بندي خودکار صفحات و ساخت يک پايگاه اطلاعاتي چند‌ لايه از وب است. اين کاربردها زماني اهميت خود را بيشتر نشان مي‌دهند که شما کاربري کم تجربه باشيد و از هزينه‌ هاي بالاي جستجو در وبي با اين عظمت هم بي‌اطلاع باشيد و دربارة موضوع خاصي در اينترنت در حال جستجو باشيد. مسلماً شما انتظار داريد صفحاتي که بعنوان نتيجة جستجو دريافت مي‌کنيد از اعتبار کافي برخوردار باشند و کاملاً هم به موضوع مورد نظر شما مربوط باشند.
هدف از انجام اين پروژه اين است که با استفاده از روش هاي طبقه‌ بندي و بخش‌ بندي اطلاعات ، اطلاعات را به صورتي گرد آوري و طبقه‌ بندي کنيم، که امکان انجام جستجوي مفيدتر و بهينه‌ تري را براي کاربر فراهم آوريم.

تكنيك هاي يادگيري ماشين مي‌توانند در پردازش هايي در وب‌كاوي بكار برده شوند. براي مثال تحقيقات اخير نشان داده است كه بكار بردن تكنيكهاي يادگيري ماشين نسبت به استفاده از تكنيكهاي متداول IR مي‌تواند فرايند طبقه‌بندي متن را بهتر كند. به صورت خلاصه وب‌كاوي و تكنيك هاي يادگيري ماشيني كه در وب بكار مي‌ روند، يكديگر را در يك نقطه قطع مي‌كنند.

بخش‌ بندي يك مسئله يادگيري با نظارت است. ما يك مجموعه از نمونه‌ها (اسناد) داريم كه به درستي بخش‌بندي شده‌اند (معمولاً توسط فهرست‌ نويسان)، اين مجموعه براي آموزش طبقه‌بندي‌ كننده بر اساس يك الگوريتم يادگيري ماشين استفاده مي‌شود. طبقه‌ بندي‌ كننده ياد گرفته شده براي بخش‌بندي مجموعه مقصد استفاده مي‌شود.
بخش‌ بندي متن كار مهمي است كه به عنوان بخشي از اكثر سيستم هاي متن كاوي و سيستم‌ هاي بازيابي‌ اطلاعات انجام مي‌شود. بخش‌بندي مي‌تواند براي پيدا كردن مؤثر نزديكترين همسايه‌ هاي يک سند، بهبود دقت سيستم‌ هاي بازيابي‌ اطلاعات، كمك به كاوش مجموعه‌ اي از اسناد، سازماندهي نتايج موتور هاي جستجو و شخصي سازي نتايج موتورهاي جستجو استفاده شود.
با بررسي‌هاي انجام شده و مقايسة روشهاي مختلف با هم سه روش بيزي، نزديكترين k همسايه و ماشينهاي بردارهاي پشتيباني به عنوان روشهاي برتر انتخاب شدند. در نهايت به دليل فوايد مهمي‌كه ماشينهاي بردارهاي پشتيباني در بخش‌بندي متن دارند:
– هيچ احتياجي به انتخاب عبارات نيست چون ماشينهاي بردارهاي پشتيباني از جهت سايز  مشكلي ندارند و  مقياس آنها مي‌تواند تا ابعاد قابل  ملاحظه‌اي بزرگ شود.
– هيچ  احتياجي به تنظيم پارامترهاي يك مجموعه ارزيابي نيست چون يك سري تنظيمات نظري «قراردادي» براي پارامترها وجود دارد كه نشان داده شده كه بيشترين کارايي را هم دارند. براي پياده‌سازي اين پروژه روش ماشينهاي‌بردارهاي پشتيباني انتخاب شد.

نوشته استفاده از SVM در بخش‌بندی صفحات وب اولین بار در ايران متلب. پدیدار شد.