در هر کار یادگیری ماشین ما با داده (data) در ارتباط هستیم. این داده ها می توانند از منابع مختلفی گردآوری شده باشند. اکثر متخصصان یادگیری ماشین داده های ورودی به مدل یادگیری ماشین را ابتدا مورد پردازش قرار می دهند تا بتوانند هر گونه اشکال یا ایراد در داده ها را پیدا و رفع کنند.

هنگامی که حجم داده های ورودی به سیستم کم می باشد، می توان از روشهای دستی برای پیش پردازش داده استفاده کرد اما هنگامی که تعداد داده ها بیش از چند میلیون می باشد، روش دستی دیگر جوابگو نیست و لازم است ، ابزارهای اتوماتیکی برای پیش پردازش داده بکار گرفته شود. متلب ابزارهای بسیار حرفه ای و خوبی برای این کار دارد و از آنجایی که متلب خودش ماتریس مبنا می باشد یعنی تمامی متغییرها به صورت ماتریس در نظر گرفته می شوند و یک جعبه ابزار حرفه ای آمار دارد، به کاربران یادگیری ماشین می تواند در پیش پردازش داده بسیار کمک کند. بخش اول این آموزش به تابع و نمودارهای پیش پردازش داده در متلب اختصاص دارد.

بخش دوم این آموزش مخنص معیارهای ارزیابی در یادگیری ماشین می باشد. منظور از معیارهای ارزیابی ، همان معیارهای است که در بیشتر مواقع بعد از یک کار یادگیری ماشین مورد استفاده قرار می گیرد تا مدل نهایی مورد ارزیابی قرار گیرد. در یک کار یادگیری ماشین، ما مدل خود را با داده های آموزش ، آموزش می دهیم و با داده های تست ، تست می کنیم تا بفهمیم مدل آموزش یافته ما چقدر خوب آموزش یافته است و خاصیت عمومیت پذیری آن چقدر است؟ راندمان آن چقدر است؟ در هر کلاس، یک مدل دسته بندی چقدر درست عمل کرده است؟ دو مدل رگرسیون را چطور باید مقایسه کنیم؟ معیار چیست؟ و خیلی سوالات دیگر مربوط به همین مبحث معیارهای ارزیابی می شود.

سرفصل :

متغییرهای گروهی

تقسیم داده ها بر اساس گروه

یافتن تعداد کلاس ها

تابع splitapply

رسم گروه بندی شده داده ها

حذف یک کلاس از داده ها

محاسبه درصد و تعداد هر گروه در داده

رسم نمودار پراکندگی بر اساس گروه

مزیت droplevels

رسم نمودار ماتریس گروه

محاسبه معیارهای آماری هر گروه

چه داده هایی در متلب به عنوان missing در نظر گرفته می شوند؟

عملیات یا داده های شامل NaN

چطور داده های ما شامل NaN می شوند؟

محاسبات آماری با داده هایی که شامل مقادیر missing هستند

آشنایی با دیتاست های آماده متلب

خواندن داده از فایل اکسل excel

خواندن داده های یک sheet

خواندن داده های یک range

یافتن اتوماتیک داده های missing

حذف داده های missing از داده های ورودی

جایگزینی داده های missing

ایجاد داده های missing

یافتن outliers در داده ها

شناسایی و جایگزینی outliers

حذف outliers از داده ها

انواع روش های جایگزینی داده های missing

تعیین جهت عملگر بر روی داده های 2 بعدی

مفهوم outliers

معیار MAD یا median absolute deviation

یافتن تغییرات شدید در داده ها

یافتن مینیمم های محلی

یافتن ماکزیمم های محلی

هموار کردن داده smoothing

معیار میانگین حرکتی

معیار میانه حرکتی

پنجره در هموار کردن و معیارهای حرکتی

نرمالیزه کردن داده

روش zscore

روش norm

روش scale

روش range

روش center

تابع rescale

معیار cross validation در متلب

مفهوم k-fold

یک مثال برنامه نویسی پیچیده

تابع crossval

ماتریس confusion

چارت ماتریسی confusion

نمودار ROC

هدف از ROC چیست؟

معیار Number of true positive

معیار Number of false negative

معیار Number of false positive

معیار Number of true negative

معیار Rate of positive predictions

معیار Rate of negative predictions

معیار Accuracy

معیار True positive rate یا sensitivity یا recall

معیار False negative rate

معیار False positive rate یا fallout یا 1 – specificity

معیار True negative rate یا specificity

معیار Positive predictive value یا precision

معیار Negative predictive value

مقایسه نمودار های ROC

لینک سفارش

پیش نمایش اول

دانلود پیش نمایش اول (کیفیت بالا)

پیش نمایش دوم

دانلود پیش نمایش دوم (کیفیت بالا)

پیش نمایش سوم

دانلود پیش نمایش سوم (کیفیت بالا)

مدت زمان : 224 دقیقه

نوشته پیش پردازش داده و معیارهای ارزیابی در MATLAB اولین بار در ايران متلب. پدیدار شد.

شما در سیستم های embedded لازم است تا با یک زبان برنامه نویسی مثل C++ یا VHDL برنامه ای بنویسید و داخل حافظه میکروکنترلر یا FPGA بارگذاری کنید تا سیستم شما بتواند کار مورد نظرشما را انجام دهد. مثلا فرض کنید یک سیستم دارید که قرار است با دستورهای صوتی یک موتور را روشن و خاموش کند. در این سیستم لازم است که شما برنامه مشخصی بنویسید که اگر فرمان شروع گفته شد ، موتور را روشن و اگر فرمان خاموش گفته شد، موتور را خاموش کند. این برنامه شما هیچ قسمت هوشمندی ندارد که قادر به یادگیری باشد، بلکه یک برنامه شرطی هست که متناسب با ورودی آن یک خروجی دارد. اما در یک سیستم یادگیری ماشین ما هیچ برنامه مشخصی برای سیستم نمی نویسیم بلکه ما یک مدل هوشمند داریم که قابلیت یادگیری دارد. مدل ما در یک فرایند آموزش یاد می گیرد که متناسب با هر فرمانی چه عکس العملی را باید نشان دهد. آموزش قسمت اصلی یک مدل یادگیری ماشین ML می باشد.

اکنون یادگیری ماشین توانسته کاربردهای بسیار زیادی پیدا کند مثل ماشین های بدون راننده، شناسایی صوت، جستجوی وب ، تشخیص بیماری و درک بهتر ژن انسان.

یادگیری ماشین اکنون اینقدر گسترده شده است که شما به احتمال زیاد در طول روز از یک سیستم بر مبنای یادگیری ماشین دارید استفاده می کنید اما دقیقا نمی دانید که یادگیری ماشین است. مثلا بسیاری از ابزارهای داخل یک گوشی هوشمند که بیشتر آنها با یک مدل یادگیری ماشین عمل می کنند.

ما در این آموزش سعی کردیم که در کنار تئوری ، مثالهای عملی زیادی هم بزنیم تا شما بتوانید درک بهتری از کاربردهای یادگیری ماشین در دنیای واقعی پیدا کنید و بتوانید از یادگیری ماشین در پروژه های عملی خود استفاده کنید.

لینک دانلود

مرجع های این آموزش :

درس یادگیری ماشین دانشگاه استنفورد

درس یادگیری ماشین دانشگاه MIT

آموزش از پایه یادگیری ماشین ارائه شده در توسعه دهندگان گوگل Google Developer

قسمت اول

مبانی و مقدمات یادگیری ماشین

قسمت دوم

پیش پردازش داده و معیارهای ارزیابی در MATLAB

قسمت سوم

برنامه نویسی متلب ماشین بردار پشتیبان

نوشته بسته آموزش جامع یادگیری ماشین machine learning اولین بار در ايران متلب. پدیدار شد.

یکی از زمینه های بسیار جذاب و پرکاربرد در قرن اخیر هوش مصنوعی می باشد. هم اکنون کاربردهای بسیار زیادی برای هوش مصنوعی در جهان اطراف ما قابل مشاهده است مثل ماشین های بدون راننده ، دستیاران صوتی، مترجم های آنلاین، رباتهای هوشمند، نرم افزارهای تشخیص بیماری ، الگوریتم های هوشمند داده کاوی، تشخیص چهره، ربات سخن گو، پیش بینی بورس و نمودارهای مالی .

هوش مصنوعی دانش بسیار گسترده ای می باشد که بخشی از آن یادگیری عمیق می باشد. یادگیری عمیق یکی از موضوعات بسیار داغ و جذاب می باشد که علاقه مندان بسیار زیادی پیدا کرده است. یکی از دلایل این علاقه سادگی کار و نتایج حیرت کننده حاصل از آن می باشد. به عنوان مثال برای تشخیص یک شی در تصویر، اگر بخواهید از روشهای قدیمی استفاده کنید باید استخراج ویژگی انجام دهید و سپس یک مدل دسته بندی کننده انتخاب کنید. این فرایند بسیار زمان بر و تخصصی می باشد و می بایست یک فرد متخصص نوع ویژگی ها و پارامترهای آنها را تنظیم کند. اما با یادگیری عمیق شما فقط کافی است که ساختار مدل خود را طراحی کنید و نیازی به مرحله استخراج ویژگی ندارید و تمامی فرایند توسط لایه های مدل یادگیری عمیق انجام می شود.

دلیل بعدی جذابیت کار در یادگیری عمیق ، مدلهای آماده بسیار زیاد موجود می باشد که فرایند طراحی و آموزش و تست را بسیار کوتاه می کند و شما با توجه به مفهوم transfer learning یک مدل آماده را برای کاربرد خود تغییر می دهید. یعنی دیگر لازم نیست چرخ را از اول اختراع کنید و همه فرایند سخت و طاقت فرسای طراحی مدل هوشمند خود را از صفر شروع کنید. الان مدلهای آماده ای وجود دارند که با دقت بالایی می توانند 1000 کلاس مختلف تصویری را شناسایی کنند. یعنی شما مدل را import می کنید و تصویر بهش می دهید و برای شما کار شناسایی را انجام می دهد. به عبارت ساده تر هولو برو تو گلو. 🙂

لینک سفارش

قسمت اول

مبانی و مقدمات یادگیری عمیق

قسمت دوم

پیاده سازی و برنامه نویسی در متلب

مدرس :

قیصری (مدیر گروه ایران متلب با سابقه 15 ساله در متلب و زبان های مختلف برنامه نویسی)

نوشته بسته آموزشی جامع یادگیری عمیق Deep Learning اولین بار در ايران متلب. پدیدار شد.

در تست الگوریتم حرکت چند رباتها در صفحه، یکی از مسائلی که بسیار استفاده می شود، مسئله جلوگیری از مانع یا برخورد نکردن با مانع می باشد. در این مسئله تعدادی ربات وجود دارند که از یک نقطه شروع باید حرکت خود را آغاز کنند و به یک ناحیه به نام هدف برسند. در مسیر حرکت این رباتها به سمت ناحیه هدف ، تعدادی مانع قرار دارد که مانع از حرکت مستقیم رباتها به سمت ناحیه هدف می شوند.
شکل این موانع و مکان آنها در صفحه مسئله هیچ قانون مشخصی ندارد و توسط طراح مسئله مشخص می شود و لی باید به گونه ای باشد که رباتها با استفاده از دانش جمعی بتوانند مسیر مناسب را پیدا کنند و هرچه مشکل تر باشد ، قدرت الگوریتم بهتر سنجیده می شود.

کاربردهای بسیاری برای این مسئله در جهان واقعی وجود دارد. به عنوان مثال موقعیتی را فرض کنید که بخواهیم ربات امداد کننده ای در یک منطقه زلزله آمده به نقطه خاصی که برای آن مشخص می کنیم ، برود و امدادرسانی کند. در مسیر حرکت این ربات قطعا خانه های آوار شده ای قرار دارند و مسیرهای عبوری مانند خیابان ها مسدود شده است، این ربات باید با کمک چند ربات دیگر باید بتواند مسیر مناسبی برای رسیدن به نقطه هدف پیدا کند.

نوشته عبور از مانع با چند ربات و الگوریتم PSO تغییر یافته اولین بار در ايران متلب. پدیدار شد.

نرخ های تقریب (Approximation Rates) :
فرض کنید یک شی در فضای [0,1] در [0,1] قرار دارد . دقت تبدیل فوریه و تبدیل ویولت و تبدیل کرولت در بیان این شی در قسمت زیر نشان داده شده است :
تبدیل فوریه Fourier Transform :

تبدیل ویولت Wavelet Transform :

تبدیل کرولت Curvelet Transform :

همانطور که مشاهده می فرمایید خطای بین شی و بیان تبدیل یافته آن در تبدیل کرولت کمتر از دو تبدیل دیگر است.

عدم پیوستگی در منحنی و نقطه
Point and Curve Discontinuities

عدم پیوستگی نقطه ای در تبدیل فوریه بر روی همه ضرایب آن تاثیر می گذارد. لذا تبدیل فوریه نمی تواند با عدم پیوستگی نقطه ای به خوبی رفتار کند. اما تبدیل ویولت به خوبی عدم پیوستگی نقطه ای را بیان می کند و تنها تعداد کمی از ضرایب آن دستخوش تغییر می شوند.
عدم پیوستگی بر روی یک منحنی ، تمامی ضرایب تبدیل ویولت را تغییر دهد لذا تبدیل ویولت نمی تواند در اشیا با عدم پیوستگی در منحنی به خوبی رفتار کند. اما تبدیل کرولت طراحی شد تا عدم پیوستگی در منحنی را بیان کند و تنها تعداد کمی از ضرایب آن دستخوش تغییر شود.

بنا به درخواست کاربران فهیم سایت ایران متلب ، فیلم آموزشی برنامه نویسی تبدیل کرولت در متلب برای استفاده آماده شد.
این فیلم آموزشی اختصاص به طریقه کدنویسی و برنامه نویسی و کار با تبدیل کرولت در متلب دارد. در ابتدا تئوری مختصری از روشهای موجود صحبت می شود. اختلاف این روشها با هم و مزیت هر کدام بیان می شود. سپس توابع متلب مختص تبدیل کرولت به تفضیل معرفی می شوند. در انتها چندین مثال برنامه نویسی متلب آورده شده است.

لینک دانلود

پیش نمایش :

لینک دانلود (کیفیت بالا)

تصاویری از این فیلم آموزشی :

نوشته برنامه نویسی متلب تبدیل کرولت اولین بار در ايران متلب. پدیدار شد.

تولباکس برازش منحنی (curve fitting) در نرم افزار متلب MATLAB یک ابزار آماده برای برازش منحنی و سطوح داده می باشد. شما در این جعبه ابزار می توانید آنالیز داده، پیش پردازش و پس پردازش داده ، مقایسه مدلهای کاندید و حذف outlier انجام دهید.
شما در این جعبه ابزار می توانید آنالیز رگرسیون با استفاده از مدلهای آماده خطی و غیرخطی انجام دهید یا خودتان مدل دلخواه خود را بسازید.
در این جعبه ابزار شما می توانید از حل کننده های (solver) بهینه شده برای بهبود کیفیت برازش (fit) استفاده کنید. این جعبه ابزار همچنین شامل تکنیک های مدلسازی غیرپارامتری مانند درونیابی و هموارسازی و splines هم می باشد.
بعد از ساخت مدل شما می توانید روشهای پس پردازش مختلفی را بر روی مدل خود اعمال کنید.

.
به طور خلاصه تولباکس برازش منحنی در متلب دارای ویژگیهای زیر است :

• برازش منحنی برای منحنی و سطوح
• رگرسیون خطی و غیرخطی با معادله های سفارشی
• کتابخانه ای از مدلهای رگرسیون با نقاط شروع و پارامترهای حل کننده بهینه شده
• روشهای درونیابی شامل B-spline و spline صفحه ای و spline tensor-product
• تکنیک های هموار سازی شامل spline هموارکننده و رگرسیون متمرکز و فیلترهای Savitzky-Golay و میانگین های متحرک
• روشهای پیش پردازش شامل حذف outlier و بخش بندی و تغییر مقیاس و وزن دهی داده ها
• روشهای پس پردازش شامل درونیابی و برونیابی و بازه های اطمینان (confidence ) انتگرال و مشتق

لینک دانلود

پیش نمایش 1 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 2 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 3 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 4 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 5 :

.

لینک دانلود (کیفیت بالا)

نوشته فیلم آموزش فارسی جعبه ابزار برازش منحنی در متلب اولین بار در ايران متلب. پدیدار شد.

• تست آماری جفت شده t-test

تست paired t-test، یک روش معمول برای مقایسه دو کلاسه بند بر روی چندین مجموعه داده است. این تست بررسی می کند که آیا اختلاف میانگین در کارایی بر روی مجموعه داده ها به لحاظ معناداری از صفر متفاوت است یا خیر. در صورتی که  و  معیار قابل مقایسه دو کلاسه بند بر روی iام مجموعه داده باشد، و  اختلاف  می باشد. آماره t بصورت  می شود و با توجه به توزیع Student با درجه آزادی N-1 توزیع می گردد.

• تست آماری Wilcoxon

تست آماری Wilcoxon یک روش غیر پارامتری است که در مقابل روش t-test ارائه داده شده است. این تست اختلاف، بدون توجه به علامت آن، معیار خروجی دو کلاسه بند را برای هر مجموعه داده مرتب می کند. سپس رتبه مربوط به اختلاف مثبت و منفی حاصل را مقایسه می کند.

بعنوان اختلاف معیار خروجی دو کلاسه بند بر روی iام مجموعه داده از N مجموعه داده در نظر گرفته می شود. اختلافات بدون در نظر گرفتن علامت آنها مرتب می شود. البته در جایی که اختلاف صفر است، میانگین رتبه دو کلاسه بند بعنوان rank در نظر گرفته می شود.  بعنوان مجموع رتبه کلاسه بند دوم است که بهتر از کلاسه بند اول عمل می کند و  بعنوان مجموع رتبه کلاسه بند مقابل است که بهتر از کلاسه بند دوم عمل می کند. رتبه  در محاسبه این دو مجموع بصورت جداگانه اعمال می شود و اگر تعداد فردی از مجموعه داده ها دارای چنین شرایطی هستند، یکی را در نظر نمی گیریم تا تعداد زوجی از آنها اعمال شود.

(5-4)

(5-5)

کمترین مقدار بین مقدارهای  و  را بعنوان T در نظر می گیریم؛ . بیشتر منابع دارای مقدار بحرانی برای T برای مجموعه داده N است که برای تعداد زیادی از مجموعه داده ها این مقدار از رابطه ذیل پیروی می کند:

(5-6)

با آلفا 0.05، فرضیه صفر[1] رد می شود در صورتی که z کوچکتر از 1.96-  باشد.

• تست آماری فردمن Friedman

تست فردمن [58]، یک تست غیر پارامتری­ است^[2]. این تست برای مقایسه چندین الگوریتم بدون مقایسه دوتایی الگوریتم ها بکار می رود. تست فردمن قویتر از دو تست ذکر شده است و بطور جامع تری الگوریتم های مختلف را مقایسه می کند. در صورتی که الگوریتم پیشنهادی تفاوت قابل توجهی با دیگر الگوریتم ها داشته باشد، بطور قابل اعتمادی ارئه می دهد. این تست الگوریتم­های مختلف را روی هر مجموعه داده به صورت جداگانه، بر اساس معیار خاصی مانند دقت پیش بینی رتبه­بندی می­کند. بهترین الگوریتم رتبه یک، دومین بهترین الگوریتم، رتبه دو و به همین ترتیب. در مواردی که کلاس بندها بر روی معیار مورد نظر مقدار برابری را کسب کرده اند، میانگین رتبه­ها به الگوریتم­ها اختصاص می­یابد. فرض کنیم که ، رتبه الگوریتم ام از بین  الگوریتم و بر روی مجموعه داده ام از بین  مجموعه داده باشد. تست فردمن میانگین رتبه­های الگوریتم­های مختلف را با هم مقایسه می­کند که به صورت   است. تحت فرضیه صفر، همه الگوریتم­ها با هم برابر هستند و بنابراین رتبه آن­ها باید با هم یکسان باشد، آماره[3] فردمن

(4-10)

توزیعی مطابق  با  درجه آزادی خواهد داشت، در صورتی که  و   انتخاب شوند. Iman و Davenport [59] آماره جدیدی به صورت زیر ارائه داده اند که بطور کلی برای مقایسه الگوریتم ها بجای رابطه 10-4 بکار می رود:

(4-11)

که توزیعی برابر توزیع  با   و  درجه آزادی خواهد داشت. اگر فرض صفر رد شود، اختلاف معناداری بین الگوریتم­ها وجود دارد. بعد از آن تست تعقیبی[4] انجام می گیرد، که برای این منظور، ما در اینجا تستBonferoni-Dunn  [60] بکار گرفته ایم. در این تست، اختلاف دو الگوریتم به صورت آماری معنادار[5] است اگر اختلاف رتبه دو الگوریتم بیشتر از مقدار اختلاف بحرانی[6] ذیل باشد:

(4-12)

که در آن ، مقدار بحرانی بوده[8] که بر پایه آماره توزیع Student[9] است که  بر  تقسیم شده است. در این تست، یکی از روش­ها به عنوان الگوریتم کنترل[10]، انتخاب شده و با سایر روش­ها مقایسه می­شود.

[1] Null hypothesis

[2] Non-parametric

[3] Statistic

[4] Post-hoc

[5] Statistically significant

[6] Critical difference

[7] برای یافتن مقادیر  به جدول b5 از [58] مراجعه شود.

[8] Critical value

[9] Studentized range statistic

[10] Control method

نوشته تست های آماری اولین بار در ايران متلب. پدیدار شد.

از آنجایی که الگوهای نوظهور، دانش تمایز بین کلاس های مختلف را نشان می دهد، آنها در ایجاد کلاسه بندی دقیق بسیار موثر هستند. کلاسه بند های بر پایه الگوهای نوظهور قدرت مجموع الگوهای نوظهور را برای کلاسه بندی یک نمونه تست بکار می گیرد. Dong [21] اولین کلاسه بند بر پایه الگوهای نوظهور را ارائه داد که CAEP، Classification by Aggregating Emerging Patterns، نامیده شد. CAEP همه الگوهای نوظهور قوی را بوسیله الگوریتم های مبتنی بر مرز استخراج می کند. برای کلاسه بندی کردن یک نمونه تست، برای هر کلاس یک امتیاز[2] محاسبه می شود. کلاس با بالاترین امتیاز بعنوان برچسب نمونه تست در نظر گرفته می شود. اگر تعداد الگوهای کاندید کلاس های مختلف نامتوازن[3] باشد، کلاس با الگوهای بیشتر تمایل در بدست آوردن امتیاز بیشتر دارد. برای حل این مشکل، یک امتیاز پایه[4] برای هر کلاس از نمونه های آموزشی بدست می آید [21].

• الگوریتم کلاسه بندی بر پایه تئوری اطلاعات[5] iCAEP

بعداً، Zhang et al. [26]، یک نوع از CAEP را که iCAEP، Information based Classification by Aggregating Emerging Patterns، نامیده شد، معرفی کرد. iCAEP، از تئوری اطلاعات[6] استفاده می کند تا نیازی به محاسبه base score برای هر کلاس نباشد.

برای کلاسه بندی یک نمونه تست، کوچکترین امتیاز بعنوان برچسب کلاس نمونه تست در نظر گرفته می شود. در مقایسه با CAEP، iCAEP دقت را بهبود می دهد و زمان را برای کلاسه بندی کاهش می دهد.

• روش کلاسه بندی برپایه الگوهای نوظهور جهشیJEPs-Classifier [3]

بر اساس CAEP، الگوریتم کلاسه بند بر پایه الگوهای نوظهور جهشی توسط Li et al. ارائه شد. JEPs-classifier محنصراً از الگوهای نوظهور جهشی[7] با فراوانی نسبی بالا برای کلاسه بندی استفاده می کند. این نوع الگوها، رساترین الگوهای نوظهور جهشی[8] نامیده می شوند چرا که این الگوها همان محموعه آیتم های کمینه در مرز[9] هستند که دارای فراوان نسبی بالایی نسبت به دیگر آیتم ها در مرز هستند. JEPs-classifier از الگوریتم های مبتنی بر مرز بهره گرفته و الگوهای نوظهور جهشی را در قالب مرز فضای الگوها استخراج می کند. رساترین الگوهای نوظهور جهشی لزوما حداقل آستانه برای فراوانی نسبی ارضا نمی کند.

• روش کلاسه بندی بر پایه الگوهای نوظهور جهشی قوی^[10] [25]

این کلاسه بندی بر پایه قدرت مجموع الگوهای نوظهور جهشی قوی است و تلاش می کند تا با استفاده از الگوهای نوظهوری جهشی که حداقل آستانه را برای فراوانی نسبی دارا هستند، به دقت قابل توجهی دست یابد.

• روش تصمیم گیری مبتنی بر نمونه^[11] DeEPs [20]

بعداً، بر پایه روش های مبتنی بر نمونه[12]، کلاسه بند تنبل[13] به نام DeEPs، Decision-making by Emerging Patterns، ارائه شد [20]. جهت کاهش فضای جستجو الگوها، DeEPs یک نمونه تست را بعنوان یک فیلتر بکار می گیرد تا مقادیر آموزشی بی ربط را در نظر نگیرد. برای هر نمونه تست، DeEPs الگوهای نوظهور کاندید را استخراج می کند و مقادیر ویژگی هایی که در نمونه تست دیده نشده اند را نادیده می گیرد. این تکنیک، کارایی و دقت کلاسه بندی هایی مثل کلاسه بندی بر پایه مجموع الگوهای نوظهور CAEP و کلاسه بندی بر پایه الگوهای نوظهور جهشی JEP-classifier را بهبود می بخشد. اما، این روش منجر به تکرار محاسبات سنگین می شود بخصوص وقتی که نمونه های تست مشابه باشند.

• روش پیش بینی توسط مجموعه راست نمایی (PCL[14]) [5]

PCL پیش بینی را توسط مجموعه ای از درست نمایی ها[15] انجام می دهد. PCL از K بالاترین الگوهای نوظهور که در نمونه تست شامل می شوند، برای کلاسه بندی استفاده می کند. برای هر کلاس، PCL یک امتیاز با استفاده از اجتماع درست نمایی حاصل از K بالاترین الگوهای نوظهور که نمونه تست را پوشش می دهند، بدست می آورد. PCL برای مجموعه داده ها با ابعاد بالا مناسب است بخصوص برای داده های بیان ژن.

[1] Classification by aggregating emerging patterns

[2] Score

[3] Unbalanced

[4] Base score

[5] Information-based classification by aggregating emerging patterns

[6] Information theory

[7] Jumping emerging patterns (JEPs)

[8] The most expressive JEPs

[9] border

[10] Strong jumping emerging patterns classifier

[11] Decision making by emerging patterns

[12] Instance-based

[13] lazy

[14] Prediction by collective likelihood

[15] Likelihood

نوشته روش های کلاسه بندی مبتنی بر الگوهای نوظهور اولین بار در ايران متلب. پدیدار شد.

• روش مبتنی بر مرز[3]

روش های مبتنی بر مرز با الهام از الگوریتم Max-miner [14] پیشنهاد شده اند. این روش ها، مفهوم مرز[4] [1] را بکار می گیرد تا ساختار مناسبی را برای نمایش مختصری برای الگوهای کاندید ارائه دهند. در هر مرز، کوچکترین و بزرگترین عضو هر مجموعه کاندید قابل نمایش است. الگوریتم اختلاف مرز[5]، الگوهای نوظهور کمینه و بیشینه[6] را استخراج می کند و بدین ترتیب مرز الگوهای استخراجی را تنظیم می کند. الگوریتم های مبتنی بر مرز قادر نیستند که الگوهای نوظهور را بصورت همزمان از کلاس های مختلف استخراج کنند. این الگوریتم ها، برای هر کلاس طی فرآیند جداگانه ای الگوها را استخراج می کنند و لذا به ازای هر کلاس، جداگانه اجرا می شود.

• روش مبتنی بر محدودیت (ConsEPMiner[7]) [2]

الگوریتم مبتنی بر محدودیت در دو سطح اجرا می شود؛ تولید الگوهای کاندید و هرس الگوهای اکتشافی. الگوریتم ConsEPMiner از دو نوع محدودیت استفاده می کند تا بتواند بطور موثری فضای جستجو الگوهای نوظهور را هرس کند و محاسبات را ذخیره نماید. محدودیت های ذاتی[8] و خارجی[9] عنوان محدودیت هایی است که در فرآیند استخراج اعمال می شود. محدودیت های خارجی شامل محدودیت حداقل آستانه فراوانی نسبی، نرخ رشد و پیشرفت نرخ رشد[10] است که توسط کاربر قابل تنظیم است. محدودیت ذاتی شامل مجوعه یکسانی از فراوانی نسبی[11]، نرخ رشد بالا[12] و مبدا یکسان[13] است.

• الگوریتم استخراج درخت الگوی تقابل[14] (CP-Tree) [17، 25]

الگوریتم استخراج الگوهای متمایز، با الهام از FP-tree، ساختار گسترش یافته ای ساختار درختی پیشوندی ارائه می دهد. این ساختار به خلاف الگوریتم درخت الگوی مکرر، نیازی به پیوند بین نودها ندارد. الگوریتم توسط جستجوی اول عمقی[15]، CP-tree را از ریشه پیمایش می کند تا الگوهای نوظهور جهشی قوی[16] را استخراج کند. الگوی نوظهور جهشی قوی، یک نوع خاص از الگوهای نوظهور جهشی[17] است که بایستی دارای حداقل فراونی نسبی باشد. این نوع درخت، کارایی استخراج الگوهای نوظهور را با استفاده از الگوهای نوظهور جهشی قوی بهبود می بخشد و همچنین قادر است که مجموعه داده های چند کلاسه را مدیریت نماید.

• روش استخراج با کمک دیاگرام دودیی صفر[18] ZBDD Miner [18]

از آنجایی اینکه روش های ذکر شده، قادر نیستند که داده ها با ابعاد بیشتر از شصت را مدیریت کنند، بعداً، ZBDD EP-Miner شد. این روش از Zero-Suppressed Binary Decision Diagrams (ZBDDs) استفاده می کند تا الگوهای نوظهور را از داده ها با ابعاد بالا استخراج کند. با این وجود، ZBDD EP-miner هنوز شمار زیادی از الگوهای نوظهور را استخراج می کند حتی با اعمال محدودیت های آلفا و بتا [18].

این محدودیت ها استفاده می شوند تا فضای جستجوی الگوهای نوظهور را بیشتر هرس کند. محدودیت آلفا بر اساس مفهوم a-priori است. در نمونه های مثبت[19]، هر آیتم که فراوانی نسبی اش[20] کمتر از مقدار آلفا باشد، هم از نمونه های مثبت و هم از نمونه های منفی حذف می شود. محدودیت بتا بیشترین مقدار فراوانی[21] برای یک الگوریتم در نمونه های منفی مشخص می کند؛ اگر فراوانی الگوی کاندید بیشتر از بتا باشد، آن الگو از نمونه های آموزشی حذف می شود.

• روش استخراج الگوی نوظهور متمایز [22]DP Miner

بر اساس مفهوم مجموعه آیتم بسته[23]، یک کلاس هم ارزی[24] مجموعه ای از آیتم های مکرر[25] است که همیشه در نمونه های یکسانی از نمونه های آموزشی اتفاق می افتند. مشابه با مفهوم مرز در الگوریتم های مبتنی بر مرز، یک کلاس هم ارزی بوسیله الگوهای بسته[26] و تولیدکننده ها[27] تعیین می شود. الگوهای بسته، همان مجموعه آیتم های ماکزیمال هستند و تولیدکننده ها، همان مجموعه آیتم های کمینه در یک کلاس هم ارزی هستند که همه این آیتم ها دارای فراوانی یکسانی هستند. الگوریتم DPMiner، Discriminative Pattern Miner، الگوهای بسته و تولیدکننده ها را که برای نمایش یک کلاس هم ارزی کافی هستند، بصورت همزمان استخراج می کند. بعلاوه، قادر است که الگوهای با قدرت تمایز دلتا[28] را استخراج کند. الگوهای نوظهور با قدرت تمایز دلتا دارای حداکثر فراوانی در کلاس های مقابل است. با توجه به اینکه الگوریتم های ZBDD EP-miner و DPMiner، محدودیت های آلفا و بتا را بکار می گیرند تا فضای جستجوی الگوها را کاهش دهند؛ ممکن است بعضی از الگوهای نوظهور مفید در نظر گرفته نشوند و تاثیر نامطلوبی در کلاسه بندی داشته باشد.

[1] Emerging trends

[2] Time-stamped datasets

[3] Border based

[4] Border

[5] Border differentiation

[6] Maximal

[7] Constrain-based emerging pattern miner

[8] Inherent constraints

[9] External constraints

[10]  Growth rate improvement

[11] The same subset support

[12] Top growth rate

[13] The same origin

[14] Contrast pattern tree miner

[15] Depth first search

[16] Strong jumping emerging pattern

[17] Jumping  emerging pattern

[18] Zero suppressed binary decision diagram miner

[19] Positive instances

[20] Support

[21] Frequency

[22] Discriminative emerging pattern miner

[23] Itemset closure

[24] Equivalence class

[25] Frequent itemset

[26] Closed patterns

[27] Generators

[28] δ-discriminative

نوشته روش های استخراج الگوها اولین بار در ايران متلب. پدیدار شد.

• روش  Classification Based on Association (CBA) [27]

روش CBA در دو فاز اجرا می شود: تولید کننده قانون[2] و سازنده کلاسه بند[3]. تولید کننده قانون، الگوریتم Appriori را بکار می گیرد تا همه قوانینی با حداقل آستانه[4] فراوانی نسبی[5] و درجه اطمینان[6] را استخراج کند. برای کلاسه بندی کردن یک نمونه تست، سازنده کلاسه بند، قوانین را بر اساس مقادیر فراوانی نسبی و درجه اطمینانشان مرتب می کند. سپس، سازنده کلاس، اولین قانون را بعنوان بهترین قانون انتخاب می کند تا بر چسب کلاس را به نمونه تست اختصاص دهد. بدلیل اینکه CBA کلاسه بندی را بر اساس فقط یک قانون برای یک نمونه تست انجام می دهد، ممکن است باعث بروز مشکل بیش یادگیر[7] شود. 

• روش کلاسه بندی Classification based on Multiple-class Association Rule (CMAR) [28]

با توجه به اینکه CBA فقط بر اساس یک قانون با درجه اطمینان و فراوانی بالا کلاسه بندی را انجام می دهد، مشکل بیش یادگیری صورت می گیرد و لذا دقت کلاسه بند برای نمونه های تست کم خواهد شد. برای حل این مشکل، CMAR کلاسه بندی را بر اساس چندین قانون انجام می دهد. CMAR، درخت الگوی مکرر[8] را توسعه می دهد بطوری که بتواند الگوهای مکرر[9] را بصورت کارایی استخراج کند. CMAR چندین قانون را با استفاده از وزن دهی بر اساس χ برای کلاسه بندی بکار می گیرد.

• روش کلاسه بندیClassification based on Predictive Association Rule (CPAR) [29]

CPAR با الهام از الگوریتم FOIL [62] قوانین را تولید می کند. CPAR، مجموعه بسیار کوچکی از قوانین با قابلیت پیش بینی را با استفاده از الگوریتم حریصانه بطور مستقیم از مجموعه آموزشی استخراج می کند. برای جلوگیری از بیش یادگیری، CPAR بهترین k قانون را جهت کلاسه بندی کردن نمونه تست بکار می گیرد. CPAR در مقایسه با دیگر الگوریتم های استخراج قوانین دارای مزایایی بدین شرح است: 1) مجوعه خیلی کوچکتری از قوانین با کیفیت بالا بطور مستقیم از نمونه های آموزشی[10] استخراج می کند. 2) برای پرهیز از تولید قوانین تکراری، CPAR هر قانون را با توجه به مجموعه قوانینی که از قبل استخراج کرده است، تولید می کند. 3) برای کلاسه بندی، بهترین k قانون بکار گرفته می شود.

[1] Associative classifiers

[2] Rule generator

[3] Classifier builder

[4] Threshold

[5] Support

[6] Confidence

[7] Overfit

[8] Frequent pattern tree

[9] Frequent patterns

[10] Training instances

نوشته کلاسه بنده های مبتنی بر قانون اولین بار در ايران متلب. پدیدار شد.

برای برخورد با چالش های مطرح شده، بایستی فرآیند یادگیری قابلیت پاسخگویی به ویژگی های جریانی را داشته باشد. در واقع، روال یادگیری بایستی بصورت افزایشی با دریافت هر ویژگی قابل بروزرسانی شدن داشته باشد بدون اینکه به اولین مرحله یادگیری بازگردد. لذا در راستای استخراج الگوهای قوی بایستی در ابتدا ویژگی ها بررسی شوند و ویژگی هایی که بی ربط هستند را حذف کرد، سپس از روی ویژگی های مفید و قوی ، الگوها را استخراج کرد.

[1] Data Streams

[2] Statistical Relational Learning

[3] Feature interaction

[4] CPU time

[5] Irrelevant Features

نوشته مفهوم ویژگی های جریانی اولین بار در ايران متلب. پدیدار شد.

استخراج الگوهای نوظهور بدین صورت مطرح می شود: « پیدا کردن آیتم هایی که نرخ رشد[2]  آن (که بصورت نسبت احتمال آن آیتم بین کلاس های مختلف تعریف می شود) از مقدار آستانه ای بیشتر باشد.» این مقدار آستانه باید بگونه ای انتخاب شود که الگوهای استخراجی ، تفاوت و تمایز بین کلاس های مختلف را نشان دهند. این الگوها در واقع مجموعه ای از آیتم ها هستند که بیان کننده ترکیب عطفی  بین مقادیر ویژگی ها هستند [2].

نوعاً، تعداد الگوهای استخراجی بسیار زیاد است اما فقط شمار کمی از این الگوها برای تحلیل داده ها و کلاسه بندی مطلوب و مفید هستند. از آن جایی که مقدار زیادی از این الگوها بی ربط[3] و تکراری[4] هستند، دانش جدیدی را فراهم نمی کنند و لذا تاثیر نامطلوبی بر روی دقت  کلاسه بند دارند که موجب کاهش دقت پیش بینی[5] می شوند. برای افزایش کارایی[6]  و دقت، بایستی روالی را توسعه داد که الگوهای وابسته و غیر مفید حذف شوند تا شمار این الگوها کاهش یابد.

یک الگوی نوظهور با احتمال بالا در کلاس خودش و احتمال پایین در کلاس مقابلش می تواند برای تعیین یک نمونه تست بکار رود. قدرت این الگو توسط معیارهایی مثل فراوانی نسبی[7] و نرخ رشد ( نسبت احتمال الگو در یک کلاس نسبت به دیگر کلاس ها) آن بیان می شود.

در بسیاری از زمینه های کاربردی مانند کشف دانش از داده های ژنی[8] ، پردازش تصویر[9]، کشف نفوذ[10] ، کشف برون هشته[11]، کشف کلاهبرداری[12] ، داده های نامتوازن[13] ، جریان داده ها[14] ، بیوانفورماتیک[15] ، سیستم های پیشنهاد دهنده[16] ، نیاز است که تغییر ناگهانی در داده ها تشخیص داده شود. الگوهای نوظهور تغییرات ناگهانی و تفاوت های قابل توجه را از داده ها استخراج می کنند. الگوهای نوظهور، در زمینه پردازش تصویر برای قطعه بندی  بدین گونه عمل می کند که سعی می کند در پیکسل هایی که تغییر ناگهانی شدت[17] بوجود می آید را بعنوان یک قطعه جدید معرفی کند. در زمینه کشف نفوذ و کلاهبرداری، رفتار داده ها پیگیری می شود، زمانی که رفتار داده ها بصورت ناگهانی تغییر کند، بعنوان نفوذ تشخیص داده می شود. در سیستم های پیشنهاد دهنده، سیستم به دنبال رفتارهای خاص و مختص هر کاربر است تا با کشف ویژگی های خاص هر کاربر، به او محصولات مطابق با علایق و استعدادهای او را پیشنهاد دهد. لذا الگوهای نوظهور در این راستا نقش بسزایی دارند.

[1] Frequency

[2] Growth rate

[3] Irrelevant patterns

[4] Redundant patterns

[5] Predictive accuracy

[6] Performance

[7] Support

[8] Gene expression data

[9] Image processing

[10] Intrusion detection

[11] Outlier detection

[12] Fraud detection

[13] Imbalanced datasets

[14] Data streams

[15] BioInformatics

[16] Recommender systems

[17] Intensity

نوشته مفهوم الگوهای نوظهور اولین بار در ايران متلب. پدیدار شد.

کلاسه بندی بر پایه الگوها[24]، یک متدلوژی جدید محسوب می شود. کشف الگوهایی که نشاندهنده تمایز بین کلاس های مختلف هستند، یکی از موضوعات مهم در داده کاوی محسوب می شود. در این تحقیق، ما کلاسه بندی را بر اساس الگوهایی به نام الگوهای نوظهور[25] (Emerging Patterns) که تمایز بین کلاس ها را بصورت بارزی نشان می دهند، از مجموعه داده ها[26] استخراج می کنیم و سپس، بر اساس آنها، کلاسه بندی را انجام می دهیم.

[1] Classification

[2] Data mining

[3] Machine learning

[4] Neural networks

[5] Pattern recognition

[6] Training instances

[7] Features

[8] Nominal

[9] Numerical

[10] Classifier

[11] Model

[12] Class label

[13] Unknown

[14] Supervised learning

[15] Unsupervised learning

[16] Clustering

[17] Scientific experiments

[18] Medical diagnosis

[19] Weather prediction

[20] Credit approval

[21] Customer segmentation

[22] Target marketing

[23] Fraud detection

[24] Patterns

[25] Emerging patterns

[26] Datasets

نوشته کلاسه بندی اولین بار در ايران متلب. پدیدار شد.

توانایی یادگیری منحصر به سیستم‌های زنده نیست بلکه در مدل‌های شبکه عصبی نیز قابل دسترس است. گرچه مفهوم یادگیری ماشین‌ برخلاف باورهای معمول ما از کامپیوترها است، زیرا اغلب فرض می‌شود که کامپیوترها تنها قادر به اعمالی هستند که برایشان برنامه ریزی شده است و خود توانایی تطبیق با محیط را ندارند. هرچند در سطح جزئی برنامه‌ها ماشین را کنترل می کنند، ولی رفتاری که نتیجه می‌شود لزوماً نباید آن چنان که تصور می‌شود غیرقابل انعطاف و جبری باشد (راسل، 1998).

اولین کار مرتبط با AI توسط وارن مک کولوچ و والتر پیتز (1943) انجام شد. آنها از سه منبع دانش فیزیولوژیک پایه و عملکرد نرون، تحلیل رسمی منطق گزاره‌ها متعلق به راسل و وایت هد و نظریه محاسباتی تورینگ استفاده کردند. آنها مدلی از نرون مصنوعی را پیشنهاد کردند که هر نرون دارای دو ویژگی روشن یا خاموش بود. ویژگی روشن در پاسخ به تحریک تعداد کافی از نرون‌های همسایه حاصل می‌شد. وضعیت نرون مثل یک گزاره بود که محرک کافی برایش منظور شده است. برای مثال، آنها نشان دادند که هر تابع قابل محاسبه، از طریق شبکه‌ای از نرون‌های متصل محاسبه نمی‌شود و تمام متصل کننده‌های منطقی (مثل not ،or،and) را می‌توان با ساختارهای شبکه ساده‌ای پیاده‌سازی کرد. مک کلود و پیترز نشان دادند که اگر شبکه‌ها به خوبی تعریف شده باشند، قدرت یادگیری دارند. دونالد هبا (1949) یک قاعده به‌هنگام سازی ساده را برای اصلاح تقویت اتصالات بین نرون‌ها تعریف کرد. قاعده او به نام یادگیری هبایی امروزه به عنوان یک مدل مورد استفاده قرار می‌گیرد (استوارت، 1995).

مغز و کامپیوتر کارهای متفاوتی انجام می‌دهند و خواص مختلفی دارند. تعداد نرون‌های موجود در مغز، 1000 برابر گیت‌هایی است که در CPU کامپیوتر وجود دارد. قانون مور پيش‌بيني کرد که گیت CPU در سال 2002 برابر با نرون‌های مغز می‌شود. علاوه بر این، میزان حافظه و سرعت سوئیچینگ و ظرفیت توازی کامپیوتر در مقایسه با مغز بیشتر است. تراشه‌های کامپیوتر می‌توانند دستوری را در یک نانو ثانیه اجرا کنند، اما نرون‌ها میلیون ها بار کندتر هستند. چون نرون‌ها و سیناپس همزمان فعال هستند، ولی کامپیوترها CPUهای اندکی دارند، سرعت مغز فوق العاده است. لذا، گرچه سرعت سوئیچینگ مغزی نسبت به کامپیوتر کم‌تر است، ولی سرعت مغز 100000 بار سریع تر از کامپیوتر است (استوارت، 1995).

شکل 2-1: بخشی از سلول عصبی یا نرون

اغلب کارهایی که در دهه 1980 بر روی شبکه‌های عصبی انجام شد، این بود که چه اعمالی می‌توان انجام داد و یاد گرفت که تفاوت شبکه‌های عصبی و تکنیک‌های سنتی چیست. با استفاده از روشهای بهبود یافته و چارچوب‌های نظری می‌توان به این نتیجه رسید که شبکه‌های عصبی اکنون می‌توانند با تکنیک‌های متناظر در آمار، شناخت الگو و یادگیری ماشین مقایسه شوند و اغلب تکنیک‌های متناظر می‌توانند به هر کاربردی اعمال شوند (استوارت، 1995).

2-3-2- پرسپترون چند لایه‌ای

پرسپترون‌ها گسترده‌ترین و شناخته شده ترین بخش شبکه‌های عصبی هستند. اولین بار این اصطلاح به وسیله فرانک روزنبلات (1958) برای توضیح انواع شبکه‌های عصبی بکار رفت. او عقیده داشت که بجای یک مدل فیزیکی از نرون‌ها مانند آدالاین، یک تعریف عملکردی از چگونگی کارکرد تک نرون و چگونگی بکارگیری آن به صورت یک الگوریتم در نرم‌افزار مد نظر قرار گیرد. شکل2-2 نمونه‌ای از پرسپترون چند لایه‌ای را نشان می‌دهد. سه لایه آن به شرح ذیل است:

شکل 2-2: پرسپترون سه لایه‌ای تک خروجی

لایه ورودی: ورودی‌ها با دنیای خارج در ارتباط هستند. این لایه عامل ارتباط با بیرون است و نیز سه ورودی به راحتی با لایه بعدی در شبکه مرتبط می‌شوند. در این لایه هیچ گونه عمل پردازشی صورت نمی‌گیرد.

لایه پنهان: این لایه را پنهان می‌نامند، زیرا ورودی‌ها و خروجی‌های این دو نرون پنهان، از بیرون دیده نمی‌شوند. اولین لایه‌ای که در آن پردازش صورت می‌گیرد، همین لایه است. در یک شبکه چهار لایه‌ای ممکن است دو لایه پنهان وجود داشته باشد.

لایه خروجی: خروجی‌ها با جهان خارج مرتبط هستند. این لایه شامل سه عامل پردازشی است.

نکته بعدی کامل بودن ارتباط است. بدین معنی که خروجی تمامی نرون‌ها در لایه بعد متصل هستند.

شروع عملیات از ورودی هر لایه و خاتمه در خروجی لایه‌ها است. البته همه پرسپترون‌های چند لایه‌ای این گونه به هم متصل نمی‌شوند، اما معمول‌ترین نوع آنها این گونه هستند. x بیانگر مقداری است که به پرسپترون وارد و یا از پرسپترون خارج می‌شود. هر لایه شامل تعدادی ورودی است که از شماره 1 شروع می‌شوند. ورودی‌های شبکه   x0(1),x0(2),…..,x0(n)خواهند بود. خــروجی‌های اولیـن لایــه کــه ورودی‌های لایــه دوم هستنـد بـه قــرار زیـر مطـرح می‌شونــد: x1(1),x1(2),…..,x1(i) بنابراین x1(i) خروجی از i امین نرون در i امین لایه است.  در لایه‌های میانی  wیا وزن‌ها را داریم.

برای پرسپترون چند لایه‌ای می‌توان از تابع سیگموئید (شکل 2-3) استفاده کرد که معادله آن به صورت ذیل است.

شکل 2-3: تابع سیگموئید

y= 1/(1+e^-x)

برای مقادیر مثبت x، اگر x افزایش یابد  yبرابر 1 خواهد بود و اگر مقادیر x منفی باشد، هر چه که x بزرگتر می‌شود، y به صفر نزدیکتر می‌شود. چنانچه x=0  باشد، آنگاه y=0.5 خواهد شد. پس پاسخ همواره بین صفر و یک خواهد بود (پیکتون، 2000)

شبکه‌های عصبی از دو ویژگی اساسی یادگیری یا نگاشت پذیری براساس ارائه داده‌های تجربی (قدرت و توانایی تعمیم پذیری) و ساختار پذیری موازی برخوردار می‌باشند این شبکه‌ها برای مسائل کنترل، به‌خصوص سیستم‌های پیچیده‌ای که مدل‌سازی این سیستم‌ها میسر نیست یا به سختی انجام می‌شود، بسیار مناسب می‌باشند. یک شبکه عصبی ساده خطی آموزش می‌بیند آن‌گونه که یک پاندول معکوس را کنترل نماید (پایدار سازد). طی سال‌های 1970 تا 1980 شبکه‌های عصبی به نام CMAC) ) Cerebellar Model Articulation Controller توسط آلبوس برای کنترل بلادرنگ بازوهای ربات معرفی و مورد استفاده قرار گرفت. طی سال‌های 1980 تا 1990، بسیاری دیگر از شبکه‌های عصبی استاتیک، دینامیک و معماری IC آنها پیشنهاد و پیاده‌سازی شدند. شبکه‌های MLP با کاربردهای بسیار وسیع در مسائل فنی و مهندسی ارائه شدند (منهاج، 1388).

نوشته شبکه عصبی مصنوعی اولین بار در ايران متلب. پدیدار شد.

خانواده: كيجار ماهيان
نام فارسي: حسون معمولي
مشخصات:
– بدن كشيده و لوله‌اي شكل.
– چندين رديف دندان در هر دو فك كه حتي هنگام بسته بودن دهان قابل رويت هستند.
– يك تكه كوچك از دندانها روي استخوان تيغه مياني بيني.
– درازترين شعاع باله پشتي 4 برابر آخرين شعاع آن.
– شعاع هاي باله پشتي 12 عدد، طول شعاع هاي باله شكمي تقريبا” و با هم برابر است.
– پشت و پهلوها قهوه‌اي؛ شكم كم رنگتر يا نقره‌اي؛ بخش‌هاي حاشيه‌اي باله‌هاي پشتي، سينه‌اي و مخصوصا” باله دمي تيره رنگ.
– بيشينه درازاي بدن: بیش از 40 سانتي‌متر است.
– حسون (Saurida tumbil) از خانواده كيجار ماهيان با نام فارسي حسون معمـولي، کیجار یا کریشو می‌باشد که طول کلی آن به 40 سانتی‌متر رسیده و در حال حاضر یک گونه با ارزش تجاری در سرتاسر آبهای خلیج‌فارس و دریای عمان محسوب می گردد.

2-2-2- حلوا سفيد (Euphrasen, 1788) Pampus argenteus

خانواده: حلوا سفيد ماهيان
نام فارسي: حلوا سفيد
مشخصات:
– بدن خيلي مرتفع.
– دهان كوچك و تقريباً انتهايي.
– آرواره بالايي غير متحرك، با پوست پوشيده شده و با گونه بهم پيوسته‌اند.
– طول باله‌هاي پشتي و مخرجي تقريبا” برابر بوده و از نقطه مياني بدن و پشت قاعده باله سينه‌اي منشا مي‌گيرند.
– دارای فلس بسيار كوچك و گرد بوده که به آساني جدا مي‌شوند.
– رنگ طرفين بدن سفيد نقره‌اي و پشت آبي تا خاكستري؛ باله‌ها متمايل به زرد با لبه‌هاي تيره. جوانترها نقره‌اي فام.
– بيشينه درازاي بدن: 60 سانتي‌متر.

2-2-3- حلوا سياه (Bloch, 1795) Parastromateus niger

خانواده: گيش ماهيان
نام فارسي: حلوا سياه
مشخصات:
– بدن عميق و فشرده؛ نیمرخ پشتي و شكمي به‌طور مساوي محدب.
– باله پشتي داراي 4 يا 5 خار كوتاه (كه در بالغين در پوست فرو رفته و نامشخص مي‌باشند) سپس با 1 خار و 41 تا 44 شعاع نرم ادامه مي‌يابد.
– نمونه‌هاي بزرگتر از 10 سانتي‌متر (طول چنگالي) فاقد باله شكمي مي‌باشند.
– بخش مستقيم خط جانبي داراي 8 تا 19 فلس ضعيف كه روي ساقه دمي تشكيل يك تيغه را مي‌دهند.
– رنگ بدن در زمان حيات، بالغين یكدست خاكستري ـ نقره‌اي تا قهوه‌اي متمايل به آبي؛ باله‌ها داراي لبه‌هاي سياه، جوان‌ها داراي باله‌هاي شكمي زير گلوئي سياه رنگ و خطوط تيره عمودي در طرفين بدن.
– بيشينه درازي بدن: 55 سانتي‌متر.

2-2-4- سپر ماهيان (Rays)

مشخصات:
– لبه سوراخهاي اسپيراكل (روزن دمه) داراي شاخك‌ها يا برجستگي‌هاي كوتاهي است.
– ارتفاع باله دمي خيلي كوتاه تر از فاصله بين مبدا بالايي باله دمي تا مبدا باله اول پشتي است.
– رنگ سطح پشتي بدن قرمز روشن يا قهوه‌اي، با طرح شبكه‌اي كم‌رنگ.
– بيشينه عرض صفحه بدن: 80 سانتي‌متر؛ درازاي كلي ماهي: 130 سانتي‌متر.

2-2-5- سنگسر معمولي(Cuvier, 1830) Pomadasys kaakan

خانواده: سنگسر ماهيان
نام فارسي: سنگسر معمولي
مشخصات:
– بدن مستطيلي و فشرده.
– درازاي استاندارد 5/2 تا 8/2 برابر ارتفاع بدن.
– زير چانه دارای 2 سوراخ ريز و يك حفره مياني.
– دندانهاي فكي كوچك، نوك دار، در نوارهاي باريك، دندانهاي رديف‌هاي بيروني دراز شده.
– باله پشتي داراي 12 خار و 13 يا 15 شعاع نرم.
– باله مخرجي دارای 3 خار و 7 يا 8 شعاع نرم.
– رنگ بدن خاكستري ـ نقره‌اي، در طرفين بدن ماهي‌هاي جوان 7 تا 11 نوار عرضی ديده مي‌شود كه در نمونــه‌هاي بالغ به لكـه‌هاي زوج تيره از هم گسيختـه تبديل شده كه با افزايش سن كاملاً محو می‌شوند.
– بيشينه درازاي بدن: 80 سانتي‌متر.

2-2-6- شوريده(Schneider, 1801) Otolithes ruber

خانواده: شوريده ماهيان
نام فارسي: شوريده
مشخصات:
– گونه‌اي قلمي است.
– 1 يا 2 جفت دندان نيش قوي در جلوي آرواره بالا.
– 1 جفت دندان نيش در جلوي آرواره پايين.
– خارهاي آبششي روي بخش پاييني كمان اول 8 تا 11 عدد.
– باله پشتي دوم داراي يك خار و 27 تا 30 شعاع نرم.
– رنگ بدن در پشت متمايل به قهوه‌اي؛ شكم و پهلوها نقره‌اي با جلاي طلايي؛ اغلب با نوارهاي اريب تيره در بخش پشتي بدن.
– بيشينه درازاي بدن: 70 سانتي‌متر.
2-2-7- كوسه ماهيان Valenciennes, 1839)) Sharks

مشخصات:
– گونه ای با اندازه كوچك تا متوسط.
– پوزه نسبتا” نوك‌دار، سهمي شكل و دراز.
– دندانهاي بالايي داراي نوكهاي مضرس، باريك، مايل يا نيمه مايل و نوكچه‌هاي قوي.
– باله پشتي دوم كوتاه.
– يك برجستگي پوستي بين قاعده باله‌هاي پشتي موجود است.
– رنگ بدن در بالا خاكستري يا خاكستري ـ قهوه‌اي، شكم سفيد؛ نوك باله سينه‌اي، دومين باله پشتي و نوك بخش پاييني باله دمي سياه رنگ.
– بيشينه درازاي بدن: 160 سانتي‌متر.

2-2-8- گربه ماهي بزرگ (Ruppel, 1837) Arius thalassinus

خانواده: گربه ماهيان دريايي
نام فارسي: گربه ماهي بزرگ
مشخصات:
– بدن كشيده.
– شكل پوزه؛ در نرها نوك تيز و آرواره پايين كوتاه تر از آرواره بالا؛ در ماده‌ها گرد، ‌آرواره‌هاي بالا و پايين تقريباً مساوي.
– دندانهاي كامي پرز مانند و بر روي سه قطعه كه مجموعاً يك سه گوش را در هر طرف تشكيل مي‌دهند مجتمع هستند، قطعه عقبي درازتر.
– يك خار قوي در ابتداي باله‌هاي سينه‌اي و اولين باله پشتي.
– تعداد كل شعاع‌هاي باله مخرجي 15 تا 18 عدد.
– رنگ بدن در نرها در قسمت پشت قهوه‌اي (قرمز) تيره تا خاكستري متمايل به آبي كه در قسمت شكمي شامل رنگدانه‌هاي متراكم است؛ ماده‌ها به‌طور يكدست خاكستري يا تيره هستند.
– بيشينه درازي بدن: 185 سانتي‌متر.

2-2-9- گوازيم دم رشته‌اي (Bloch, 1791) Nemipterus japonicus

خانواده: گوازیم ماهيان
نام فارسي: گوازيم دم رشته‌اي
مشخصات:
– بدن به‌طور متوسط مرتفع.
– – باله پشتي داراي 10 خار و 9 شعاع نرم، بين بخش‌هاي خاردار و نرم (اشعه‌اي) باله پشتي فرو رفتگي وجود ندارد.
– لبه بالايي باله دمي طويل شده و به صورت يك رشته درآمده است.
– يك لكه زين مانند متمايل به قهوه‌اي روي سر؛ يك خال نارنجي ـ قرمز روشن نزديك مبدا خط جانبي؛ باله پشتي در حاشيه زرد رنگ بوده و در طول قاعده داراي يك نوار زرد رنگ پهن مي‌باشد.
– بيشينه درازاي بدن: 30 سانتي‌متر.

2-2-10- يال اسبي سربزرگ (Linnaeus, 1758) Trichiurus lepturus

خانواده: يال اسبي ماهيان
نام فارسي: يال اسبي سر بزرگ
مشخصات:
– بدن نوار مانند و فاقد فلس.
– چشم بزرگ بوده و قطر آن 5 تا 7 بار در طول سر مي‌گنجد.
– باله‌هاي شكمي و دمي موجود نيستند.
– اولين خار مخرجي كوچك و كوتاه‌تر از قطر مردمك مي‌باشد.
– حاشيه پايين ـ عقب پوشش آبشش‌ها مقعر است.
– نمونه‌هاي تازه، آبي استيل با انعكاس نقره‌اي؛ مدتي پس از مرگ، خاكستري مايل به نقره‌اي مي‌شوند.
– بيشينه درازاي بدن: 120 سانتي‌متر

نوشته معرفی ده گونه ماهیان کفزی اولین بار در ايران متلب. پدیدار شد.

شبكه هاي عصبي، الگوريتمهاي غيرخطي محاسباتي براي پردازش تصوير، سيگنال و داده هاي عددي هستند. در طول چند دهة گذشته، از شبكه هاي عصبي مصنوعي به طور  گسترده اي در زمينه هاي مختلف استفاده شده است]70[.

چندين مشخصة شبكه هاي عصبي مانند ديناميك دروني شبكه هاي عصبي در پیش بيني، تغييرات خطاي اطلاعات وعدم نياز به اطلاعات اضافي بر داده هاي ورودي، استفاده از شبكة عصبي را در بسياري از مسائل مهندسي جذاب مي كند.  يكي از ساختارهاي شبكة عصبي، ساختار پرسپترون چند لايه است. مي توان يك پرسپترون چند لايه را به وسيلة توابع غير خطي به گونه اي آموزش داد كه بتواند هر تابع قابل اندازه گيري را تقريب زده و پيش بيني كند.  اين فرآيند در حالي صورت مي گيرد كه شبكه اطلاعاتي دربارة توزيع ورودي ها نياز ندارد]71[.

 شبكه هاي عصبي با استفاده از مجموعه داده هاي واقعي ورودي و خروجي، الگوريتم هاي آموزشي را به كار ميگيرند تا ارتباطات پنهاني ميان داده هاي ورودي و خروجي را از طريق ضرايب وزني، باياس ها و توابع اعمالي به خروجی هاي هر لايه، شكل بدهند.

انواع بسیاری از شبکه های عصبی وجود دارند(بعنوان مثال شبکه های هضم غذا[1]،شبکه های براساس شعاع[2]،شبکه های بازگشتی[3] ( که ممکن است برنامه های کاربردی مثل شناسایی الگو ،تابع های درون یابی[4] برای آنها وجود داشته باشد. شبکه های پرسپترون[5] چند لایه با یک لایه پنهان ویک تابع فعالساز غیرخطی در کلاس جهانی نشان داده میشود، بدین منظور از  پرسپترون چندلایه(MLP)[6]با ، پس انتشار(BP)[7] برای یادگیری و کلاس بندی علایم استفاده شده است]16[.

1 feed-forward networks

2 radial-basis networks

3 recursive networks

4 function interpolation

5 perceptron networks

6 multilayer perceptron

7 back propagation

نوشته شبکه های عصبی اولین بار در ايران متلب. پدیدار شد.

نوشته کاربرد ارتباط مغز و کامپیوتر BCI اولین بار در ايران متلب. پدیدار شد.

OSVDBيکیاز پايگاه داده عمومی معروف، مستقل و منبع باز در زمينه آسيب پذيری­ها است. در وب­سايت مربوط به اين پايگاه داده هدف OSVDBرا اينگونه بيان می­کند:” هدف پروژه فراهم کردن اطلاعات تکنيکی دقيق، همراه با جزئيات و بدون تعصب درباره آسيب پذيری­های امنيتی است.” در OSVDBتا پايان سال 2010 ميلادی بيش از 70 هزار گزارش آسيب پذيری ثبت شده است(44). تصوير 3-1 شمای پايگاه داده OSVDBرا نشان می­دهد. همانطور که در اين تصوير مشخص است اين پايگاه داده دارای 15 جدول است و اطلاعات بسياری همانند توصيف آسيب پذيری­ها، راه حل­های ارائه شده برای آن­ها، مشخصات محصول آسيب پذير و… در اين جدول­ها ثبت می­شود (44).

[1]Common Vulnerabilities and Exposures

[2]Open Source Vulnerability Database

[3] Mozilla Foundation Security Advisories

CVEدر واقع يک استاندارد نام گذاری برای آسيب پذيری­ها است و تا پايان سال 2010 ميلادی بيش از 45 هزار گزارش آسيب پذيری در آن ثبت شده است. برخلاف OSVDBکه اطلاعات متنوعی را درباره آسيب پذيری­ها ثبت می­کند، CVEبيشتر بر توصيف آسيب پذيری­ها و معرفی مراجع آن­ها تمرکز دارد (45).

نوشته پايگاه داده OSVDB اولین بار در ايران متلب. پدیدار شد.

CERT/CCيک عدد بين 0 تا 180 را به آسيب پذيری­ها نسبت می­دهد که نشان دهنده شدت آسيب پذيری است (سايت). فاکتور­هايي که برای اين نمره دهی در نظر گرفته می­شوند عبارتند از: آيا اطلاعات آسيب پذيری به شکل گسترده در دسترس هستند؟ آيا از آسيب پذيری بهره کشی شده است؟ آيا زير ساخت­های اينترنتي در خطر است؟ چه تعداد سيستم در اينترنت در معرض خطر اين آسيب پذيری هستند؟ بهره کشی از آسيب پذيری چه اثری دارد؟ بهره کشی از آسيب پذيری تا چه اندازه آسان است؟ چه نوع پيش شرط­هايي برای بهره کشی لازم است؟ با توجه به اين نکته که پاسخ اين سوالات تقريبی هستند و از فردی تا فرد ديگر متفاوت است، کاربران نمی­توانند با اطمينان کامل به اين متريک اعتماد کنند (20).

موسسه SANSيک شرکت خصوصی آمريکايي است که در زمينه امنيت اينترنت فعاليت می­کند. معيار تحليل آسيب پذيری SANS، اين نکته که آيا ضعفی در پيکر بندی پيش فرض يا سيستم مشتری و سرور وجود دارد، را برای رده بندی آسيب پذيری­ها در نظر می­گيرد (21).

 سيستم نمره دهی رده بندی مايکروسافت در تلاش است تا سختی بهره کشی و اثر کلی آسيب پذيری­ها را با يک متريک کيفی، منعکس کند. اين معيار آسيب پذيری­ها را در 4 دسته، بحرانی[2]، مهم[3]، متوسط[4]، خفيف[5] رده بندی می­کند (22).

CVSSمعروفترين سيستم ارزيابی آسيب پذيری­ها است و در ميان کاربران و سازمان­های مختلف به عنوان يک متريک استاندارد پذيرفته شده است (23). پذيرفته شدن CVSSبه عنوان يک استاندارد، انجام تحقيقات بسياری درباره اين روش را به همراه داشته است. با توجه به اهميت CVSSاين روش با جزئيات بيشتری بررسی می­شود.

[1] Common Vulnerability Scoring  System (CVSS)

[2] Critical

[3] Important

[4] Moderate

[5] Low

سيستم نمره دهی آسيب پذيری متعارف

CVSSاز سه گروه معيار پايه، زمانی و محيطی تشکيل شده است (24)، که هريک از آن­ها شامل مجموعه­ای از متريک­ها هستند که در تصوير 2-3 نشان داده شده است.

تصوير 2- 3: متريک­های CVSS (برگرفته از 24)

معيارپايه: مشخصات ذاتی و اوليه آسيب پذيری را که در گذر زمان و محيط­های کاربری ثابت هستند را نشان می­دهد.معيارزمانی: مشخصات آسيب پذيری را که در گذر زمان تغير می­کنند ولی در محيط­های کاربری ثابت هستند را نشان می­دهد. معيارمحيطی: مشخصات آسيب پذيری را که وابسته و منحصر به محيط­های کاربری خاص هستند را نشان می­دهد (25).

مقدار به دست آمده برای معيار پايه يک مقدار عددی بين 0 تا 10 می­باشد و برای به دست آوردن اين مقدار نياز به ساختن برداری از متريک­ها است که در تصوير 2-4 مشخص است. مقادير معيارهای زمانی و محيطی نيز عددی بين 0 تا 10 می­باشد و همان­طور که در شکل مشخص است اين سه معيار به صورت آبشاری به مقادير و بردارهای يکديگر وابسته هستند.

تصوير 2- 4: وابستگی متريک­های CVSS (برگرفته از 24)

تصاوير 2-5، 2-6 و 2-7 به ترتيب معادلات سه معيار پايه، زمانی و محيطی را نشان می­دهند.

BaseScore = round_to_1_decimal(((0.6*Impact)+(0.4*Exploitability)–1.5)*f(Impact))   Impact = 10.41*(1-(1-ConfImpact)*(1-IntegImpact)*(1-AvailImpact))   Exploitability = 20* AccessVector*AccessComplexity*Authentication   f(impact)= 0 if Impact=0, 1.176 otherwise   AccessVector       = case AccessVector of requires local access: 0.395 adjacent network accessible: 0.646 network accessible: 1.0   AccessComplexity   = case AccessComplexity of high: 0.35 medium: 0.61 low: 0.71   Authentication     = case Authentication of requires multiple instances of authentication: 0.45 requires single instance of authentication: 0.56 requires no authentication: 0.704   ConfImpact         = case ConfidentialityImpact of none: 0.0 partial: 0.275 complete: 0.660   IntegImpact        = case IntegrityImpact of none: 0.0 partial: 0.275 complete: 0.660   AvailImpact        = case AvailabilityImpact of none: 0.0 partial: 0.275 complete: 0.660

تصوير 2- 5: فرمول معيار پايه در CVSS

TemporalScore = round_to_1_decimal(BaseScore*Exploitability *RemediationLevel*ReportConfidence)   Exploitability     = case Exploitability of unproven: 0.85 proof-of-concept: 0.9 functional: 0.95 high: 1.00 not defined: 1.00   RemediationLevel   = case RemediationLevel of official-fix: 0.87 temporary-fix: 0.90 workaround: 0.95 unavailable: 1.00 not defined: 1.00   ReportConfidence   = case ReportConfidence of unconfirmed: 0.90 uncorroborated: 0.95 confirmed: 1.00 not defined: 1.00

تصوير 2- 6: فرمول معيار زمانی در CVSS

EnvironmentalScore = round_to_1_decimal((AdjustedTemporal+(10-AdjustedTemporal) *CollateralDamagePotential)*TargetDistribution)   AdjustedTemporal   = TemporalScore recomputed with the BaseScore’s Impact subequation replaced with the AdjustedImpact equation   AdjustedImpact = min(10,10.41*(1-(1-ConfImpact*ConfReq)*(1-IntegImpact*IntegReq) *(1-AvailImpact*AvailReq)))   CollateralDamagePotential = case CollateralDamagePotential of none: 0 low: 0.1 low-medium: 0.3 medium-high: 0.4 high: 0.5 not defined: 0   TargetDistribution        = case TargetDistribution of none: 0 low: 0.25 medium: 0.75 high: 1.00 not defined: 1.00   ConfReq                   = case ConfReq of low: 0.5 medium: 1.0 high: 1.51 not defined: 1.0   IntegReq                  = case IntegReq of low: 0.5 medium: 1.0 high: 1.51 not defined: 1.0   AvailReq                  = case AvailReq of low: 0.5 medium: 1.0 high: 1.51 not defined: 1.0

تصوير 2- 7: فرمول معيار محيطی در CVSS

همانطور که پيش از اين ذکر شد CVSSتقريباً به عنوان متريک استاندارد برای رده بندی آسيب پذيری­ها پذيرفته شده است و تاکنون تحقيقات زيادی جهت ارزيابی و بهبود اين روش انجام شده است که از ميان آن­ها می­توان به (26)، (27) و (28) اشاره کرد. يکی ديگر از تحقيقات جالب در اين زمينه (29) می­باشد. در اين مقاله يک روش برای ارزيابی ريسک نرم افزار ارائه شده است که از يک مدل تصادفی برای چرخه آسيب پذيری همراه با متريک­های اثر CVSSاستفاده می­کند. مدل تصادفی برای محاسبه احتمال وجود فرآيند در يک حالت خاص و متريک­های CVSSبرای تخمين اثر بهره کشی استفاده شده است.

در اين مقاله ريسک، با استفاده از متريک­های اثر CVSSتعريف شده است و در حالت iو زمان tبرابر است با :

Risk_i (t) = (α )₃ * exploitation_impact_i

که در آن P_i(t)احتمال اينکه يک سيستم در حالت iدر زمان tباشد را نشان می­دهد و exploitation_impact_iبرابر است با

exploitation_impact_i  = f_c (I_C R_C, I_I R_I, I_A R_A)

که در exploitation_impact، I_Cاثر قابليت اعتماد[1]، I_Iاثر يکپارچگی[2]، I_Aاثر دسترسی پذيری[3]، R_Cنياز قابليت اعتماد، R_Iنياز يکپارچگی، و R_Aنياز دسترسی پذيری در CVSSهستند.

تصوير 2-8 يک مدل ساده شده­ای از چرخه آسيب پذيری­ها، که در تحقيق (29) از آن استفاده شده است، را نشان می­دهد و تصوير 2-9 نتايج حاصل از اين تحقيق را به طور خلاصه نشان می­دهد.

تصوير 2- 8: مدل ساده شده­ای از چرخه آسيب پذيری­ها (برگرفته از 29)

تصوير 2- 9: احتمالات محاسبه شده؛ P0، P1، P2و P3برای تصوير 2-8 (محور افق زمان tرا نشان می­دهد) (برگرفته از 29)

[1] Confidentiality Impact

[2] Integrity Impact

[3] Availability Impact

نوشته روش های ارزيابی و رده بندی آسيب پذيری ها اولین بار در ايران متلب. پدیدار شد.

• کاهش اثرات منفی ابعاد بالا
• افزايش قابليت تعميم
• افزايش سرعت فرآيند آموزش
• بهبود قابليت تفسير مدل

انتخاب ويژگی، با بيان اينکه کدام ويژگی­ها مهمتر هستند و ويژگی­ها چگونه با هم در ارتباط هستند، به افراد کمک می­کند تا ديد بهتری از داده­هايشان پيدا کنند. برای انتخاب ويژگی، تاکنون الگوريتم­های زيادی ارائه شده­ است. هر يک از اين الگوريتم­ها با توجه به نوع و حجم داده­ها، الگوريتم آموزش مورد استفاده و اينکه يادگيری نظارت شده يا بدون نظارت است، کاربرد دارند و الگوريتم انتخاب ويژگی بايد با در نظر گرفتن شرايط مسئله انتخاب شود. در اين تحقيق برای انتخاب ويژگی در بخش کلاس­بندی از الگوريتم SVM-RFE و برای بخش خوشه بندی الگوريتم PCAاستفاده شده است، که در ادامه اين بخش درباره اين الگوريتم­ها توضيح داده می­شود.

1-2-4-1- ماشين بردار پشتيبانی – استخراج ويژگی بازگشتی[1]

SVM-RFE برای اولين بار در تجزيه و تحليل داده­های ميکرو آرايه­ها، بويژه برای پيدا کردن ژن بيماری استفاده شد. اين روش ژن­های اضافی را حذف می­کند و زير مجموعه­ای از ژن­های بهتر را نگه می­دارد. در اين روش ويژگی­ها براساس يک معيار مرتبط با پشتيبانيشان از تابع جداکننده، حذف می­شوند و SVMدر هر گام مجدد آموزش می­بيند (15). SVM-RFEاز اندازه وزن­ها به عنوان معيار رتبه­بندی استفاده می­کند و دارای چهار مرحله زير می­باشد:

• آموزش دادن SVMروی مجموعه داده­های آموزش
• مرتب کردن مشخصات با استفاده از وزن­های به دست آمده از کلاس­بندی کننده
• حذف کردن مشخصات دارای کمترين وزن
• تکرار فرآيند آموزش با ويژگی­های باقی مانده در داده­های آموزش

در اين تحقيق از SVMبرای کلاس­بندی داده­ها و از SVM-RFE برای شناسايی بهترين مشخصات در بخش کلاس­بندی استفاده شده است.

1-2-4-2- تحليل مولفه­ های اصلی[2]

تحليل مولفه­های اصلی، يک مجموعه داده را به مجموعه داده جديدی تبديل می­کند، به شکلی که در مجموعه داده جديد احتمالاً تعداد کمتری ويژگی (يا حداکثر برابر با همان تعداد ويژگی­های مجموعه داده اصلی) وجود دارد و اين ويژگی­های جديد برخلاف داده­های اوليه که عموماً به هم وابسته­اند، مستقل از هم هستند. در واقع اين روش اطلاعات جديدی از داده­ها را بر اساس شباهت­ها و تفاوت­های ميان داده­های اوليه به دست می­آورد. از جمله مزايای اين روش، اين است که با تحليل داده­ها و به دست آوردن الگوی آن­ها می­توان به اطلاعات فشرده­ای دست يافت، که اين اطلاعات اگرچه فشرده و کم حجم­تر هستند اما تقريباً همه اطلاعات داده­های اصلی را حفظ کرده­اند. تحليل مولفه­های اصلی بر اصول آماری متکی است و کاهش تعداد ويژگی­ها در اين روش باعث شده است که به عنوان يکی از معمولترين روش­های استخراج ويژگی نظارت نشده مطرح شود (11). در ادامه با فرض اينکه خواننده با مفاهيم پايه آماری مورد استفاده در اين روش آشنا است، توضيح مختصری درباره مراحل ششگانه اين روش داده می­شود (11):

• جمع آوری داده­ها

نوع ويژگی­های داده­های ورودی بايد عددی باشد.

• تنظيم داده­ها

ميانگين هر ويژگی از مقادير همان ويژگی کم می­شوند.

• محاسبه ماتريس کواريانس

کواريانس داده­ها محاسبه و ماتريس کواريانس داده­ها ساخته می­شود.

• محاسبه مقادير ويژه و بردارهای ويژه ماتريس کواريانس

بردارهای ويژه و مقادير ويژه با استفاده از ماتريس کواريانس محاسبه می­شوند.

• انتخاب مولفه­ها و ساختن بردار ويژگی

بردارهای ويژه حاصل از مرحله قبل دارای ارزش­های متفاوتی هستند و با مرتب کردن آن­ها و حذف تعدادی از بردارهای کم اهميت می­توان با از دست دادن اطلاعات کمی، داده­ها را متراکم کرده و حجم آن­ها را کاهش داد.

• بدست آوردن داده­های جديد

در آخرين مرحله با ضرب ترانهاده بردار ويژه به دست آمده در مرحله قبل، در ترانهاده داده­های نرمال شده داده­های جديد در ابعاد کمتر به دست می­آيند.

[1]Support Vector Machine – Recursive Feature Extraction

[2]Principal Component Analysis

نوشته انتخاب ويژگی Feature Selection اولین بار در ايران متلب. پدیدار شد.

برخلاف کلاس‌بندی كه داده‌ها را براساس كلاس‌ها تحليل مي­كند،در خوشه‌بندي داده‌ها، بدون در نظر گرفتن برچسب‌هاي كلاس، تحليل می­شوند ومعمولاً برچسب كلاس‌ها درداده‌هاي آموزش مشخص نيست. خوشه‌بندي گاهي براي تعيين و توليد برچسب­هايي برای داده­ها بكار مي­رود. داده­های خوشه‌بندی‌ شده بر اساس اصل ماكزيمم شباهت بين اعضای هر کلاس و مينيمم شباهت بين کلاس‌های مختلف گروه‌بندی می‌شوند، يعنی خوشه‌ها به‌گونه‌ای تنظيم می‌شوند که اشيای داخل هر خوشه‌ بيشترين شباهت را با يكديگر داشته باشند. هر خوشه‌ به عنوان يك كلاس مي‌باشد، كه قوانين هر کلاس، از خوشه متناظرش مشتق مي­شوند (12).

روش­ها و الگوريتم­های بسياری برای خوشه­بندی ارائه شده است. يکی از اين روش­ها نگاشت خود سازمانده[1] می­باشد. در اين تحقيق از روش نگاشت خود سازمانده نوخاسته[2] استفاده شده است. در ادامه اين بخش درباره SOMو ESOMتوضيح مختصری داده می­شود.

1-2-3-1- نگاشت خود سازمانده و نگاشت خود سازمانده نوخاسته

نگاشت خود سازمانده يک نوع از شبکه­های عصبی مصنوعی است که به صورت نظارت نشده آموزش مي­بيند و هدف آن ايجاد يک نمايش از فضای داده­های ورودی به فضايی با ابعاد کمتر (معمولاً دو بعد) است. که به اين نمايش ابعاد پايين، نگاشت (يا نقشه) گفته می­شود. نگاشت خود سازمانده با ساير شبکه­های عصبی مصنوعی متفاوت است زيرا از يک تابع همسايگی به منظور حفظ خواص توپولوژيکی فضای ورودی استفاده می­کند. اين مدل برای اولين بار توسط يک پروفسور فنلاندی به نام کوهونن[3] ارائه شد، به همين دليل گاهی اوقات به نام نگاشت کوهونن شناخته می­شود (13).

همانند بيشتر شبکه­های عصبی مصنوعی SOMنيز در دو فاز آموزش و نگاشت اجرا می­شود. در فاز آموزش، نگاشت (يا نقشه) با استفاده از نمونه­های ورودی ساخته می­شود. آموزش يک فرآيند رقابتی است که به نام تدريج بردار[4] نيز شناخته می­شود. در فاز نگاشت بردارهای ورودی جديد به طور خودکار کلاس­بندی می­شوند (13).

نگاشت خود سازمانده از اجزايی به نام نرون تشکيل می­شود. هر نرون با يک بردار وزن با ابعادی، برابر با ابعاد داده ورودی و موقعيتش در فضای نگاشت مشخص می­شود. نرون­ها معمولاً در يک فضای منظم به شکل يک شبکه شش ضلعی يا مستطيل شکل چيده می­شوند. همان طور که پيش از اين اشاره شد، نگاشت خود سازمانده توصيفی از فضای ورودی با ابعاد بالا به نگاشتی با ابعاد پايين است. SOM برای قرار دادن يک بردار از فضای داده ورودی در نگاشت، نرونی که نزديکترين بردار وزن به فضای داده ورودی را دارد، پيدا می­کند، پس از مشخص شدن نزديکترين نرون، مقدار بردار وزن نرون، با توجه به داده ورودی، به روزرسانی می­شود. در اين روش استفاده از ماتريسU[5] بسيار متعارف است. مقدار يک نرون در ماتريسU، ميانگين فاصله بين نرون و نزديکترين همسايه­هايش است. در يک شبکه مربعی 4 يا 8 همسايه و در يک شبکه شش ضلعی شش همسايه در نظر گرفته می­شوند. از جمله توسعه­های مفيدی که در اين نوع شبکه­ها داده شده است، می­توان به شبکه­های چنبره­ای[6] اشاره کرد. در اين شبکه­ها لبه­های مخالف به يکديگر متصل شده­اند و از تعداد زيادی نرون استفاده می­کنند (13).

 نشان داده شده است که نگاشت­های خود سازمانده، با تعداد کمی نرون همانند روش k – ميانگين[7] رفتار می­کنند، درحاليکه شبکه­های خود سازمانده بزرگ داده­ها را به روشی که مشخصات توپولوژيکی اصلی حفظ شوند، مرتب می­کنند. اين ويژگی باعث مطرح شدن شبکه­های ESOMشد. تفاوت ميان ESOMو SOMسنتی اين است که ESOMاز تعداد بسيار زيادی (حداقل چند هزار) نرون استفاده می­کند. بنابراين ESOMبرای ايجاد يک ديد کلی از ساختار داده­های پراکنده[8] و دارای ابعاد بالا مناسب­تر است. در ESOMها ويژگی­ داده­ها بهتر مشخص می­شود، بنابراين از ESOMها که هزاران نرون دارند، می­توان برای خوشه­بندی مناسب­تر داده­ها استفاده کرد (14).

[1] Self Organizing Map (SOM)

[2]Emergent SOM

[3] Kohonen

[4]Vector Quantization

[5] U-Matrix

[6] Toroidal

[7]K-Means

[8] Sparse

نوشته خوشه بندی clustering اولین بار در ايران متلب. پدیدار شد.

در زمينه کلاس­بندی تحقيقات زيادی انجام شده و روش­های زيادی برای ساخت و بهبود مدل­ها ارائه شده است. در ادامه اين قسمت روش­ها و مفاهيمی که در زمينه کلاس­بندی در اين تحقيق استفاده شده­اند، شرح داده می­شوند.

1-2-2-1- ماشين بردار پشتيبانی[1]

الگوريتم SVMاوليه در 1963 توسط وپنيک[2]ابداع شدو در سال 1995 توسط وپنيک و کورتس[3]برای حالت غيرخطی تعميم داده شد. الگوريتم SVM،جزء الگوريتم­های تشخيص الگو دسته بندی می­شود.از الگوريتم SVM، در هر جايی که نياز به تشخيص الگو يا دسته بندی اشياء در کلاس­های خاص باشد مي­توان استفاده کرد. اين روش با فرض اينکه دسته­ها به صورت خطی جدايی پذير هستند، به دنبال اَبُرصفحه­ای با حداکثر حاشيه[4] که بتواند دسته­ها را جدا کند، است. در مسائلی که داده­ها به صورت خطی جداپذير نباشند، داده­ها به فضايی با ابعاد بيشتر نگاشت پيدا می­کنند تا بتوان آن­ها را در اين فضای جديد به صورت خطی جدا نمود. SVMدر حالت پايه يک روش کلاس­بندی کننده دو کلاسه است، اما تحقيقات و پياده سازی­ها مختلفی برروی آن برای حل مسائل دارای بيش از دو کلاس نيز انجام شده است (12).

1-2-2-2- بگينگ[5]

در اين روش از ترکيب کلاس­بندی­های پيش­بينی شده توسط چند مدل استفاده می­شود و نتيجه نهايی پيش­بينی مدل­ها را يک رأی گيری ساده مشخص خواهد کرد. فرض کنيد چندين مجموعه داده آموزش با اندازه­های يکسان به صورت تصادفی از ميان داده­های موجود انتخاب شده­اند و سپس با يک روش يکسان، کلاس­بندی کننده­هايی با اين داده­ها، آموزش داده­ شده­اند. آيا واقعاً اين کلاس­بندی کننده­ها يکسان هستند؟ تجربه نشان داده است که نتايج پيش­بينی حاصل از اين کلاس­بندی کننده­ها در برخی موارد يکسان نيست. اين تفاوت در حالتی که مجموعه داده­های آموزش کوچک است، بيشتر می­باشد. هدف بگينگ اين است که نتايج اين کلاس­بندی کننده­های مختلف را با هم ترکيب کند، به عبارت ديگر کلاسی که بيشترين رأی را در بين پيش­بينی­های کلاس­بندی کننده­ها به دست آورد، به عنوان کلاس داده مورد نظر معرفی می­شود. تجربه نشان داده است که نتايج حاصل از بگينگ عموماً نسبت به حالتی که فقط از يک کلاس­بندی کننده استفاده شده، بهتر است (12).

1-2-2-3- جنگل تصادفی[6]

جنگل تصادفی مجموعه­ای متشکل از درختان تصميم است. يک جنگل­ تصادفی معمولاً از ده­ها يا صدها درخت تصميم ساخته شده است. در اين روش برای تعيين نتايج نهايی پيش­بينی از بگينگ (يا بوستينگ[7] که بگينگ وزندار است) استفاده می­شود. اين روش بر خلاف حالت استفاده از يک درخت تصميم حساسيت به نويز پايينی دارد و مدل پايدارتری را ارئه می­دهد. اين روش از نظر کارايی با کلاس­بندی کننده­های غيرخطی مانند شبکه­های عصبی مصنوعی و SVMدر رقابت است.

در اين روش هر درخت تصميم گيری با زيرمجموعه­ای از داده­های آموزش ساخته می­شود؛ اين زيرمجموعه­ها به صورت تصادفی همراه با جايگذاری انتخاب می­شوند. واضح است که برخی از داده­ها بيشتر از يک بار در اين مجموعه­ها ظاهر می­شوند و برخی از داده­ها اصلاً انتخاب نمی­شوند. به طور کلی تقريباً دو سوم داده­ها در مجموعه­های آموزش ظاهر می­شوند و تقريباً يک سوم آن­ها انتخاب نمی­شوند. سپس با استفاده از هر يک از مجموعه داده­های آموزش يک درخت تصميم ساخته می­شود و همانطور که پيش از اين نيز اشاره شد، رأی­گيری به روش بگينگ نتيجه پيش­بينی در اين روش را مشخص می­کند (11).

1-2-2-4- اعتبار متقاطع[8]

الگوريتم­های داده­کاوی عموماً بخشی از داده­های موجود را برای آموزش و بخش باقی مانده داده­ها را برای تست کلاس­بندی کننده­ها استفاده می­کنند. در عمل معمولاً دو سوم داده­ها برای آموزش و يک سوم آن­ها برای تست استفاده می­شود. واضح است که در اين روش امکان اينکه داده­های متعلق به يک کلاس اصلاً در مجموعه داده­های آموزش (يا تست) قرار نگيرند نيز وجود دارد. بنابراين ممکن است استفاده از چنين طبقه بندی کننده­ای منجر به بهترين و صحيح­ترين نتيجه نشود.

اما در روش “اعتبار متقاطع” تعداد ثابتی دسته[9] يا بخش بندی برای داده­ها در نظر گرفته می­شود. به عنوان مثال n برای تعداد بخش­ها انتخاب می­شود. سپس داده­ها به n بخش تقريباً مساوی تقسيم می­شوند و در هر مرحله يک بخش برای تست و ديگر بخش­ها برای آموزش استفاده می­شوند و اين کار n بار تکرار خواهد شد. در نتيجه هر داده دقيقاً يک مرتبه به عنوان تست استفاده شده است. در نهايت ميانگين خطای n مرحله به عنوان خطای کلی در نظر گرفته می­شود.

عموماً از n=10 برای اعتبار متقاطع استفاده می­شود. آزمايشاتی که روی حجم انبوهی از مجموعه داده­ها با الگوريتم­های آموزش مختلف انجام شده نشان داده است که n=10 عددی مناسب برای دست يافتن به مقدار تقريبی بهترين خطا است، البته تعدادی مدارک نظری نيز برای مناسب بودن n=10 نيز وجود دارد. با توجه به انتخاب تصادفی دسته­ها، يک مرتبه انجام اعتبار متقاطع ممکن است، دقتی که کاملاً قابل اعتماد باشد را ارائه نکند، بنابراين بهتر است که انجام اعتبار متقاطع چندين بار تکرار شود (12).

1-2-2-5- اعتبار متقاطع نگه­داشتن يکی[10]

روش “اعتبار متقاطع نگه­داشتن يکی” مشابه اعتبار متقاطع معمولی است با اين تفاوت که n در اين روش برابر با تعداد نمونه­ها در مجموعه داده­ها است. اين روش ابتدا يک نمونه را جدا می­کند، سپس آموزش با استفاده از همه نمونه­های باقی مانده انجام می­شود و پس از آن يک نمونه نگه داشته شده، به کلاس­بندی کننده، برای تست داده می­شود. اين روش به دو دليل مورد توجه قرار می­گيرد: اول اينکه از بزرگترين مجموعه داده آموزش استفاده می­شود و اين مسئله شانس رسيدن به يک کلاس­بندی کننده دقيق را افزايش می­دهد. دوم اينکه اين روش يک روش قطعی است. يعنی مجموعه­ها به صورت تصادفی انتخاب نمی­شوند و با هر بار تکرار فقط يک نتيجه حاصل می­شود. اما اين روش هزينه محاسباتی زيادی دارد، زيرا برای هر داده يک بار فرآيند آموزش تکرار می­شود و در عمل اين روش فقط برای مجموعه داده­های کوچک قابل استفاده مي­باشد (12).

[1] Support Vector Machines (SVM)

[2]Vapnik Vladimir

[3]Cortes Corinna

[4] Maximum margin

[5]Bagging

[6] Random Forest

[7]Boosting

[8]Cross-Validation

[9] Folds

[10]Leave-One-Out

نوشته کلاس بندی و پيش بينی اولین بار در ايران متلب. پدیدار شد.

تصوير 1- 1: مراحل متعارف متن کاوی.

نوشته متن کاوی اولین بار در ايران متلب. پدیدار شد.