در هر کار یادگیری ماشین ما با داده (data) در ارتباط هستیم. این داده ها می توانند از منابع مختلفی گردآوری شده باشند. اکثر متخصصان یادگیری ماشین داده های ورودی به مدل یادگیری ماشین را ابتدا مورد پردازش قرار می دهند تا بتوانند هر گونه اشکال یا ایراد در داده ها را پیدا و رفع کنند.

هنگامی که حجم داده های ورودی به سیستم کم می باشد، می توان از روشهای دستی برای پیش پردازش داده استفاده کرد اما هنگامی که تعداد داده ها بیش از چند میلیون می باشد، روش دستی دیگر جوابگو نیست و لازم است ، ابزارهای اتوماتیکی برای پیش پردازش داده بکار گرفته شود. متلب ابزارهای بسیار حرفه ای و خوبی برای این کار دارد و از آنجایی که متلب خودش ماتریس مبنا می باشد یعنی تمامی متغییرها به صورت ماتریس در نظر گرفته می شوند و یک جعبه ابزار حرفه ای آمار دارد، به کاربران یادگیری ماشین می تواند در پیش پردازش داده بسیار کمک کند. بخش اول این آموزش به تابع و نمودارهای پیش پردازش داده در متلب اختصاص دارد.

بخش دوم این آموزش مخنص معیارهای ارزیابی در یادگیری ماشین می باشد. منظور از معیارهای ارزیابی ، همان معیارهای است که در بیشتر مواقع بعد از یک کار یادگیری ماشین مورد استفاده قرار می گیرد تا مدل نهایی مورد ارزیابی قرار گیرد. در یک کار یادگیری ماشین، ما مدل خود را با داده های آموزش ، آموزش می دهیم و با داده های تست ، تست می کنیم تا بفهمیم مدل آموزش یافته ما چقدر خوب آموزش یافته است و خاصیت عمومیت پذیری آن چقدر است؟ راندمان آن چقدر است؟ در هر کلاس، یک مدل دسته بندی چقدر درست عمل کرده است؟ دو مدل رگرسیون را چطور باید مقایسه کنیم؟ معیار چیست؟ و خیلی سوالات دیگر مربوط به همین مبحث معیارهای ارزیابی می شود.

سرفصل :

متغییرهای گروهی

تقسیم داده ها بر اساس گروه

یافتن تعداد کلاس ها

تابع splitapply

رسم گروه بندی شده داده ها

حذف یک کلاس از داده ها

محاسبه درصد و تعداد هر گروه در داده

رسم نمودار پراکندگی بر اساس گروه

مزیت droplevels

رسم نمودار ماتریس گروه

محاسبه معیارهای آماری هر گروه

چه داده هایی در متلب به عنوان missing در نظر گرفته می شوند؟

عملیات یا داده های شامل NaN

چطور داده های ما شامل NaN می شوند؟

محاسبات آماری با داده هایی که شامل مقادیر missing هستند

آشنایی با دیتاست های آماده متلب

خواندن داده از فایل اکسل excel

خواندن داده های یک sheet

خواندن داده های یک range

یافتن اتوماتیک داده های missing

حذف داده های missing از داده های ورودی

جایگزینی داده های missing

ایجاد داده های missing

یافتن outliers در داده ها

شناسایی و جایگزینی outliers

حذف outliers از داده ها

انواع روش های جایگزینی داده های missing

تعیین جهت عملگر بر روی داده های 2 بعدی

مفهوم outliers

معیار MAD یا median absolute deviation

یافتن تغییرات شدید در داده ها

یافتن مینیمم های محلی

یافتن ماکزیمم های محلی

هموار کردن داده smoothing

معیار میانگین حرکتی

معیار میانه حرکتی

پنجره در هموار کردن و معیارهای حرکتی

نرمالیزه کردن داده

روش zscore

روش norm

روش scale

روش range

روش center

تابع rescale

معیار cross validation در متلب

مفهوم k-fold

یک مثال برنامه نویسی پیچیده

تابع crossval

ماتریس confusion

چارت ماتریسی confusion

نمودار ROC

هدف از ROC چیست؟

معیار Number of true positive

معیار Number of false negative

معیار Number of false positive

معیار Number of true negative

معیار Rate of positive predictions

معیار Rate of negative predictions

معیار Accuracy

معیار True positive rate یا sensitivity یا recall

معیار False negative rate

معیار False positive rate یا fallout یا 1 – specificity

معیار True negative rate یا specificity

معیار Positive predictive value یا precision

معیار Negative predictive value

مقایسه نمودار های ROC

لینک سفارش

پیش نمایش اول

دانلود پیش نمایش اول (کیفیت بالا)

پیش نمایش دوم

دانلود پیش نمایش دوم (کیفیت بالا)

پیش نمایش سوم

دانلود پیش نمایش سوم (کیفیت بالا)

مدت زمان : 224 دقیقه

نوشته پیش پردازش داده و معیارهای ارزیابی در MATLAB اولین بار در ايران متلب. پدیدار شد.

شما در سیستم های embedded لازم است تا با یک زبان برنامه نویسی مثل C++ یا VHDL برنامه ای بنویسید و داخل حافظه میکروکنترلر یا FPGA بارگذاری کنید تا سیستم شما بتواند کار مورد نظرشما را انجام دهد. مثلا فرض کنید یک سیستم دارید که قرار است با دستورهای صوتی یک موتور را روشن و خاموش کند. در این سیستم لازم است که شما برنامه مشخصی بنویسید که اگر فرمان شروع گفته شد ، موتور را روشن و اگر فرمان خاموش گفته شد، موتور را خاموش کند. این برنامه شما هیچ قسمت هوشمندی ندارد که قادر به یادگیری باشد، بلکه یک برنامه شرطی هست که متناسب با ورودی آن یک خروجی دارد. اما در یک سیستم یادگیری ماشین ما هیچ برنامه مشخصی برای سیستم نمی نویسیم بلکه ما یک مدل هوشمند داریم که قابلیت یادگیری دارد. مدل ما در یک فرایند آموزش یاد می گیرد که متناسب با هر فرمانی چه عکس العملی را باید نشان دهد. آموزش قسمت اصلی یک مدل یادگیری ماشین ML می باشد.

اکنون یادگیری ماشین توانسته کاربردهای بسیار زیادی پیدا کند مثل ماشین های بدون راننده، شناسایی صوت، جستجوی وب ، تشخیص بیماری و درک بهتر ژن انسان.

یادگیری ماشین اکنون اینقدر گسترده شده است که شما به احتمال زیاد در طول روز از یک سیستم بر مبنای یادگیری ماشین دارید استفاده می کنید اما دقیقا نمی دانید که یادگیری ماشین است. مثلا بسیاری از ابزارهای داخل یک گوشی هوشمند که بیشتر آنها با یک مدل یادگیری ماشین عمل می کنند.

ما در این آموزش سعی کردیم که در کنار تئوری ، مثالهای عملی زیادی هم بزنیم تا شما بتوانید درک بهتری از کاربردهای یادگیری ماشین در دنیای واقعی پیدا کنید و بتوانید از یادگیری ماشین در پروژه های عملی خود استفاده کنید.

لینک دانلود

مرجع های این آموزش :

درس یادگیری ماشین دانشگاه استنفورد

درس یادگیری ماشین دانشگاه MIT

آموزش از پایه یادگیری ماشین ارائه شده در توسعه دهندگان گوگل Google Developer

قسمت اول

مبانی و مقدمات یادگیری ماشین

قسمت دوم

پیش پردازش داده و معیارهای ارزیابی در MATLAB

قسمت سوم

برنامه نویسی متلب ماشین بردار پشتیبان

نوشته بسته آموزش جامع یادگیری ماشین machine learning اولین بار در ايران متلب. پدیدار شد.

یکی از زمینه های بسیار جذاب و پرکاربرد در قرن اخیر هوش مصنوعی می باشد. هم اکنون کاربردهای بسیار زیادی برای هوش مصنوعی در جهان اطراف ما قابل مشاهده است مثل ماشین های بدون راننده ، دستیاران صوتی، مترجم های آنلاین، رباتهای هوشمند، نرم افزارهای تشخیص بیماری ، الگوریتم های هوشمند داده کاوی، تشخیص چهره، ربات سخن گو، پیش بینی بورس و نمودارهای مالی .

هوش مصنوعی دانش بسیار گسترده ای می باشد که بخشی از آن یادگیری عمیق می باشد. یادگیری عمیق یکی از موضوعات بسیار داغ و جذاب می باشد که علاقه مندان بسیار زیادی پیدا کرده است. یکی از دلایل این علاقه سادگی کار و نتایج حیرت کننده حاصل از آن می باشد. به عنوان مثال برای تشخیص یک شی در تصویر، اگر بخواهید از روشهای قدیمی استفاده کنید باید استخراج ویژگی انجام دهید و سپس یک مدل دسته بندی کننده انتخاب کنید. این فرایند بسیار زمان بر و تخصصی می باشد و می بایست یک فرد متخصص نوع ویژگی ها و پارامترهای آنها را تنظیم کند. اما با یادگیری عمیق شما فقط کافی است که ساختار مدل خود را طراحی کنید و نیازی به مرحله استخراج ویژگی ندارید و تمامی فرایند توسط لایه های مدل یادگیری عمیق انجام می شود.

دلیل بعدی جذابیت کار در یادگیری عمیق ، مدلهای آماده بسیار زیاد موجود می باشد که فرایند طراحی و آموزش و تست را بسیار کوتاه می کند و شما با توجه به مفهوم transfer learning یک مدل آماده را برای کاربرد خود تغییر می دهید. یعنی دیگر لازم نیست چرخ را از اول اختراع کنید و همه فرایند سخت و طاقت فرسای طراحی مدل هوشمند خود را از صفر شروع کنید. الان مدلهای آماده ای وجود دارند که با دقت بالایی می توانند 1000 کلاس مختلف تصویری را شناسایی کنند. یعنی شما مدل را import می کنید و تصویر بهش می دهید و برای شما کار شناسایی را انجام می دهد. به عبارت ساده تر هولو برو تو گلو. 🙂

لینک سفارش

قسمت اول

مبانی و مقدمات یادگیری عمیق

قسمت دوم

پیاده سازی و برنامه نویسی در متلب

مدرس :

قیصری (مدیر گروه ایران متلب با سابقه 15 ساله در متلب و زبان های مختلف برنامه نویسی)

نوشته بسته آموزشی جامع یادگیری عمیق Deep Learning اولین بار در ايران متلب. پدیدار شد.

در تست الگوریتم حرکت چند رباتها در صفحه، یکی از مسائلی که بسیار استفاده می شود، مسئله جلوگیری از مانع یا برخورد نکردن با مانع می باشد. در این مسئله تعدادی ربات وجود دارند که از یک نقطه شروع باید حرکت خود را آغاز کنند و به یک ناحیه به نام هدف برسند. در مسیر حرکت این رباتها به سمت ناحیه هدف ، تعدادی مانع قرار دارد که مانع از حرکت مستقیم رباتها به سمت ناحیه هدف می شوند.
شکل این موانع و مکان آنها در صفحه مسئله هیچ قانون مشخصی ندارد و توسط طراح مسئله مشخص می شود و لی باید به گونه ای باشد که رباتها با استفاده از دانش جمعی بتوانند مسیر مناسب را پیدا کنند و هرچه مشکل تر باشد ، قدرت الگوریتم بهتر سنجیده می شود.

کاربردهای بسیاری برای این مسئله در جهان واقعی وجود دارد. به عنوان مثال موقعیتی را فرض کنید که بخواهیم ربات امداد کننده ای در یک منطقه زلزله آمده به نقطه خاصی که برای آن مشخص می کنیم ، برود و امدادرسانی کند. در مسیر حرکت این ربات قطعا خانه های آوار شده ای قرار دارند و مسیرهای عبوری مانند خیابان ها مسدود شده است، این ربات باید با کمک چند ربات دیگر باید بتواند مسیر مناسبی برای رسیدن به نقطه هدف پیدا کند.

نوشته عبور از مانع با چند ربات و الگوریتم PSO تغییر یافته اولین بار در ايران متلب. پدیدار شد.

نرخ های تقریب (Approximation Rates) :
فرض کنید یک شی در فضای [0,1] در [0,1] قرار دارد . دقت تبدیل فوریه و تبدیل ویولت و تبدیل کرولت در بیان این شی در قسمت زیر نشان داده شده است :
تبدیل فوریه Fourier Transform :

تبدیل ویولت Wavelet Transform :

تبدیل کرولت Curvelet Transform :

همانطور که مشاهده می فرمایید خطای بین شی و بیان تبدیل یافته آن در تبدیل کرولت کمتر از دو تبدیل دیگر است.

عدم پیوستگی در منحنی و نقطه
Point and Curve Discontinuities

عدم پیوستگی نقطه ای در تبدیل فوریه بر روی همه ضرایب آن تاثیر می گذارد. لذا تبدیل فوریه نمی تواند با عدم پیوستگی نقطه ای به خوبی رفتار کند. اما تبدیل ویولت به خوبی عدم پیوستگی نقطه ای را بیان می کند و تنها تعداد کمی از ضرایب آن دستخوش تغییر می شوند.
عدم پیوستگی بر روی یک منحنی ، تمامی ضرایب تبدیل ویولت را تغییر دهد لذا تبدیل ویولت نمی تواند در اشیا با عدم پیوستگی در منحنی به خوبی رفتار کند. اما تبدیل کرولت طراحی شد تا عدم پیوستگی در منحنی را بیان کند و تنها تعداد کمی از ضرایب آن دستخوش تغییر شود.

بنا به درخواست کاربران فهیم سایت ایران متلب ، فیلم آموزشی برنامه نویسی تبدیل کرولت در متلب برای استفاده آماده شد.
این فیلم آموزشی اختصاص به طریقه کدنویسی و برنامه نویسی و کار با تبدیل کرولت در متلب دارد. در ابتدا تئوری مختصری از روشهای موجود صحبت می شود. اختلاف این روشها با هم و مزیت هر کدام بیان می شود. سپس توابع متلب مختص تبدیل کرولت به تفضیل معرفی می شوند. در انتها چندین مثال برنامه نویسی متلب آورده شده است.

لینک دانلود

پیش نمایش :

لینک دانلود (کیفیت بالا)

تصاویری از این فیلم آموزشی :

نوشته برنامه نویسی متلب تبدیل کرولت اولین بار در ايران متلب. پدیدار شد.

تولباکس برازش منحنی (curve fitting) در نرم افزار متلب MATLAB یک ابزار آماده برای برازش منحنی و سطوح داده می باشد. شما در این جعبه ابزار می توانید آنالیز داده، پیش پردازش و پس پردازش داده ، مقایسه مدلهای کاندید و حذف outlier انجام دهید.
شما در این جعبه ابزار می توانید آنالیز رگرسیون با استفاده از مدلهای آماده خطی و غیرخطی انجام دهید یا خودتان مدل دلخواه خود را بسازید.
در این جعبه ابزار شما می توانید از حل کننده های (solver) بهینه شده برای بهبود کیفیت برازش (fit) استفاده کنید. این جعبه ابزار همچنین شامل تکنیک های مدلسازی غیرپارامتری مانند درونیابی و هموارسازی و splines هم می باشد.
بعد از ساخت مدل شما می توانید روشهای پس پردازش مختلفی را بر روی مدل خود اعمال کنید.

.
به طور خلاصه تولباکس برازش منحنی در متلب دارای ویژگیهای زیر است :

• برازش منحنی برای منحنی و سطوح
• رگرسیون خطی و غیرخطی با معادله های سفارشی
• کتابخانه ای از مدلهای رگرسیون با نقاط شروع و پارامترهای حل کننده بهینه شده
• روشهای درونیابی شامل B-spline و spline صفحه ای و spline tensor-product
• تکنیک های هموار سازی شامل spline هموارکننده و رگرسیون متمرکز و فیلترهای Savitzky-Golay و میانگین های متحرک
• روشهای پیش پردازش شامل حذف outlier و بخش بندی و تغییر مقیاس و وزن دهی داده ها
• روشهای پس پردازش شامل درونیابی و برونیابی و بازه های اطمینان (confidence ) انتگرال و مشتق

لینک دانلود

پیش نمایش 1 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 2 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 3 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 4 :

.

لینک دانلود (کیفیت بالا)

پیش نمایش 5 :

.

لینک دانلود (کیفیت بالا)

نوشته فیلم آموزش فارسی جعبه ابزار برازش منحنی در متلب اولین بار در ايران متلب. پدیدار شد.

• تست آماری جفت شده t-test

تست paired t-test، یک روش معمول برای مقایسه دو کلاسه بند بر روی چندین مجموعه داده است. این تست بررسی می کند که آیا اختلاف میانگین در کارایی بر روی مجموعه داده ها به لحاظ معناداری از صفر متفاوت است یا خیر. در صورتی که  و  معیار قابل مقایسه دو کلاسه بند بر روی iام مجموعه داده باشد، و  اختلاف  می باشد. آماره t بصورت  می شود و با توجه به توزیع Student با درجه آزادی N-1 توزیع می گردد.

• تست آماری Wilcoxon

تست آماری Wilcoxon یک روش غیر پارامتری است که در مقابل روش t-test ارائه داده شده است. این تست اختلاف، بدون توجه به علامت آن، معیار خروجی دو کلاسه بند را برای هر مجموعه داده مرتب می کند. سپس رتبه مربوط به اختلاف مثبت و منفی حاصل را مقایسه می کند.

بعنوان اختلاف معیار خروجی دو کلاسه بند بر روی iام مجموعه داده از N مجموعه داده در نظر گرفته می شود. اختلافات بدون در نظر گرفتن علامت آنها مرتب می شود. البته در جایی که اختلاف صفر است، میانگین رتبه دو کلاسه بند بعنوان rank در نظر گرفته می شود.  بعنوان مجموع رتبه کلاسه بند دوم است که بهتر از کلاسه بند اول عمل می کند و  بعنوان مجموع رتبه کلاسه بند مقابل است که بهتر از کلاسه بند دوم عمل می کند. رتبه  در محاسبه این دو مجموع بصورت جداگانه اعمال می شود و اگر تعداد فردی از مجموعه داده ها دارای چنین شرایطی هستند، یکی را در نظر نمی گیریم تا تعداد زوجی از آنها اعمال شود.

(5-4)

(5-5)

کمترین مقدار بین مقدارهای  و  را بعنوان T در نظر می گیریم؛ . بیشتر منابع دارای مقدار بحرانی برای T برای مجموعه داده N است که برای تعداد زیادی از مجموعه داده ها این مقدار از رابطه ذیل پیروی می کند:

(5-6)

با آلفا 0.05، فرضیه صفر[1] رد می شود در صورتی که z کوچکتر از 1.96-  باشد.

• تست آماری فردمن Friedman

تست فردمن [58]، یک تست غیر پارامتری­ است^[2]. این تست برای مقایسه چندین الگوریتم بدون مقایسه دوتایی الگوریتم ها بکار می رود. تست فردمن قویتر از دو تست ذکر شده است و بطور جامع تری الگوریتم های مختلف را مقایسه می کند. در صورتی که الگوریتم پیشنهادی تفاوت قابل توجهی با دیگر الگوریتم ها داشته باشد، بطور قابل اعتمادی ارئه می دهد. این تست الگوریتم­های مختلف را روی هر مجموعه داده به صورت جداگانه، بر اساس معیار خاصی مانند دقت پیش بینی رتبه­بندی می­کند. بهترین الگوریتم رتبه یک، دومین بهترین الگوریتم، رتبه دو و به همین ترتیب. در مواردی که کلاس بندها بر روی معیار مورد نظر مقدار برابری را کسب کرده اند، میانگین رتبه­ها به الگوریتم­ها اختصاص می­یابد. فرض کنیم که ، رتبه الگوریتم ام از بین  الگوریتم و بر روی مجموعه داده ام از بین  مجموعه داده باشد. تست فردمن میانگین رتبه­های الگوریتم­های مختلف را با هم مقایسه می­کند که به صورت   است. تحت فرضیه صفر، همه الگوریتم­ها با هم برابر هستند و بنابراین رتبه آن­ها باید با هم یکسان باشد، آماره[3] فردمن

(4-10)

توزیعی مطابق  با  درجه آزادی خواهد داشت، در صورتی که  و   انتخاب شوند. Iman و Davenport [59] آماره جدیدی به صورت زیر ارائه داده اند که بطور کلی برای مقایسه الگوریتم ها بجای رابطه 10-4 بکار می رود:

(4-11)

که توزیعی برابر توزیع  با   و  درجه آزادی خواهد داشت. اگر فرض صفر رد شود، اختلاف معناداری بین الگوریتم­ها وجود دارد. بعد از آن تست تعقیبی[4] انجام می گیرد، که برای این منظور، ما در اینجا تستBonferoni-Dunn  [60] بکار گرفته ایم. در این تست، اختلاف دو الگوریتم به صورت آماری معنادار[5] است اگر اختلاف رتبه دو الگوریتم بیشتر از مقدار اختلاف بحرانی[6] ذیل باشد:

(4-12)

که در آن ، مقدار بحرانی بوده[8] که بر پایه آماره توزیع Student[9] است که  بر  تقسیم شده است. در این تست، یکی از روش­ها به عنوان الگوریتم کنترل[10]، انتخاب شده و با سایر روش­ها مقایسه می­شود.

[1] Null hypothesis

[2] Non-parametric

[3] Statistic

[4] Post-hoc

[5] Statistically significant

[6] Critical difference

[7] برای یافتن مقادیر  به جدول b5 از [58] مراجعه شود.

[8] Critical value

[9] Studentized range statistic

[10] Control method

نوشته تست های آماری اولین بار در ايران متلب. پدیدار شد.

از آنجایی که الگوهای نوظهور، دانش تمایز بین کلاس های مختلف را نشان می دهد، آنها در ایجاد کلاسه بندی دقیق بسیار موثر هستند. کلاسه بند های بر پایه الگوهای نوظهور قدرت مجموع الگوهای نوظهور را برای کلاسه بندی یک نمونه تست بکار می گیرد. Dong [21] اولین کلاسه بند بر پایه الگوهای نوظهور را ارائه داد که CAEP، Classification by Aggregating Emerging Patterns، نامیده شد. CAEP همه الگوهای نوظهور قوی را بوسیله الگوریتم های مبتنی بر مرز استخراج می کند. برای کلاسه بندی کردن یک نمونه تست، برای هر کلاس یک امتیاز[2] محاسبه می شود. کلاس با بالاترین امتیاز بعنوان برچسب نمونه تست در نظر گرفته می شود. اگر تعداد الگوهای کاندید کلاس های مختلف نامتوازن[3] باشد، کلاس با الگوهای بیشتر تمایل در بدست آوردن امتیاز بیشتر دارد. برای حل این مشکل، یک امتیاز پایه[4] برای هر کلاس از نمونه های آموزشی بدست می آید [21].

• الگوریتم کلاسه بندی بر پایه تئوری اطلاعات[5] iCAEP

بعداً، Zhang et al. [26]، یک نوع از CAEP را که iCAEP، Information based Classification by Aggregating Emerging Patterns، نامیده شد، معرفی کرد. iCAEP، از تئوری اطلاعات[6] استفاده می کند تا نیازی به محاسبه base score برای هر کلاس نباشد.

برای کلاسه بندی یک نمونه تست، کوچکترین امتیاز بعنوان برچسب کلاس نمونه تست در نظر گرفته می شود. در مقایسه با CAEP، iCAEP دقت را بهبود می دهد و زمان را برای کلاسه بندی کاهش می دهد.

• روش کلاسه بندی برپایه الگوهای نوظهور جهشیJEPs-Classifier [3]

بر اساس CAEP، الگوریتم کلاسه بند بر پایه الگوهای نوظهور جهشی توسط Li et al. ارائه شد. JEPs-classifier محنصراً از الگوهای نوظهور جهشی[7] با فراوانی نسبی بالا برای کلاسه بندی استفاده می کند. این نوع الگوها، رساترین الگوهای نوظهور جهشی[8] نامیده می شوند چرا که این الگوها همان محموعه آیتم های کمینه در مرز[9] هستند که دارای فراوان نسبی بالایی نسبت به دیگر آیتم ها در مرز هستند. JEPs-classifier از الگوریتم های مبتنی بر مرز بهره گرفته و الگوهای نوظهور جهشی را در قالب مرز فضای الگوها استخراج می کند. رساترین الگوهای نوظهور جهشی لزوما حداقل آستانه برای فراوانی نسبی ارضا نمی کند.

• روش کلاسه بندی بر پایه الگوهای نوظهور جهشی قوی^[10] [25]

این کلاسه بندی بر پایه قدرت مجموع الگوهای نوظهور جهشی قوی است و تلاش می کند تا با استفاده از الگوهای نوظهوری جهشی که حداقل آستانه را برای فراوانی نسبی دارا هستند، به دقت قابل توجهی دست یابد.

• روش تصمیم گیری مبتنی بر نمونه^[11] DeEPs [20]

بعداً، بر پایه روش های مبتنی بر نمونه[12]، کلاسه بند تنبل[13] به نام DeEPs، Decision-making by Emerging Patterns، ارائه شد [20]. جهت کاهش فضای جستجو الگوها، DeEPs یک نمونه تست را بعنوان یک فیلتر بکار می گیرد تا مقادیر آموزشی بی ربط را در نظر نگیرد. برای هر نمونه تست، DeEPs الگوهای نوظهور کاندید را استخراج می کند و مقادیر ویژگی هایی که در نمونه تست دیده نشده اند را نادیده می گیرد. این تکنیک، کارایی و دقت کلاسه بندی هایی مثل کلاسه بندی بر پایه مجموع الگوهای نوظهور CAEP و کلاسه بندی بر پایه الگوهای نوظهور جهشی JEP-classifier را بهبود می بخشد. اما، این روش منجر به تکرار محاسبات سنگین می شود بخصوص وقتی که نمونه های تست مشابه باشند.

• روش پیش بینی توسط مجموعه راست نمایی (PCL[14]) [5]

PCL پیش بینی را توسط مجموعه ای از درست نمایی ها[15] انجام می دهد. PCL از K بالاترین الگوهای نوظهور که در نمونه تست شامل می شوند، برای کلاسه بندی استفاده می کند. برای هر کلاس، PCL یک امتیاز با استفاده از اجتماع درست نمایی حاصل از K بالاترین الگوهای نوظهور که نمونه تست را پوشش می دهند، بدست می آورد. PCL برای مجموعه داده ها با ابعاد بالا مناسب است بخصوص برای داده های بیان ژن.

[1] Classification by aggregating emerging patterns

[2] Score

[3] Unbalanced

[4] Base score

[5] Information-based classification by aggregating emerging patterns

[6] Information theory

[7] Jumping emerging patterns (JEPs)

[8] The most expressive JEPs

[9] border

[10] Strong jumping emerging patterns classifier

[11] Decision making by emerging patterns

[12] Instance-based

[13] lazy

[14] Prediction by collective likelihood

[15] Likelihood

نوشته روش های کلاسه بندی مبتنی بر الگوهای نوظهور اولین بار در ايران متلب. پدیدار شد.

• روش مبتنی بر مرز[3]

روش های مبتنی بر مرز با الهام از الگوریتم Max-miner [14] پیشنهاد شده اند. این روش ها، مفهوم مرز[4] [1] را بکار می گیرد تا ساختار مناسبی را برای نمایش مختصری برای الگوهای کاندید ارائه دهند. در هر مرز، کوچکترین و بزرگترین عضو هر مجموعه کاندید قابل نمایش است. الگوریتم اختلاف مرز[5]، الگوهای نوظهور کمینه و بیشینه[6] را استخراج می کند و بدین ترتیب مرز الگوهای استخراجی را تنظیم می کند. الگوریتم های مبتنی بر مرز قادر نیستند که الگوهای نوظهور را بصورت همزمان از کلاس های مختلف استخراج کنند. این الگوریتم ها، برای هر کلاس طی فرآیند جداگانه ای الگوها را استخراج می کنند و لذا به ازای هر کلاس، جداگانه اجرا می شود.

• روش مبتنی بر محدودیت (ConsEPMiner[7]) [2]

الگوریتم مبتنی بر محدودیت در دو سطح اجرا می شود؛ تولید الگوهای کاندید و هرس الگوهای اکتشافی. الگوریتم ConsEPMiner از دو نوع محدودیت استفاده می کند تا بتواند بطور موثری فضای جستجو الگوهای نوظهور را هرس کند و محاسبات را ذخیره نماید. محدودیت های ذاتی[8] و خارجی[9] عنوان محدودیت هایی است که در فرآیند استخراج اعمال می شود. محدودیت های خارجی شامل محدودیت حداقل آستانه فراوانی نسبی، نرخ رشد و پیشرفت نرخ رشد[10] است که توسط کاربر قابل تنظیم است. محدودیت ذاتی شامل مجوعه یکسانی از فراوانی نسبی[11]، نرخ رشد بالا[12] و مبدا یکسان[13] است.

• الگوریتم استخراج درخت الگوی تقابل[14] (CP-Tree) [17، 25]

الگوریتم استخراج الگوهای متمایز، با الهام از FP-tree، ساختار گسترش یافته ای ساختار درختی پیشوندی ارائه می دهد. این ساختار به خلاف الگوریتم درخت الگوی مکرر، نیازی به پیوند بین نودها ندارد. الگوریتم توسط جستجوی اول عمقی[15]، CP-tree را از ریشه پیمایش می کند تا الگوهای نوظهور جهشی قوی[16] را استخراج کند. الگوی نوظهور جهشی قوی، یک نوع خاص از الگوهای نوظهور جهشی[17] است که بایستی دارای حداقل فراونی نسبی باشد. این نوع درخت، کارایی استخراج الگوهای نوظهور را با استفاده از الگوهای نوظهور جهشی قوی بهبود می بخشد و همچنین قادر است که مجموعه داده های چند کلاسه را مدیریت نماید.

• روش استخراج با کمک دیاگرام دودیی صفر[18] ZBDD Miner [18]

از آنجایی اینکه روش های ذکر شده، قادر نیستند که داده ها با ابعاد بیشتر از شصت را مدیریت کنند، بعداً، ZBDD EP-Miner شد. این روش از Zero-Suppressed Binary Decision Diagrams (ZBDDs) استفاده می کند تا الگوهای نوظهور را از داده ها با ابعاد بالا استخراج کند. با این وجود، ZBDD EP-miner هنوز شمار زیادی از الگوهای نوظهور را استخراج می کند حتی با اعمال محدودیت های آلفا و بتا [18].

این محدودیت ها استفاده می شوند تا فضای جستجوی الگوهای نوظهور را بیشتر هرس کند. محدودیت آلفا بر اساس مفهوم a-priori است. در نمونه های مثبت[19]، هر آیتم که فراوانی نسبی اش[20] کمتر از مقدار آلفا باشد، هم از نمونه های مثبت و هم از نمونه های منفی حذف می شود. محدودیت بتا بیشترین مقدار فراوانی[21] برای یک الگوریتم در نمونه های منفی مشخص می کند؛ اگر فراوانی الگوی کاندید بیشتر از بتا باشد، آن الگو از نمونه های آموزشی حذف می شود.

• روش استخراج الگوی نوظهور متمایز [22]DP Miner

بر اساس مفهوم مجموعه آیتم بسته[23]، یک کلاس هم ارزی[24] مجموعه ای از آیتم های مکرر[25] است که همیشه در نمونه های یکسانی از نمونه های آموزشی اتفاق می افتند. مشابه با مفهوم مرز در الگوریتم های مبتنی بر مرز، یک کلاس هم ارزی بوسیله الگوهای بسته[26] و تولیدکننده ها[27] تعیین می شود. الگوهای بسته، همان مجموعه آیتم های ماکزیمال هستند و تولیدکننده ها، همان مجموعه آیتم های کمینه در یک کلاس هم ارزی هستند که همه این آیتم ها دارای فراوانی یکسانی هستند. الگوریتم DPMiner، Discriminative Pattern Miner، الگوهای بسته و تولیدکننده ها را که برای نمایش یک کلاس هم ارزی کافی هستند، بصورت همزمان استخراج می کند. بعلاوه، قادر است که الگوهای با قدرت تمایز دلتا[28] را استخراج کند. الگوهای نوظهور با قدرت تمایز دلتا دارای حداکثر فراوانی در کلاس های مقابل است. با توجه به اینکه الگوریتم های ZBDD EP-miner و DPMiner، محدودیت های آلفا و بتا را بکار می گیرند تا فضای جستجوی الگوها را کاهش دهند؛ ممکن است بعضی از الگوهای نوظهور مفید در نظر گرفته نشوند و تاثیر نامطلوبی در کلاسه بندی داشته باشد.

[1] Emerging trends

[2] Time-stamped datasets

[3] Border based

[4] Border

[5] Border differentiation

[6] Maximal

[7] Constrain-based emerging pattern miner

[8] Inherent constraints

[9] External constraints

[10]  Growth rate improvement

[11] The same subset support

[12] Top growth rate

[13] The same origin

[14] Contrast pattern tree miner

[15] Depth first search

[16] Strong jumping emerging pattern

[17] Jumping  emerging pattern

[18] Zero suppressed binary decision diagram miner

[19] Positive instances

[20] Support

[21] Frequency

[22] Discriminative emerging pattern miner

[23] Itemset closure

[24] Equivalence class

[25] Frequent itemset

[26] Closed patterns

[27] Generators

[28] δ-discriminative

نوشته روش های استخراج الگوها اولین بار در ايران متلب. پدیدار شد.

• روش  Classification Based on Association (CBA) [27]

روش CBA در دو فاز اجرا می شود: تولید کننده قانون[2] و سازنده کلاسه بند[3]. تولید کننده قانون، الگوریتم Appriori را بکار می گیرد تا همه قوانینی با حداقل آستانه[4] فراوانی نسبی[5] و درجه اطمینان[6] را استخراج کند. برای کلاسه بندی کردن یک نمونه تست، سازنده کلاسه بند، قوانین را بر اساس مقادیر فراوانی نسبی و درجه اطمینانشان مرتب می کند. سپس، سازنده کلاس، اولین قانون را بعنوان بهترین قانون انتخاب می کند تا بر چسب کلاس را به نمونه تست اختصاص دهد. بدلیل اینکه CBA کلاسه بندی را بر اساس فقط یک قانون برای یک نمونه تست انجام می دهد، ممکن است باعث بروز مشکل بیش یادگیر[7] شود. 

• روش کلاسه بندی Classification based on Multiple-class Association Rule (CMAR) [28]

با توجه به اینکه CBA فقط بر اساس یک قانون با درجه اطمینان و فراوانی بالا کلاسه بندی را انجام می دهد، مشکل بیش یادگیری صورت می گیرد و لذا دقت کلاسه بند برای نمونه های تست کم خواهد شد. برای حل این مشکل، CMAR کلاسه بندی را بر اساس چندین قانون انجام می دهد. CMAR، درخت الگوی مکرر[8] را توسعه می دهد بطوری که بتواند الگوهای مکرر[9] را بصورت کارایی استخراج کند. CMAR چندین قانون را با استفاده از وزن دهی بر اساس χ برای کلاسه بندی بکار می گیرد.

• روش کلاسه بندیClassification based on Predictive Association Rule (CPAR) [29]

CPAR با الهام از الگوریتم FOIL [62] قوانین را تولید می کند. CPAR، مجموعه بسیار کوچکی از قوانین با قابلیت پیش بینی را با استفاده از الگوریتم حریصانه بطور مستقیم از مجموعه آموزشی استخراج می کند. برای جلوگیری از بیش یادگیری، CPAR بهترین k قانون را جهت کلاسه بندی کردن نمونه تست بکار می گیرد. CPAR در مقایسه با دیگر الگوریتم های استخراج قوانین دارای مزایایی بدین شرح است: 1) مجوعه خیلی کوچکتری از قوانین با کیفیت بالا بطور مستقیم از نمونه های آموزشی[10] استخراج می کند. 2) برای پرهیز از تولید قوانین تکراری، CPAR هر قانون را با توجه به مجموعه قوانینی که از قبل استخراج کرده است، تولید می کند. 3) برای کلاسه بندی، بهترین k قانون بکار گرفته می شود.

[1] Associative classifiers

[2] Rule generator

[3] Classifier builder

[4] Threshold

[5] Support

[6] Confidence

[7] Overfit

[8] Frequent pattern tree

[9] Frequent patterns

[10] Training instances

نوشته کلاسه بنده های مبتنی بر قانون اولین بار در ايران متلب. پدیدار شد.