نرم ­افزار داده کاوی Weka

 

تا به امروز نرم افزار های تجاری و آموزشی فراوانی برای داده کاوی در حوزه های مختلف داده ها به دنيای علم و فناوری عرضه شده­اند. هريک از آنها با توجه به نوع اصلی داده هايی که مورد کاوش قرار مي­دهند، روی الگوريتمهای خاصی متمرکز شده­اند. مقايسه دقيق و علمی اين ابزارها بايد از جنبه های متفاوت و متعددی مانند تنوع انواع و فرمت داده های ورودی، حجم ممکن برای پردازش داده ها، الگوريتمها پياده سازی شده، روشهای ارزيابی نتايج، روشهای مصور سازی [1] ، روشهای پيش پردازش [2] داده ها، واسطهای کاربر پسند [3] ، پلت فرم [4] های سازگار برای اجرا،‌ قيمت و در دسترس بودن نرم افزار صورت گيرد. از آن ميان، ‌نرم افزار Weka با داشتن امکانات بسيار گسترده،‌ امکان مقايسه خروجی روشهای مختلف با هم، راهنمای خوب، واسط گرافيگی کارآ، سازگاری با ساير برنامه­های ويندوزی، و از همه مهمتر وجود کتابی بسيار جامع و مرتبط با آن [ Data Mining, witten et Al. 2005 ] ، معرفی مي­شود. ميزکار [5] Weka ، مجموعه­ای از الگوريتم­‏های روز يادگيری ماشينی و ابزارهای پيش پردازش داده­‏ها مي‏­باشد. اين نرم­افزار به گونه­ای طراحی شده است که مي‏­توان به سرعت، روش­‏های موجود را به صورت انعطاف­پذيری روی مجموعه­‏های جديد داده، آزمايش نمود. اين نرم­افزار، پشتيباني‏‏های ارزشمندی را برای کل فرآيند داده کاوی ­‏های تجربی فراهم مي‏­کند. اين پشتيباني‏ها، آماده سازی داده­‏های ورودی، ارزيابی آماری چارچوب­‏های يادگيری و نمايش گرافيکی داده­‏های ورودی و نتايج يادگيری را در بر مي­گيرند. همچنين، هماهنگ با دامنه وسيع الگوريتم­‏های يادگيری، اين نرم­افزار شامل ابزارهای متنوع پيش پردازش داده­هاست. اين جعبه ابزار [6] متنوع و جامع، از طريق يک واسط متداول در دسترس است، به نحوی که کاربر مي‏­تواند روش­‏های متفاوت را در آن با يکديگر مقايسه کند و روش­‏هايی را که برای مسايل مدنظر مناسب­تر هستند، تشخيص دهد. نرم­افزار Weka در دانشگاه Waikato واقع در نيوزلند توسعه يافته است و اسم آن از عبارت “Waikato Environment for knowledge Analysis” استخراج گشته است. همچنين Weka ، نام پرنده­ای با طبيعت جستجوگر است که پرواز نمي‏­کند و در نيوزلند، يافت مي‏­شود. اين سيستم به زبان جاوا نوشته شده و بر اساس ليسانس عمومی و فراگير [7] GNU انتشار يافته است. Weka تقريباً روی هر پلت فرمی اجرا مي‏­شود و نيز تحت سيستم عامل­‏های لينوکس، ويندوز، و مکينتاش، و حتی روی يک منشی ديجيتالی شخصی [8] ، آزمايش شده است. اين نرم­افزار، يک واسط همگون برای بسياری از الگوريتم­‏های يادگيری متفاوت، فراهم کرده است که از طريق آن روش­‏های پيش پردازش، پس از پردازش [9] و ارزيابی نتايج طرح های يادگيری روی همه مجموعه های داده­‏ موجود، قابل اعمال است. نرم افزار Weka ، پياده سازی الگوريتم­‏های مختلف يادگيری را فراهم مي‏­کند و به آسانی مي‏­توان آنها را به مجموعه های داده خود اعمال کرد. همچنين، اين نرم­افزار شامل مجموعه متنوعی از ابزارهای تبديل مجموعه­‏های داده­‏ها، همانند الگوريتم­‏های گسسته سازی [10] مي‏­باشد. در اين محيط مي‏­توان يک مجموعه داده را پيش پردازش کرد، آن را به يک طرح يادگيری وارد نمود، و دسته­بندی حاصله و کارآيي­اش را مورد تحليل قرار داد. (همه اين کارها، بدون نياز به نوشتن هيچ قطعه برنامه­ای ميسر است.) اين محيط، شامل روش­‏هايی برای همه مسايل استاندارد داده کاوی مانند رگرسيون، رده‏بندی، خوشه­بندی، کاوش قواعد انجمنی و انتخاب ويژگی مي‏­باشد. با در نظر گرفتن اينکه، داده­‏ها بخش مکمل کار هستند، بسياری از ابزارهای پيش پردازش داده­‏ها و مصورسازی آنها فراهم گشته است. همه الگوريتم­‏ها، ورودي­‏های خود را به صورت يک جدول رابطه­ای [11] به فرمت ARFF دريافت مي‏­کنند. اين فرمت داده­‏ها، مي‏­تواند از يک فايل خوانده شده يا به وسيله يک درخواست از پايگاه داده­ای توليد گردد. يکی از راه­‏های به کارگيری Weka ، اعمال يک روش يادگيری به يک مجموعه داده و تحليل خروجی آن برای شناخت چيزهای بيشتری راجع به آن اطلاعات مي‏­باشد. راه ديگر استفاده از مدل يادگيری شده برای توليد پيش‏بيني­‏هايی در مورد نمونه­‏های جديد است. سومين راه، اعمال يادگيرنده­‏های مختلف و مقايسه کارآيی آنها به منظور انتخاب يکی از آنها برای تخمين مي‏­باشد. روش­‏های يادگيری Classifier ناميده مي‏­شوند و در واسط تعاملی [12] Weka ، مي‏­توان هر يک از آنها را از منو [13] انتخاب نمود. بسياری از classifier ‏ها پارامترهای قابل تنظيم دارند که مي‏­توان از طريق صفحه ويژگي‏‏ها يا object editor به آنها دسترسی داشت. يک واحد ارزيابی مشترک، برای اندازه‏گيری کارآيی همه classifier به کار مي‏­رود. پياده سازي­‏های چارچوب­‏های يادگيری واقعی، منابع بسيار ارزشمندی هستند که Weka فراهم مي‏­کند. ابزارهايی که برای پيش پردازش داده­‏ها استفاده مي‏­شوند. filter ناميده مي‏­شوند. همانند classifier ‏ها، مي‏­توان filter ‏ها را از منوی مربوطه انتخاب کرده و آنها را با نيازمندي­‏های خود، سازگار نمود. در ادامه، به روش به کارگيری فيلترها اشاره مي‏­شود. علاوه بر موارد فوق، Weka شامل پياده سازی الگوريتم­‏هايی برای يادگيری قواعد انجمنی، خوشه­ب ندی داده­‏ها در جايی که هيچ دسته­ای تعريف نشده است، و انتخاب ويژگي‏های مرتبط [14] در داده ­‏ها مي‏­شود.  

 

 

وکا (Weka) یک نرم افزار داده کاوی متن‌باز می‌باشد که بسیاری از الگوریتم‌های یادگیری ماشین را پشتیبانی می‌کند. تمام قسمت‌های این نرم‌افزار به زبان جاوا نوشته شده است و در نتیجه می‌تواند بر روی هر پلتفرمی اجرا گردد. در ادامه توضیحاتی در خصوص قسمت های مختلف این نرم افزار ذکر شده است و همچنین قابلیت های اصلی آن به صورت جزئی بررسی شده است که با مراجعه به آن ها می توانید بررسی کنید که آیا این نرم افزار به منظور اجرای پروزه شما مناسب می باشد یا خیر . همچنین لینک دانلود نرم افزار و فیلم آموززشی آن نیز در انتهای متن موجود است.

 این پکیج شامل چهار واسط کاربری متفاوت می‌باشد:

•  Explorer: در این حالت شما می‌توانید روش‌های مختلف آماده‌ سازی، تبدیل و الگوریتم‌های مدلسازی بر روی داده‌ها را اجرا کنید.
• Experimenter: در این حالت فقط امکان اجرای الگوریتم‌های مختلف رده‌بندی به صورت هم‌زمان و مقایسه نتایج آن‌ها وجود دارد. تمامی شاخص‌های مورد نیاز به منظور بررسی مدل‌های رده بندی در این قسمت تعریف شده و قرار دارند و گزارشات مفصلی را از جمله آزمون T می توان در این قسمت پس از مدلسازی استخراج نمود.
• Knowledge Flow: در این قسمت یک واسط گرافیکی طراحی شده است که مانند نرم افزارهای IBM Modeler و رپیدماینر در آن می توان جریان های داده ای مختلف تولید نمود.
•  (command line interface (CLI: در این حالت امکان مدلسازی توسط کدنویسی خط به خط قرار دارد.
• در وکا داده ها می توانند به فرمت های مختلف از جمله Excel، CSV و Arff باشند. اما به طور کلی این نرم افزار با داده‌ها به فرمت Arff میانه بهتری دارد.

 

 

حال شاید بخواهید با قابلیت های نرم افزار بیشتر آشنا شوید. در ادامه عملگرهای مختلف موجود در این نرم افزار تشریح شده اند.

برخی از توابع وکا به منظور آماده سازی داده‌ها به شرح زیر می باشد:

• تبدیل متغیرهای گسسته چند مقداری به دو مقداری و تبدیل متغیرهای پیوسته به گسسته
• روش‌های نمونه گیری با جایگذاری و بدون جایگذاری و روش‌های پیشرفته تر مانند SMOTE
• گسسته سازی بدون نظارت و با نظارت
• نرمالسازی و استانداردسازی
• روش LOF (Local Outlier Factor) برای پیدا کردن نقاط دورافتاده
• روش‌های مختلف برای ادغام مقادیر مختلف متغیرهای گسسته
• جایگذاری مقادیر از دست رفته
• کاهش بعد داده ‌ها با استفاده از تحلیل اجزای اصلی (PCA) و موجک (Wavelet)

به منظور مشاهده فهرست تمامی توابع  آماده‌سازی داده‌ها در وکا به اینجا مراجعه نمایید.

روش‌های خوشه‌بندی در این نرم افزار نیز به شرح زیر هستند:

• روش‌های بر پایه مرکز هندسی: kmeans
• روش‌های بر پایه چگالی: DBSCAN و OPTICS
• روش‌های سلسله مراتبی
• روش‌های برپایه توزیع احتمالی مانند EM

به منظور مشاهده فهرست تمامی روش های خوشه بندی در وکا به اینجا مراجعه نمایید.

روش‌های کشف قواعد انجمنی نیز به شرح زیر هستند:

• روش Apriori
• کشف قواعد انجمنی متوالی
• روش‌های درختی مانند FP growth

به منظور مشاهده فهرست تمامی روش‌های قواعد انجمنی در وکا به اینجا مراجعه نمایید.

برخی از روش‌های رده‌بندی معمول و جمعی موجود در این نرم افزار نیز به شرح زیر هستند:

• توابع: ماشین بردار پشتیبان (SVM) که توابع کرنل‌های مختلف را پشتیبانی می‌کند، شبکه‌های عصبی و رگرسیون لجستیک
• درخت‌های تصمیم: الگوریتم‌هایی مانند ID3 و C4.5
• روش‌های برپایه حافظه : kNN
• روش‌های بر پایه بیز: بیز ساده و شبکه بیزی
• روش‌های برپایه قاعده: جداول تصمیم و OneR (توانایی ساخت قوانین بر روی تنها یک متغیر)
• روش‌های یادگیری Bagging: Stacking، Adaboost، MultiClassClassifier  و تابع CVParameterSelection (به منظور تنظیم پارامترهای موجود در هر الگوریتم با استفاده از ده مرتبه اعتبارسنجی و استفاده از بهترین ترکیب برای ساخت بهترین مدل).

به منظور مشاهده فهرست تمامی روش های رده بندی در وکا به اینجا مراجعه نمایید.

روش های انتخاب متغیرها (ویژگی) در این نرم‌افزار به دو دسته فیلتری و پوشاننده تقسیم بندی شده اند. از میان روش‌های فیلتری موجود می‌توان به روش‌های chi-squared، سود اطلاعاتی، شاخص جینی و روش relief اشاره نموده. همچنین در روش‌های پوشاننده نیز امکان استفاده از روش‌های رده‌بندی وجود دارد. همچنین به منظور جسجوی مجموعه متغیرهای بهینه در روش‌های پوشاننده نیز روش‌های جستجوی متفاوتی ارائه شده است که از جمله آن‌ها می‌توان به  best-first(اولین بهترین ها)، forward selection (انتخاب روبه جلو)، الگوریتم ژنتیک و الگوریتم ازدحام ذرات اشاره نمود.

به منظور مشاهده فهرست تمامی روش‌های انتخاب ویژگی در وکا به اینجا مراجعه نمایید.

در نرم افزار وکا همچنین قابلیت کار با مجموعه داده‌های بزرگ و به اصطلاح Big Data وجود دارد. در هنگام مواجه با این مسائل بهترین پیشنهاد استفاده از پکیج command-line می‌باشد. همچنین امکان نوشتن کد مستقیما در جاوا یا زبان‌های بر پایه جاوا مانند Groovy یا Jython نیز وجود دارد.

به طور کلی محاسن این نرم افزار عبارتند از:

•  در بردارنده محدوده وسیعی آماده سازی داده‌ها و روش‌های انتخاب ویژگی‌ها به صورت یکپارچه.
• محدوده وسیعی از روش های رده بندی
• وجود تعداد زیادی شاخص به منظور ارزیابی روش های رده بندی
• محیط های مختلف کاری به منظور سهولت در اجرای مدلسازی های مختلف

برخی از معایب آن نیز عبارند از:

•  زمان‌بر بودن اجرای مدل‌ها به علت عدم بهینه بودن برخی از آنها (در برخی موارد زمان اجرای یک الگوریتم در این نرم افزار در مقایسه با نرم افزاری مانند IBM modeler حتی به 5 برابر نیز می رسد)
• محدودیت در منابع آموزشی
• محدودیت در روش های خوشه بندی و قواعد انجمنی
• محدودیت شدید در مصورسازی داده ها

برای یادگیری این نرم‌افزار منابع زیادی وجود دارد. یکی از این منابع که قسمت command line و بسیاری از عملگرهای این نرم افزار را به منظور پیش پردازش داده ها و مدلسازی یطور جامع تشریح کرده است توسط  Witten و Frank نوشته شده است. لینک دانلود این کتاب در انتهای متن موجود است. از فصل نهم به بعد این کتاب در خصوص نرم افزار توضیحاتی ارائه شده است.

نرم افزار وکا یک نرم افزار متن باز است و می توانید آنرا از این لینک دانلود نمایید.

تحلیل نهایی:

به قول یکی از دوستان “عزیزان در تحلیل نهایی” می توان گفت که نرم افزار وکا به منظور اجرای مدل های رده بندی علی رقم سرعت پایین آن، یکی از حرفه ای ترنی نرم افزارهای موجود است. تعداد بیشماری از مقالات منتشر شده تاکنون از این نرم افزار به منظور مدلسازی های خود استفاده نموده اند. همچنین این نرم افزار با داشتن دامنه وسیعی از روش های انتخاب ویژگی بسیار مناسب برای تحقیقاتی است که می خواهند از این روش ها استفاده کنند. یک ضعف اصلی این نرم افزار عدم وجود تحلیل کافی در خصوص روش های خوشه بندی است و همچنین عدم وجود شاخص های ارزیابی برای این روش ها است. در نهایت وکا با وجود محیط های مختلف در کوتاهترین زمان قابل یادگیری است و این یکی از مزیت های اصلی آن نیز می باشد.

 

---

دانلود فیلم آموزش فارسی نرم افزار weka

---

 

برای اولین بار در ایران

دانلود فیلم آموزش فارسی نرم افزار weka 

گروه ایران متلب یک فیلم آموزشی فارسی نرم افزار weka تهیه کرده است.

.

بیشتر فیلم های آموزشی نرم افزار weka که در اینترنت موجود هستند زبان اصلی می باشند.

.

شما با پرداخت مبلغ ناچیزی میتوانید این فیلم آموزش فارسی را دانلود کنید و این نرم افزار داده کاوی را سریع یاد بگیرید.

.

کار با این نرم افزار بسیار ساده و شیرین می باشد . دسته بندی کننده های بسیار کامل می باشند و تقریبا تمامی دسته بندی کننده ها و تابع های داده کاوی را شامل می شود. 

.

.

.

.

لينك دريافت فيلم آموزشي نرم افزار وكا

.

.

.

قسمتی از این فیلم آموزشی را در کلیپ زیر میتوانید ببینید.

لینک دانلود کیفیت بالا قسمت اول

---

محصولات مرتبط