در طی اعمال این الگوریتم، درخت‌ها به نمونه‌هایی که توسط درخت‌های قبلی نادرست پیش بینی شده اند، وزن بیشتری می‌دهند.

در نهایت مدل نهایی بر مبنای رأی‌گیری وزن‌دار بین درخت‌ها انجام می‌گیرد که این وزن‌ها بر اساس میزان دقت درخت‌ها تنظیم می‌شوند

نوشته درخت بوستینگ اولین بار در ايران متلب. پدیدار شد.

Algorithm: Bagging
Input :
Sequence of N examples D <( x1 ,y1 ),….., ( xN, yN )> with labels y i€ Y={ 1,…,L }
Distribution D over the N example
Integer K specifying number of iterations
Weak Learning algorithm WeakLearn (tree)
Do k=1,2,.., K
• Choose bootstrapped sample Di (n sample) by randomly from D.
• Call WeakLearn k with Di and receive the hypothesis (tree) ht.
• Add ht to the ensemble.
End
Test: Simple Majority Voting – Given unlabeled instance x
• Evaluate the ensemble {h1,….,hk} on x
• Choose the class that receives the highest total vote as the final classification.

شکل 2-1. معماری کلی الگوریتم بگینگ. با دریافت مجموعه‌ی آموزشی D با سایز N ، به تعداد K مجموعه آموزشی جدید Di، با سایز n<N، تولید می‌شود)بعنوان Bootstrap sample ). K مدل مختلف با استفاده از K زیر مجموعه، آموزش داده می‌شوند و در نهایت کلاسی که تعداد بیشتری از مدل ها به آن رای داده اند، انتخاب می شود.
از جمله عوامل تأثیرگذار در موفقیّت متدهای یادگیری تجمعی، بحث تنوع مدل‌های پایه و همچنین دقت هرکدام از مدل‌هاست. همانطور که واضح است اگر مدل‌های پایه متنوع یا به اصطلاح diverse نباشند، ترکیب آن‌ها بی فایده است. در متد بگینگ، استفاده از مجموعه‌های متفاوت از مجموعه داده اولیه، شرط تنوع را تضمین می‌کند. از طرف دیگر، زمانی یک مدل می‌تواند از تغییرات مجموعه داده آموزشی خود استفاده کند که ناپایدار باشد . ناپایدار بودن به این معناست که تغییرات کوچک در ورودی (مجموعه ی آموزشی) منجر به تغییرات بزرگ در خروجی مدل شود. از جمله پیش بینی کننده‌های ناپایدار می‌توان به شبکه‌های عصبی مصنوعی و درختان تصمیم‌گیری اشاره کرد. هرچند مدل نزدیکترین همسایگی جزء کلاسه بندهای پایدار به حساب می‌آید [29].
با توجه به مباحث مطرح شده، می‌توان نتیجه‌گیری کرد که استفاده از درخت تصمیم‌گیری بعنوان مدل‌های پایه‌ای متدهای یادگیری تجمعی کارایی مؤثری دارد و برهمین اساس تحقیقات زیادی انجام و منجر به تولید الگوریتم‌های بسیار قدرتمندی نظیر رندوم فارست شد. در ادامه نیز به بررسی دو نوع متد مبتنی بر بگینگ خواهیم پرداخت.
از جمله انواع الگوریتم‌هایی که روند بگینگ را دنبال می‌کنند، می‌توان به دو نوع (1) pasting small votes و(2) رندوم فارست اشاره کرد.
• pasting small votes: که طراحی آن در راستای استفاده بر روی پایگاه داده‌های بزرگ بوده است. در این الگوریتم، یک مجموعه داده به زیرمجموعه کوچکتر به نام بیت تقسیم شده و روی هرکدام یک کلاسه بند متفاوت آموزش داده می‌شود. اگر انتخاب این مجموعه داده‌ها بر اساس رندوم باشد Rvotes (مشابه بگینگ) نامیده شده و اگر بر اساس اهمیت آن بخش باشد، با نام Ivotes (مشابه بوستینگ) شناخته می‌شوند[29].
• رندوم فارست: نوع دیگر روش بگینگ الگوریتم رندوم فارست است که به دلیل گستردگی استفاده از آن در این پایان‌نامه، مفاهیم آن بطور مفصل در بطور مجزا در بخش بعدی توضیح داده شده است.

نوشته درخت بگینگ Bagging tree اولین بار در ايران متلب. پدیدار شد.

در سال 2001، Breiman الگوریتم رندوم فارست را ارائه داد که یک حالت عمومی‌تر از بگینگ به حساب می‌آید و در واقع یک لایه رندوم به بگینگ اضافه می‌کند. در این الگوریتم علاوه بر اینکه هر درخت با استفاده از سمپل‌های متفاوتی از داده‌ها ساخته می‌شود، روند ساخت درخت‌ها نیز تغییر می‌کند. در واقع در یک درخت استاندارد، هر گره تصمیم با استفاده از بهترین نقطه شکست انتخاب از میان همه خصیصه‌ها شکسته می‌شود، اما در رندوم فارست، هر گره تصمیم بر مبنای بهترین نقطه شکست از میان زیرمجموعه‌ای از خصیصه‌هایی که بطور رندوم در سطح آن گره انتخاب شده اند، شکسته می‌شود [30]. معماری کلی مربوط به رندوم فارست برگرفته از [31] در شکل1-2 آمده است.

شکل 2-2. نمایی کلی از الگوریتم رندوم فارست که یک متد یادگیری تجمعی برای کلاسه‌بندی و رگرسیون است. مدل‌های پایه، درختان تصمیم‌گیری CART هستند و خروجی نهایی K، بر اساس رای‌گیری خروجی‌های B عدد درخت تعیین می‌شود. در مورد کلاسه‌بندی، رای نهایی بر مبنای مُد خروجی‌ها و در مورد رگرسیون بر اساس میانگین‌گیری تعیین می‌شود.

بکارگیری این استراتژی باعث عملکرد مناسب و کارا در مقایسه با دیگر الگوریتم‌ها همچون آنالیزهای جداسازی، بردارهای پشتیبان کننده و شبکه‌های عصبی مصنوعی می‌شود. همچنین این تکنیک فقط به تنظیم دو پارامتر (1) تعداد متغیرهای قرار گرفته در زیرمجموعه‌ی رندوم انتخاب شده و (2) تعداد درختان مورد استفاده، نیاز دارد و علاوه بر آن، حساسیت شدیدی نسبت به مقادیر این پارامترها ندارد.

2-3-1. مراحل توسعه‌ی رندوم فارست
بطور کلی الگوریتم رندوم فارست یک مجموعه از درخت‌های شبه CART است . مروری کلی بر این الگوریتم را تحت 4 مبحث 1) مرحله رشد درختان ، 2) مرحله ترکیب درختان ، 3) مرحله خودآزمایی و 4) مرحله پس پردازش بررسی می‌کنیم که این مباحث از [32] آمده است.
1) مرحله رشد درختان:
درختان موجود در رندوم فارست، شاخه‌های دوتایی دارند، یعنی هر والد، تنها به دو فرزند تقسیم می‌شود. رندوم بودن در دو مرحله به هرکدام از این درختان تزریق می‌شود، (1) در توسعه هر درخت روی نمونه‌های رندوم انتخاب شده از داده آموزشی و (2) در مرحله انتخاب بهترین نقطه شکست از میان متغیرهایی که بطور رندوم از میان همه متغیرها انتخاب شده‌اند. اگر m، تعداد کل خصیصه‌ها باشد، مقادیری که Breiman برای تعداد متغیرهای انتخابی R پیشنهاد داد، به ترتیب در فرمول‌های (2-1)، (2-2) و (2-3) بدین ترتیب بود:

انتخاب زیرمجموعه‌ای از خصیصه‌ها و توسعه‌ی درختان براساس آن‌ها منجر به افزایش سرعت رشد درختان و همچنین عدم نیاز به اعمال الگوریتم‌های انتخاب خصیصه می‌شود.
2) انتخاب نقطه شکست در رندوم فارست:
هرچند انتخاب بهترین نقطه شکست از زیرمجموعه رندوم، ممکن است لزوماً بهترین نتیجه را در بر نداشته باشد، اما تکرار این انتخاب‌ها در مورد هرگره، تصمیم‌گیری متفاوتی را در طی ساخت درخت فراهم می‌کند و نهایتاً متغیرهای مهم نیز در ساخت درخت دخیل خواهند شد. این موضوع دلیلی است در راستای تأکید بر استفاده از درخت‌های با سایز کامل، که هَرَس نشده باشند. نتایج تحقیقات نیز نشان داده‌اند که هَرس کردن این درختان منجر به کاهش کارآیی الگوریتم می‌شود.
3) مرحله خودآزمایی در رندوم فارست:
در طی اعمال الگوریتم رندوم فارست با توجه به مرحله نمونه برداری bootstrap، هر درخت تقریبا بر روی 63% از داده‌ها، رشد پیدا می‌کند. بنابراین 37% از داده‌ها، در مورد هر درخت استفاده نمی‌شود که به این داده‌ها “Out Of Bag” یا به اختصار OOB می‌گویند. از داده‌های OOB که در مورد هر درخت داده‌های مجزایی هستند ، می‌توان برای ارزیابی درختان توسعه یافته استفاده کرد. در واقع با استفاده از این مجموعه داده‌های OOB، الگوریتم رندوم فارست می‌تواند آمارهایی مربوط به کارآیی الگوریتم خود ارائه دهد. همچنین مسئله RF Self-testing، شبیه مسئله وارسی اعتبار می‌باشد که هر بار روی قسمت بندی‌های متفاوتی از داده اولیه محاسبه می‌شوند. بنابراین با استفاده از این قابلیت رندوم فارست، حتی اگر کل داده آموزشی بعنوان ورودی الگوریتم استفاده شود، امکان Self-testing در طی یادگیری فراهم است. علاوه برآن، این قابلیت در مورد داده‌های کوچک حائز اهمیت زیادی است، چرا که نیازی به کنار گذاشتن قسمتی از داده برای تست، لازم نیست. بنابراین از جمله الگوریتم‌های پرکاربرد در خصوص اعمال بر روی داده‌های کم سایز محسوب می‌شود. از دیگر نتایج وجود داده‌هایOOB در هنگام ساخت درخت، مقاومت در برابر مسئله بیش برازش و عمومیت‌بخشی در برابر داده‌های جدید، می‌باشد. همچنین با انتخاب زیرمجموعه¬ای از خصیصه‌ها، نیازی به اعمال الگوریتم‌های انتخاب ویژگی نیز نخواهد بود[21].
4) مرحله پس پردازش در رندوم فارست:
در واقع پس از ساخت درختان، با دقت در آنها، دید بهتری در مورد داده می‌توان بدست آورد. با در نظر گرفتن هر رکورد، می‌توان تعداد دفعاتی که هر دو رکورد در برگ‌های یکسان درختان قرار گرفته‌اند، را محاسبه کرد و میزان شباهت آن‌ها را بدست آورد. معیار فاصله بدست آمده از این طریق می‌تواند برای ساخت ماتریس عدم شباهت نیز استفاده شود که بعنوان ورودی الگوریتم‌های خوشه یابی سلسله مراتبی بسیار پرکاربردند. همچنین با حرکت روی مسیر درختان، عملاً مکانیزم الگوریتم نزدیکترین همسایگی انجام می‌شود. در نظر بگیرید که برای رسیدن به یک گره در درخت، یک رکورد باید تمام شرایط در همه والدها را ارضا کند، بنابراین رسیدن دو رکورد به یک گره نشان دهنده شباهت آن‌هاست. پس همانند تکنیک نزدیکترین همسایگی که با توجه به شبیه‌ترین همسایه‌ها، بر چسب آن داده جدید را پیش¬بینی می‌کند، درختان موجود در رندوم فارست نیز همانند این روند را می‌توانند دنبال کنند.
5) مرحله ترکیب درختان در رندوم فارست:
از آنجا که در متدهای یادگیری تجمعی نهایتاً یک مدل نهایی ارائه می‌شود، پس در اینجا نیز درخت‌های آموزش دیده، باید ترکیب شوند. همانطور که پیشتر بیان شد، در مورد مسائل کلاسه بندی، بین نتایج مدل‌ها رأی‌گیری و در مورد مسائل رگرسیون از نتایج مدل‌ها میانگین‌گیری می‌شود. همچنین ترکیب مدل‌ها می‌تواند بر اساس نوعی وزن‌دهی صورت گیرد، یعنی همه مدل‌ها به یک اندازه در مدل نهایی مشارکت نداشته باشند. از جمله تلاش‌هایی که در این زمینه صورت گرفته می‌توان به موارد [33] و [34] اشاره کرد. در اکثریت این تحقیقات، وزن‌دهی و میزان مشارکت یک مدل، بر اساس دقت آن تعیین می‌شود.

2-3-2. تئوری‌های مرتبط با رندوم فارست
در این بخش به بیان تعاریف ریاضی موجود از رندوم فارست می‌پردازیم که در مقاله اصلی [21] در مورد رندوم فارست آمده است. همچنین تئوری‌های مرتبط با این الگوریتم همچون مسئله همگرایی، دقت و خطای عمومی آن را بررسی می‌کنیم. علاوه بر آن به معرفی مجموعه OOB پرداخته و چگونگی کاربرد آن را برای محاسبه قدرت، وابستگی و مشاهده خطا در روند ساخت الگوریتم توضیح می‌دهیم. همچنین، از آنجا که تمرکز اصلی این پایان نامه با توجه به داده‌های ترافیکی، انجام رگرسیون است، بنابراین مسئله رگرسیون رندوم فارست را نیز بررسی کرده و در انتها، مزایا و کاربردهای الگوریتم رندوم فارست را توضیح می‌دهیم.
تعریف ریاضی رندوم فارست: “یک رندوم فارست یک کلاسه بند است که از مجموعه ای (k عدد) از کلاسه بندی‌های با ساختار درختی تشکیل شده که بردارهای رندوم مستقل و یکنواخت توزیع شده هستند و هرکدام از درخت‌ها یک رأی واحد را برای مشهورترین کلاس با ورودی x تعیین می‌کنند” [21].
“بعبارتی برای kاُمین درخت یک بردار رندوم تولید شده که مستقل از بردارهای رندوم قبلی یعنی است، اما توزیع یکسانی دارد و هر درخت با استفاده از مجموعه آموزشی و رشد پیدا می‌کند. نهایتاً هر درخت، یک کلاسه بند را نتیجه خواهد داد که X یک بردار ورودی است”[21]. الگوریتم رندوم فارست بصورت شبه کُد در شکل 2-3 (برگرفته از [32]) آورده شده است.

Algorithm Random Forest (k)
Input : Sequence of N examples  <( x1 ,y1 ),….., ( xN, yN )>  with labels   y i€ Y={ 1,…,L }
Distribution D over the N example
Integer K specifying number of iterations
p = # of variables
Do For t=1,2,.., K(# trees)
• Choose bootstrap sample Di from D to construct tree Ti
• Select m input variables at random from p
       o (m<<p)
       o To determine the decision tree at a node of the tree
• Calculate the best split based on these m variables in the training set
End

Choose the class that receives the highest total vote as the final classification.

شکل 2-3. معماری کلی مربوط به الگوریتم رندوم فارست. در طی رشدK عدد درخت، توسعه‌ی هر درخت روی نمونه‌های رندوم انتخاب شده Di صورت گرفته و از میان p خصیصه‌ی نمونه‌ها، m خصیصه بطور رندوم انتخاب می‌شوند.
در قسمت بعدی نیز، در راستای توصیف دقت رندوم فارست ، نگاهی کلی به مسائل همگرایی رندوم فارست و خطای عمومی این الگوریتم که توسط Breiman بیان شده‌اند، خواهیم داشت[21].

نوشته رندوم فارست اولین بار در ايران متلب. پدیدار شد.

زبان برنامه نویسی پایتون یکی از زبان های برنامه نویسی است که به سرعت در حال افزایش محبوبیت و کاربرد در بین برنامه نویسان می باشد.

پردازش تصویر روشی برای تبدیل یک تصویر به صورت دیجیتال و انجام برخی از عملیات بر روی آن، به منظور دریافت یک تصویر بهبود یافته و یا برای استخراج برخی از اطلاعات مفید از آن است. 

سرفصل مطالب :

باز کردن و نوشتن فایلهای تصویری

نمایش تصویر

تغییرات پایه

اطلاعات آماری

تبدیلات هندسی geometrical

فیلتر کردن تصویر

تبدیل فوریه تصویر

بلوری کردن

شفاف سازی

حذف نویز

عملیات مرفولوژی

استخراج ویژگی

لبه یابی

قطعه بندی segmentation

انداه گیری خصوصیات اشیا object داخل تصویر

نوشته پردازش تصویر در پایتون اولین بار در ايران متلب. پدیدار شد.

.

.

.

.

.

.

بعد از مدتها ایران متلب تصمیم گرفت فیلم آموزشی تهیه شده توسط مهندس قیصری مدیر گروه ایران متلب را برای استفاده کاربران ایران متلب جهت دانلود قرار دهد.

این فیلم آموزشی یک محصول منحصربفرد از ایران متلب می باشد که هیچ جای دیگری مشابه آن را پیدا نخواهید کرد. آموزش های متلب زیاد هستند اما آموزشی که توسط متخصص با تجربه و با سابقه متلب تهیه شده است ، کمیاب است.

مهندس قیصری دارای سابقه نه ساله در کدنویسی متلب در پروژه های مختلف دانشجویی و صنعتی می باشد. ایشان تاکنون بیش از چند میلیون خط کد متلب را نوشته است و با بیشتر قسمت ها و دستورات متلب آشنایی دارند.

این مجموعه فیلم آموزشی بیش از 100 قسمت یا 200 قسمت شاید هم بیشتر خواهد بود که به مرور برای خریداران این محصول ایمیل خواهد شد. کاربران محترمی که می خواهند بقیه قسمت ها را به مرور دریافت کنند ، می توانند هزینه این آموزش را پرداخت کنند.

مهندس قیصری قصد دارند در این محموعه بزرگ فیلم آموزشی ، همه چیزهایی که از متلب بلد هستند را به دیگران یاد بدهند. 

چرا این آموزش به مرور برای کاربران ایمیل می شود؟

یادگیری یک نرم افزار برنامه نویسی مانند متلب یک شبه اتفاق نمی افتد و نیاز به تمرین و ممارست دارد. لذا ایران متلب تصمیم گرفت قسمت های آموزش را به مرور برای کاربران خود ارسال کند تا زمان داشته باشند با تمرین های مختلف آموزش را در ذهن خود نهادینه کنند.

هر چند مدت یک بار قسمتی از این آموزش ایمیل خواهد شد؟

به طور متوسط هر هفته ، سه تا چهار قسمت ایمیل خواهد شد.

لینک دانلود

نوشته سیر تا پیاز متلب MATLAB اولین بار در ايران متلب. پدیدار شد.

بعد از وارد کردن داده ها به محیط متلب ، برنامه ای نوشته می شود که بر روی این داده ها بر اساس هدف پروژه ، عملیاتی انجام شود.

به عنوان مقال فرض کنید می خواهید یک مدلسازی با شبکه عصبی انجام دهید. داده های ورودی شما در یک تعداد فایل اکسل جمع آوردی شده اند و شما می خواهید این داده ها را وارد محیط متلب کنید و سپس برنامه شبکه عصبی آن را بنویسید و مدلسازی برای شما انجام شود.

در این فیلم آموزشی ما به شما سه روش را برای وارد کردن داده های یک فایل ورودی به متلب را آموزش می دهیم. این فایل ورودی می تواند فایل اکسل یا متنی و … باشد.

این آموزش را در هیچ جای اینترنت نمی توانید پیدا کنید. بعضی از این روشها ابتکاری می باشد که در هیچ کتابی قابل دسترسی نیست .

در این آموزش هم کدنویسی و هم بدون کدنویسی نحوه وارد کردن فایل اکسل آموزش داده می شود.

مدت زمان : 45 دقیقه

.

.

.

.

لینک دریافت

خلاصه قسمت 1 :

لینک مشاهده خلاصه 1 در یوتیوب

خلاصه قسمت 2 :

لینک مشاهده خلاصه 2 در یوتیوب

خلاصه قسمت 3 :

لینک مشاهده خلاصه 3 در یوتیوب

خلاصه قسمت 4 :

لینک مشاهده خلاصه 4 در یوتیوب

نوشته فیلم آموزشی وارد کردن داده های فایل اکسل به متلب اولین بار در ايران متلب. پدیدار شد.

در اینترنت کدهای زیادی برای random forest وجود دارد. ما بیشتر آنها را تست کردیم و یکی از بهترین آنها را انتخاب کردیم.  در این فیلم آموزشی نحوه استفاده از این کد را با چندین مثال تشریح می کنیم. 

تئوری random forest در این فیلم آموزشی بسیار کم صحبت شده است و تمرکز اصلی بر پیاده سازی در متلب است.

این فیلم آموزشی برای کسانی مناسب است که می خواهند یک پروژه برنامه نویسی random forest د رمتلب را انجام دهند. 

.

.

لینک دانلود

.

.

پیش نمایش قسمت اول :

دانلود پیش نمایش قسمت اول

پیش نمایش قسمت دوم:

دانلود پیش نمایش قسمت دوم

پیش نمایش قسمت سوم:

دانلود پیش نمایش قسمت سوم

نوشته آموزش برنامه نویسی random forest در متلب اولین بار در ايران متلب. پدیدار شد.