الگوریتم AdaBoost، یک روش یادگیری جمعی است و معروف‌ترین الگوریتم از خانواده الگوریتمهای Boosting است که توسطFreund و Schapire [24] ارائه شده است. در الگوریتم های یادگیری جمعی، یک نمونه توسط چندین کلاسه بند مختلف کلاسه بندی می شود و نتایج کلاسه بندی ها به شکل هوشمندانه ای با یکدیگر ترکیب شده و نتیجه نهایی برای آن نمونه خاص تعیین می گردد. اغلب، کارایی الگوریتم یادگیری جمعی در مقایسه با تک تک کلاسه بندهای شرکت کننده در ساختار آن بالاتری کسب می نماید [56]. این الگوریتم خطا و واریانس دادههای آموزشی را کاهش داده امّا بسیار به نویز موجود در داده حساس است [57]. در الگوریتم یادگیری جمعی، هر کلاسه بند، با یک زیر مجموعه تصادفی و منتخب از کل نمونه ها، آموزش داده می شود. با شکل گرفتن چندین کلاسه بند متفاوت، کلاسه بند نهایی که نتیجه نگاه جمعی است دارای کارایی بالاتری خواهد بود.
روش یادگیری جمعی AdaBoost، هر کلاسه بند با یک bootstrap متفاوت آموزش داده می شود. روش نمونه گیری bootstrap، بدین صورت است که به تعداد نمونه های آموزشی، نمونه از مجموعه داده آموزشی با جایگذاری و بصورت تصادفی انتخاب می شود. نمونه با جایگذاری این امکان را بوجود می آورد که یک نمونه چندین بار انتخاب شود. نشان داده شده است که زیر مجموعه حاصل از نمونه گیری به روش bootstrap، بطور میانگین شامل 63.2 از کل نمونه های آموزشی است.
در روش AdaBoost، در هر تکرار، تمرکز کلاسه بند مربوطه بیشتر بر تشخیص نمونه هایی است که به اشتباه توسط کلاسه بندهای مراحل قبل برچسب گذاری شده اند. در این روش، اولین کلاسه بند با یک bootstrap از مجموعه آموزشی، آموزش داده می شود. سپس کلاسه بند مرحل اول، با تمام نمونه های آموزشی تست می شود و تعیین می گردد که کدام نمونه ها توسط این کلاسه بند به درستی قابل تشخیص می باشند و کدام نمونه ها به اشتباه کلاسه بندی می شوند. سپس احتمال انتخاب نمونه هایی که به اشتباه کلاسه بندی شده اند، برای نمونه گیری مرحله بعد، افزایش می یابد و احتمال انتخاب نمونه هایی که به درستی کلاسه بندی شده اند، کاهش می یابد. بنابراین، کلاسه بندهای بعدی به احتمال زیاد با نمونه هایی آموزش داده می شوند که توسط کلاسه بندهای مراحل قبلی به درستی قابل تشخیص نبوده اند و احتمال آنکه مجددا با نمونه هایی که توسط کلاسه بندهای قبلی به درستی قابل تشخیص بوده اند، آموزش داده می شوند، کاهش می یابد. Schapire نشان داد که اگر کارایی کلاسه بند مورد استفاده، اگر کمی بهتر از شانس (50 درصد) باشد، با دنبال هم قرار دادن مجموعه ای از این کلاسه بندها، می توان به کارایی بالایی دست یافت.