[19] یک روش کلی برای بهبود دقت یادگیر‌های ضعیف، توسط یک پروسه تکرار‌شونده است. شپیر در سال 1990 اثبات کرد که یادگیر‌های ضعیف، که عملکرد آنها اندکی بهتر از حدس تصادفی است، می توانند طوری با هم ترکیب شوند که یک یادگیر قوی و دقیق را تشکیل دهند.
روش Boosting همانند Bagging از باز‌نمونه‌گیری[1] داده‌ها و تلفیق خروجی یادگیر‌ها با استفاده از رای به اکثریت، بهره می‌برد. اما Boosting، عملیات باز‌نمونه‌گیری را طوری انجام می‌دهد که تمرکز یادگیری بیشتر به سمت نمونه‌های سخت‌تر معطوف شود.
الگوریتم اصلی و ابتدایی Boosting، سه دسته‌بندی‌کننده ضعیف را به وجود می‌آورد. اولین دسته‌بندی‌کننده ضعیف با نام c1، توسط زیر مجموعه داده‌ای تصادفی S1 آموزش داده می‌شود. دسته‌بندی‌کننده بعدی با نام c2 با زیر مجموعه داده‌ای S2، که نیمی از آن متشکل از نمونه‌های درست دسته‌بندی شده توسط c1 و نیمی دیگر از نمونه‌های غلط دسته‌بندی شده توسط c1 است، آموزش داده می‌شود. در نهایت دسته‌بندی‌کننده c3 توسط S3 آموزش داده می‌شود که S3 شامل نمونه‌هایی است که c1 و c2 در مورد آنها اتفاق نظر ندارند.
[1] Re-sampling
این بدان معنی است که یادگیر جمعی تقویتی همیشه بهتر از هر یک از یادگیر‌های پایه‌اش عمل می‌کند. به علت وجود این نکته جالب، boosting توجه بسیاری از محققین را به خود جلب کرد. قابل ذکرترین محصول از روش‌های boosting را می‌توان الگوریتم AdaBoost دانست که در ابتدا برای حل مسائل دوکلاسه پیشنهاد شد. کارایی[1] تضمین شده‌ی این الگوریتم باعث شده که به یکی از موثرترین روش ها در زمینه هوش محاسباتی[2] بدل شود [20].
[1] Performance
[2] Computational intelligence