データ準備

バギングとは何か？予測精度を劇的に上げるアンサンブル学習の全貌

機械学習の現場で「モデルの精度がどうしても上がらない」という壁にぶつかったとき、多くのエンジニアが頼る切り札のひとつがバギング（Bagging）だ。正式名称は「Bootstrap Aggregating（ブートストラップ集約）」。1994年にLeo Breimanが提唱して以来、単一モデルの弱点を複数モデルの協調によって補うという発想は、今日の機械学習エンジニアリングの根幹を成している。

なぜ複数のモデルを束ねるだけで予測精度が「劇的に」改善するのか。その裏には、統計学の原理に基づいた緻密な設計がある。ランダムフォレスト、ブースティング、スタッキング——アンサンブル学習の多様な手法が乱立する2026年現在、バギングはその原点として改めて注目されている。本記事では、仕組みの数理的な背景から、scikit-learnでの実装、実務への応用まで、一気に読み解く。

📌 【この記事の重要ポイントまとめ】

• 要点1：バギングはブートストラップサンプリングで複数の訓練データを生成し、各モデルの予測を多数決・平均で統合することで、単一モデルより高い精度を実現するアンサンブル手法。
• 要点2：バギングの最大の効果は「分散の削減」にある。過学習しやすい高分散モデル（決定木など）に特に有効で、ランダムフォレストはバギングを発展させた代表格。
• 要点3：scikit-learnのBaggingClassifier／BaggingRegressorを使えば数行のコードで実装でき、分類・回帰の両タスクに応用できる実用性の高さが強み。

---

【基礎から理解】バギングとは何か？その仕組みと「なぜ効くのか」の本質

バギングを一言で表すなら、「データを使い回して複数のモデルを作り、その答えを合議制で決める手法」だ。具体的なステップは以下のとおり。

まず、元の訓練データセット（N件）から復元抽出（ブートストラップサンプリング）によってN件のサブセットをB個作成する。復元抽出なので同じサンプルが複数回選ばれることもあれば、一度も選ばれないサンプル（Out-of-Bag：OOBサンプル）も生まれる。統計的に、1回の抽出で特定サンプルが選ばれない確率は約36.8%（1/e）に収束するため、各サブセットは元データの約63.2%をカバーする。

次に、B個のサブセットそれぞれに対して独立したモデル（基底学習器）を学習させる。最後に、分類タスクなら多数決（ハードボーティング）または確率の平均（ソフトボーティング）、回帰タスクなら予測値の平均をとって最終出力とする。

では「なぜ効くのか」。答えは分散削減の原理にある。機械学習モデルの誤差は「バイアス」と「分散」に分解できる（バイアス・バリアンス分解）。バギングは基本的にバイアスをほとんど変えずに分散を大幅に削減する。互いに相関の低いB個のモデルがあるとき、それらの平均の分散は単一モデルの約1/B倍になる。完全に独立していれば理論通りだが、実際は相関があるため完全ではないものの、大幅な精度改善が期待できる。これがバギングの数理的な根拠だ。

---

【アンサンブル学習の地図】バギング・ブースティング・スタッキングの違いを整理する

アンサンブル学習は大きく3つの戦略に分類できる。それぞれの設計思想がまるで異なるため、混同しないよう整理しておきたい。

バギング（Bagging）は前述のとおり、複数モデルを並列に・独立して学習させる。各モデルは他のモデルの結果を知らない。目的は高分散の抑制であり、過学習しやすいモデルに向く。

ブースティング（Boosting）は対照的に、モデルを逐次的・依存的に学習させる。AdaBoostやXGBoost、LightGBMが代表例で、前のモデルが誤分類したサンプルに重みを加えて次のモデルに学習させる。目的は高バイアスの削減であり、弱学習器（shallow treeなど）を積み重ねて強力な予測器を構築する。バギングよりも最終的な精度はしばしば高くなるが、ハイパーパラメータ調整が煩雑で、外れ値の影響を受けやすいという側面もある。

スタッキング（Stacking）は1次モデルの予測値を特徴量として2次モデル（メタ学習器）に学習させる手法だ。異なるアルゴリズム同士を組み合わせられる柔軟性が強みだが、実装の複雑さとデータリークのリスク管理が課題になる。

2026年時点でのKaggleコンペや産業応用を見ると、最終的な精度勝負ではブースティング系のLightGBM・XGBoostが強い一方、不安定なデータ環境や解釈性が求められる場面ではバギング系のランダムフォレストが選ばれるケースが依然として多い。

---

【ランダムフォレストとバギングの関係】なぜ「木を束ねる」のが最強なのか

バギングの代表的な応用先として、多くの人が最初に思い浮かべるのがランダムフォレスト（Random Forest）だろう。Leo Breimanが2001年に発表したこのアルゴリズムは、バギングに「特徴量のランダム選択」という追加の仕組みを組み込んだものだ。

通常のバギングでは、各基底学習器（例：決定木）がすべての特徴量を使って分岐を決める。しかしランダムフォレストでは、各分岐点で全特徴量のうちランダムに選んだm個（一般にm=√p）だけを候補として使用する。これにより、各ツリー間の相関がさらに低下し、バギングの分散削減効果が一層強まる。

決定木は単体では過学習しやすい典型的な高分散モデルだが、ランダムフォレストでは多数の深いツリーを束ねることで、その弱点が逆に強みに転化される。表形式データに対するベースラインモデルとして、ランダムフォレストが今なお第一選択肢に挙がるのはこのためだ。

なお、バギングは決定木以外の弱学習器にも適用できる。SVMやk-NNをベースにしたバギングも技術的には可能で、scikit-learnのBaggingClassifierは任意の基底推定器を受け付ける。ただし、計算コストやバイアス・分散トレードオフの観点から、決定木との組み合わせが実務上最も効果的とされている。

---

【scikit-learnでの実装】BaggingClassifier・BaggingRegressorの使い方と実例コード

バギングの実装は驚くほどシンプルだ。Pythonのscikit-learnライブラリにはBaggingClassifier（分類）とBaggingRegressorRegressor（回帰）が用意されており、以下のように数行で動かせる。

【分類タスクの実装例】

from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score X, y = load_breast_cancer(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # バギング分類器の構築 bagging_clf = BaggingClassifier( estimator=DecisionTreeClassifier(max_depth=None), # 深い木（高分散） n_estimators=100, # ブートストラップサンプル数 max_samples=1.0, # 各サンプルから使うデータ割合 max_features=1.0, # 各サンプルから使う特徴量割合 bootstrap=True, # 復元抽出の有効化 oob_score=True, # OOBスコアで汎化性能を推定 random_state=42, n_jobs=-1 # 全CPUコアを使って並列処理 ) bagging_clf.fit(X_train, y_train) y_pred = bagging_clf.predict(X_test) print(f"テスト精度: {accuracy_score(y_test, y_pred):.4f}") print(f"OOBスコア: {bagging_clf.oob_score_:.4f}")

このコードで特に注目したいのがoob_score=Trueの設定だ。Out-of-Bagサンプル——各ブートストラップで使われなかった約36.8%のデータ——を使って自動的に汎化性能を推定できる。クロスバリデーションを省略できるため、大規模データでの計算コスト削減に有効だ。

回帰タスクへの応用も同様にシンプルだ。BaggingRegressorを使い、estimatorにDecisionTreeRegressorを指定するだけでよい。住宅価格予測や需要予測など、連続値の出力が必要なシナリオで広く活用される。複数の独立したツリーの予測値を平均することで、単一ツリーの不安定な予測が安定する様子は、実際にRMSE（二乗平均平方根誤差）を比較すると顕著に確認できる。

主要なハイパーパラメータとその影響をまとめると——n_estimatorsは増やすほど安定するが計算コストが線形に増加、max_samplesとmax_featuresを1.0より小さくすると多様性が増すが個別モデルの精度は下がるトレードオフがある。実務では、n_estimators=100〜500程度から始め、OOBスコアの収束を見ながら調整するアプローチが定石だ。

---

【過学習・高分散を抑制する原理】バギングがモデルの「暴走」を止める理由

機械学習モデルが訓練データに過度に適合してしまう過学習は、実務における最大の課題の一つだ。特に決定木を深く成長させると、訓練誤差はほぼゼロに近づくが、テストデータでの性能は大幅に劣化する。この「訓練データへの暴走」をバギングはどう抑制するのか。

核心は「多様性の強制」にある。ブートストラップサンプリングによって各モデルが異なるデータの部分集合を見るため、各ツリーは微妙に異なる特徴に反応して成長する。あるサンプルの外れ値が1つのツリーを歪めたとしても、他の99のツリーはそのサンプルを含まないか少数しか含まないため、全体の予測への影響が希釈される。

統計的に言えば、相関係数ρを持つB個のモデルの平均の分散は「ρσ² + (1-ρ)σ²/B」で表される。B→∞のとき、第2項はゼロに近づき、残るのは「ρσ²」だ。つまりモデル間の相関ρをいかに低くするかが精度改善の鍵であり、それを実現するのがブートストラップサンプリング（とランダムフォレストにおける特徴量のランダム選択）というわけだ。

一方でバギングは高バイアスのモデルには効きにくいという側面も持つ。例えば線形回帰のような単純なモデルを100個束ねても、各モデルが系統的に同じ方向で外していれば、平均をとっても改善は限定的だ。バギングの恩恵を最大化するには、「賢いが不安定（高分散・低バイアス）」なモデルを基底学習器に選ぶことが原則だ。

---

【メリットとデメリット】バギングを選ぶべき場面・避けるべき場面

バギングの実務適用を判断するうえで、メリットとデメリットをフラットに把握しておく必要がある。

【主なメリット】

①予測精度の向上：高分散モデルの安定化という面では、バギングは最もコストパフォーマンスの高い手法のひとつだ。実装工数が少ない割に、性能改善の幅は大きい。

②並列処理との相性：各基底学習器の学習が完全に独立しているため、n_jobs=-1で簡単に並列化できる。ブースティング系が逐次処理を強いられるのと対照的で、大規模データへのスケーラビリティが高い。

③OOBによる評価コスト削減：クロスバリデーションを省略してモデル評価できる点は、データ量が多い環境で特に便利だ。

④外れ値への頑健性：一部のブートストラップサンプルに外れ値が偏っても、全体への影響が分散されるため、データ品質が不完全な実務環境で機能しやすい。

【主なデメリット】

①解釈性の低下：単一の決定木なら人間が分岐を追って判断根拠を説明できるが、100本のツリーの多数決では説明が困難になる。医療・金融など説明責任が求められる領域では課題となる（SHAPやLIMEで部分的に補完できるが完全ではない）。

②メモリ・推論コストの増大：n_estimators=500の場合、推論時は500モデル分の計算が走る。リアルタイム推論が必要な低レイテンシ環境では注意が必要だ。

③高バイアスモデルへの非適合：前述のとおり、単純なモデルへの適用は効果が薄い。

④最先端の精度には届かない場合も：Kaggleの上位解などを見ると、同じアンサンブル系でもLightGBMやXGBoostのチューニング済みモデルがバギング単体を上回るケースは多い。精度の上限という意味では、ブースティング系に一歩譲る場面が多い。

---

【バギング と は】に関するよくある質問（FAQ）

Q1：バギングとランダムフォレストは何が違うのですか？
A1：バギングは複数の基底学習器を独立したブートストラップサンプルで学習させる汎用的な手法です。ランダムフォレストはバギングを決定木に特化させ、さらに各分岐点で使用する特徴量をランダムに制限するという工夫を加えたものです。つまりランダムフォレストは「特徴量のランダム選択を加えたバギング＋決定木」と理解するのが正確で、バギングの一特殊ケースに位置づけられます。

Q2：バギングとブースティング、どちらを使えばいいですか？
A2：目的によって選び方が変わります。モデルが「過学習気味（高分散）」ならバギングが有効です。逆にモデルが「精度が低すぎる（高バイアス）」場合はブースティングが向いています。実務のファーストチョイスとしては、表形式データならLightGBM（ブースティング系）、外れ値が多いデータや解釈性が必要な場面ではランダムフォレスト（バギング系）という使い分けが一般的です。

Q3：scikit-learnのBaggingClassifierでOOBスコアはどう使うのですか？
A3：BaggingClassifierを初期化する際に`oob_score=True`を指定すると、学習後に`bagging_clf.oob_score_`という属性で汎化精度の推定値が取得できます。これはクロスバリデーションの代替として機能するため、大規模データで時間を節約したい場合に特に有用です。ただし、データ量が少ない場合はクロスバリデーションのほうが安定した評価を得られることもあります。

Q4：バギングは回帰問題にも使えますか？
A4：はい、使えます。scikit-learnではBaggingRegressorがそのために用意されています。住宅価格予測・電力需要予測・売上予測などの連続値出力タスクに適用でき、各基底学習器（例：DecisionTreeRegressor）の予測値の平均を最終出力とします。単一の回帰ツリーと比較してRMSEが大幅に改善するケースが多く、回帰タスクでも十分な実用性があります。

Q5：バギングの「弱学習器」とはどんなモデルを指すのですか？
A5：ここでの「弱学習器（weak learner）」とは厳密にはランダム予測よりわずかに優れた精度を持つモデルを指す用語ですが、バギングの文脈では「単体では不安定・精度が不十分な基底モデル」を意味することが多いです。決定木（特に深いもの）がよく使われます。ブースティングと違い、バギングではむしろ「強いが不安定（深い決定木）」なモデルを使うほうが分散削減の恩恵が大きくなります。

---

まとめ：バギングの本質と2026年の機械学習実務における位置づけ

バギングは、複雑な数学なしに直感的に理解できる「民主主義的なアンサンブル」だ。データをランダムに分割し、複数の専門家（モデル）に意見を求め、多数決で判断を下す——その設計思想は30年前の提案から少しも古びていない。

2026年の機械学習エコシステムでは、大規模言語モデルや深層学習系アーキテクチャが脚光を浴びる一方、表形式データの実務タスクではランダムフォレストをはじめとするバギング系手法が引き続き競争力を持つ。AutoMLツールのデフォルトモデル候補にも依然として名を連ねており、「枯れた技術」ではなく「成熟した技術」として現役だ。

scikit-learnでの実装の容易さ、OOBによる評価の効率性、外れ値への頑健性——これらの実用的な強みは、精度だけを追い求めるコンペ文脈ではなく、保守性・説明性・安定性が求められる産業応用の現場でこそ光る。バギングの仕組みを根っこから理解することは、ランダムフォレストを使いこなすことであり、アンサンブル学習の全体像を理解することへの最短ルートでもある。今後ブースティングやスタッキングを学ぶ際にも、バギングとの对比を軸にすると理解が格段に深まるはずだ。 （出典: バギング と は（Yahoo!ニュース））