使用堆疊結合預測器#

堆疊是指混合估計器的方法。在這個策略中，一些估計器會個別擬合一些訓練資料，同時使用這些基礎估計器的堆疊預測來訓練最終的估計器。

在這個範例中，我們說明了將不同的迴歸器堆疊在一起，並使用最終的線性懲罰迴歸器來輸出預測的用例。我們會將每個個別迴歸器的效能與堆疊策略進行比較。堆疊會稍微改善整體效能。

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

下載資料集#

我們將使用 Ames Housing 資料集，該資料集最初由 Dean De Cock 編譯，並在用於 Kaggle 挑戰賽後變得更加知名。這是位於愛荷華州艾姆斯市的 1460 個住宅房屋的集合，每個房屋都有 80 個特徵描述。我們將使用它來預測房屋的最終對數價格。在這個範例中，我們將僅使用 GradientBoostingRegressor() 選擇的 20 個最有趣的特徵，並限制條目數量（這裡我們不會詳細介紹如何選擇最有趣的特徵）。

Ames 房屋資料集未隨 scikit-learn 提供，因此我們將從 OpenML 提取它。

import numpy as np

from sklearn.datasets import fetch_openml
from sklearn.utils import shuffle


def load_ames_housing():
    df = fetch_openml(name="house_prices", as_frame=True)
    X = df.data
    y = df.target

    features = [
        "YrSold",
        "HeatingQC",
        "Street",
        "YearRemodAdd",
        "Heating",
        "MasVnrType",
        "BsmtUnfSF",
        "Foundation",
        "MasVnrArea",
        "MSSubClass",
        "ExterQual",
        "Condition2",
        "GarageCars",
        "GarageType",
        "OverallQual",
        "TotalBsmtSF",
        "BsmtFinSF1",
        "HouseStyle",
        "MiscFeature",
        "MoSold",
    ]

    X = X.loc[:, features]
    X, y = shuffle(X, y, random_state=0)

    X = X.iloc[:600]
    y = y.iloc[:600]
    return X, np.log(y)


X, y = load_ames_housing()

衡量並繪製結果#

現在我們可以使用 Ames 房屋資料集進行預測。我們會檢查每個個別預測器以及迴歸器堆疊的效能。

import time

import matplotlib.pyplot as plt

from sklearn.metrics import PredictionErrorDisplay
from sklearn.model_selection import cross_val_predict, cross_validate

fig, axs = plt.subplots(2, 2, figsize=(9, 7))
axs = np.ravel(axs)

for ax, (name, est) in zip(
    axs, estimators + [("Stacking Regressor", stacking_regressor)]
):
    scorers = {"R2": "r2", "MAE": "neg_mean_absolute_error"}

    start_time = time.time()
    scores = cross_validate(
        est, X, y, scoring=list(scorers.values()), n_jobs=-1, verbose=0
    )
    elapsed_time = time.time() - start_time

    y_pred = cross_val_predict(est, X, y, n_jobs=-1, verbose=0)
    scores = {
        key: (
            f"{np.abs(np.mean(scores[f'test_{value}'])):.2f} +- "
            f"{np.std(scores[f'test_{value}']):.2f}"
        )
        for key, value in scorers.items()
    }

    display = PredictionErrorDisplay.from_predictions(
        y_true=y,
        y_pred=y_pred,
        kind="actual_vs_predicted",
        ax=ax,
        scatter_kwargs={"alpha": 0.2, "color": "tab:blue"},
        line_kwargs={"color": "tab:red"},
    )
    ax.set_title(f"{name}\nEvaluation in {elapsed_time:.2f} seconds")

    for name, score in scores.items():
        ax.plot([], [], " ", label=f"{name}: {score}")
    ax.legend(loc="upper left")

plt.suptitle("Single predictors versus stacked predictors")
plt.tight_layout()
plt.subplots_adjust(top=0.9)
plt.show()