特征選擇：11 種特征選擇策略總結

來源：DeepHub IMBA

“特征選擇”意味著可以保留一些特征并放棄其他一些特征。本文的目的是概述一些特征選擇策略：

1. 刪除未使用的列
2. 刪除具有缺失值的列
3. 不相關的特征
4. 低方差特征
5. 多重共線性
6. 特征系數
7. p 值
8. 方差膨脹因子 (VIF)
9. 基于特征重要性的特征選擇
10. 使用 sci-kit learn 進行自動特征選擇
11. 主成分分析 (PCA)

該演示的數據集在 MIT 許可下發(fā)布，來自 PyCaret——一個開源的低代碼機器學習庫。
數據集相當干凈，但我做了一些預處理。請注意，我使用此數據集來演示不同的特征選擇策略如何工作，而不是構建最終模型，因此模型性能無關緊要。
首先加載數據集：

import pandas as pddata = 'https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/automobile.csv'df = pd.read_csv(data)
df.sample(5)

df.columns
>> Index(['symboling', 'normalized-losses', 'make', 'fuel-type', 'aspiration', 'num-of-doors', 'body-style', 'drive-wheels', 'engine-location','wheel-base', 'length', 'width', 'height', 'curb-weight', 'engine-type', 'num-of-cylinders', 'engine-size', 'fuel-system', 'bore', 'stroke', 'compression-ratio', 'horsepower', 'peak-rpm', 'city-mpg', 'highway-mpg', 'price'], dtype='object')

現(xiàn)在讓我們深入研究特征選擇的 11 種策略。

當然，最簡單的策略是你的直覺。雖然是直覺，但有時很有用的，某些列在最終模型中不會以任何形式使用（例如“ID”、“FirstName”、“LastName”等列）。如果您知道某個特定列將不會被使用，請隨時將其刪除。在我們的數據中，沒有一列有這樣的問題所以，我在此步驟中不刪除任何列。

缺失值在機器學習中是不可接受的，因此我們會采用不同的策略來清理缺失數據（例如插補）。但是如果列中缺少大量數據，那么完全刪除它是非常好的方法。

# total null values per columndf.isnull().sum()
>>symboling             0normalized-losses   35make                 0fuel-type             0aspiration           0num-of-doors         2body-style           0drive-wheels         0engine-location       0wheel-base           0length               0width                 0height               0curb-weight           0engine-type           0num-of-cylinders     0engine-size           0fuel-system           0bore                 0stroke               0compression-ratio     0horsepower           0peak-rpm             0city-mpg             0highway-mpg           0price                 0dtype: int64

無論算法是回歸（預測數字）還是分類（預測類別），特征都必須與目標相關。如果一個特征沒有表現(xiàn)出相關性，它就是一個主要的消除目標。可以分別測試數值和分類特征的相關性。
數值變量

# correlation between target and features(df.corr().loc['price'].plot(kind='barh', figsize=(4,10)))

# drop uncorrelated numeric features (threshold <0.2)corr = abs(df.corr().loc['price'])corr = corr[corr<0.2]cols_to_drop = corr.index.to_list()df = df.drop(cols_to_drop, axis=1)

分類變量
可以使用箱線圖查找目標和分類特征之間的相關性：

import seaborn as sns
sns.boxplot(y = 'price', x = 'fuel-type', data=df)

檢查一下我們的特征的差異：

import numpy as np
# variance of numeric features(df.select_dtypes(include=np.number).var().astype('str'))

df['bore'].describe()

當任何兩個特征之間存在相關性時，就會出現(xiàn)多重共線性。在機器學習中，期望每個特征都應該獨立于其他特征，即它們之間沒有共線性。高馬力車輛往往具有高發(fā)動機尺寸。所以你可能想消除其中一個，讓另一個決定目標變量——價格。
我們可以分別測試數字和分類特征的多重共線性：
數值變量
Heatmap 是檢查和尋找相關特征的最簡單方法。

import matplotlib.pyplot as plt
sns.set(rc={'figure.figsize':(16,10)})sns.heatmap(df.corr(),          annot=True,          linewidths=.5,          center=0,          cbar=False,          cmap="PiYG")plt.show()

# drop correlated featuresdf = df.drop(['length', 'width', 'curb-weight', 'engine-size', 'city-mpg'], axis=1)

還可以使用稱為方差膨脹因子 (VIF) 的方法來確定多重共線性并根據高 VIF 值刪除特征。我稍后會展示這個例子。

分類變量
與數值特征類似，也可以檢查分類變量之間的共線性。諸如獨立性卡方檢驗之類的統(tǒng)計檢驗非常適合它。
讓我們檢查一下數據集中的兩個分類列——燃料類型和車身風格——是獨立的還是相關的。

df_cat = df[['fuel-type', 'body-style']]df_cat.sample(5)

crosstab = pd.crosstab(df_cat['fuel-type'], df_cat['body-style'])crosstab

from scipy.stats import chi2_contingency
chi2_contingency(crosstab)

# drop columns with missing valuesdf = df.dropna()from sklearn.model_selection import train_test_split# get dummies for categorical featuresdf = pd.get_dummies(df, drop_first=True)# X featuresX = df.drop('price', axis=1)# y targety = df['price']# split data into training and testing setX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
from sklearn.linear_model import LinearRegression# scalingfrom sklearn.preprocessing import StandardScalerscaler = StandardScaler()X_train = scaler.fit_transform(X_train)X_test = scaler.fit_transform(X_test)# convert back to dataframeX_train = pd.DataFrame(X_train, columns = X.columns.to_list())X_test = pd.DataFrame(X_test, columns = X.columns.to_list())# instantiate modelmodel = LinearRegression()# fitmodel.fit(X_train, y_train)

現(xiàn)在我們已經擬合了模型，讓我們進行另一輪特征選擇。

如果正在運行回歸任務，則特征適應度的一個關鍵指標是回歸系數（所謂的 beta 系數），它顯示了模型中特征的相對貢獻。有了這些信息，可以刪除貢獻很小或沒有貢獻的功能。

# feature coefficientscoeffs = model.coef_
# visualizing coefficientsindex = X_train.columns.tolist()
(pd.DataFrame(coeffs, index = index, columns = ['coeff']).sort_values(by = 'coeff').plot(kind='barh', figsize=(4,10)))

# filter variables near zero coefficient valuetemp = pd.DataFrame(coeffs, index = index, columns = ['coeff']).sort_values(by = 'coeff')temp = temp[(temp['coeff']>1) | (temp['coeff']< -1)]
# drop those featurescols_coeff = temp.index.to_list()X_train = X_train[cols_coeff]X_test = X_test[cols_coeff]

在回歸中，p 值告訴我們預測變量和目標之間的關系是否具有統(tǒng)計顯著性。statsmodels 庫提供了帶有特征系數和相關 p 值的回歸輸出的函數。
如果某些特征不顯著，可以將它們一個一個移除，然后每次重新運行模型，直到找到一組具有顯著 p 值的特征，并通過更高的調整 R2 提高性能。

import statsmodels.api as smols = sm.OLS(y, X).fit()print(ols.summary())

方差膨脹因子 (VIF) 是衡量多重共線性的另一種方法。它被測量為整體模型方差與每個獨立特征的方差的比率。一個特征的高 VIF 表明它與一個或多個其他特征相關。根據經驗：

• VIF = 1 表示無相關性
• VIF = 1-5 中等相關性
• VIF >5 高相關

VIF 是一種消除多重共線性特征的有用技術。對于我們的演示，將所有 VIF 高于10的刪除。

from statsmodels.stats.outliers_influence import variance_inflation_factor
# calculate VIFvif = pd.Series([variance_inflation_factor(X.values, i) for i in range(X.shape[1])], index=X.columns)
# display VIFs in a tableindex = X_train.columns.tolist()vif_df = pd.DataFrame(vif, index = index, columns = ['vif']).sort_values(by = 'vif', ascending=False)vif_df[vif_df['vif']<10]

決策樹/隨機森林使用一個特征來分割數據，該特征最大程度地減少了雜質(以基尼系數雜質或信息增益衡量)。找到最佳特征是算法如何在分類任務中工作的關鍵部分。我們可以通過 feature_importances_ 屬性訪問最好的特征。
讓我們在我們的數據集上實現(xiàn)一個隨機森林模型并過濾一些特征。

from sklearn.ensemble import RandomForestClassifier
# instantiate modelmodel = RandomForestClassifier(n_estimators=200, random_state=0)# fit modelmodel.fit(X,y)

現(xiàn)在讓我們看看特征重要性：

# feature importanceimportances = model.feature_importances_
# visualizationcols = X.columns(pd.DataFrame(importances, cols, columns = ['importance']).sort_values(by='importance', ascending=True).plot(kind='barh', figsize=(4,10)))

# calculate standard deviation of feature importancesstd = np.std([i.feature_importances_ for i in model.estimators_], axis=0)
# visualizationfeat_with_importance = pd.Series(importances, X.columns)fig, ax = plt.subplots(figsize=(12,5))feat_with_importance.plot.bar(yerr=std, ax=ax)ax.set_title("Feature importances")ax.set_ylabel("Mean decrease in impurity")

sklearn 庫中有一個完整的模塊，只需幾行代碼即可處理特征選擇。
sklearn 中有許多自動化流程，但這里我只展示一些：

# import modulesfrom sklearn.feature_selection import (SelectKBest, chi2, SelectPercentile, SelectFromModel, SequentialFeatureSelector, SequentialFeatureSelector)

基于卡方的技術

基于卡方的技術根據一些預定義的分數選擇特定數量的用戶定義特征 (k)。這些分數是通過計算 X（獨立）和 y（因）變量之間的卡方統(tǒng)計量來確定的。在 sklearn 中，需要做的就是確定要保留多少特征。如果想保留 10 個功能，實現(xiàn)將如下所示：

# select K best featuresX_best = SelectKBest(chi2, k=10).fit_transform(X,y)
# number of best featuresX_best.shape[1]
>> 10

如果有大量特征，可以指定要保留的特征百分比。假設我們想要保留 75% 的特征并丟棄剩余的 25%：

# keep 75% top featuresX_top = SelectPercentile(chi2, percentile = 75).fit_transform(X,y)
# number of best featuresX_top.shape[1]
>> 36

正則化
正則化減少了過擬合。如果你有太多的特征，正則化控制它們的效果，或者通過縮小特征系數（稱為 L2 正則化）或將一些特征系數設置為零（稱為 L1 正則化）。
一些模型具有內置的 L1/L2 正則化作為超參數來懲罰特征。可以使用轉換器 SelectFromModel 消除這些功能。
讓我們實現(xiàn)一個帶有懲罰 = 'l1' 的 LinearSVC 算法。然后使用 SelectFromModel 刪除一些功能。

# implement algorithmfrom sklearn.svm import LinearSVCmodel = LinearSVC(penalty= 'l1', C = 0.002, dual=False)model.fit(X,y)# select features using the meta transformerselector = SelectFromModel(estimator = model, prefit=True)
X_new = selector.transform(X)X_new.shape[1]
>> 2
# names of selected featuresfeature_names = np.array(X.columns)feature_names[selector.get_support()]
>> array(['wheel-base', 'horsepower'], dtype=object)

序貫法
序貫法是一種經典的統(tǒng)計技術。在這種情況下一次添加/刪除一個功能并檢查模型性能，直到它針對需求進行優(yōu)化。
序貫法有兩種變體。前向選擇技術從 0 特征開始，然后添加一個最大程度地減少錯誤的特征；然后添加另一個特征，依此類推。
向后選擇在相反的方向上起作用。模型從包含的所有特征開始并計算誤差；然后它消除了一個可以進一步減少誤差的特征。重復該過程，直到保留所需數量的特征。

# instantiate modelmodel = RandomForestClassifier(n_estimators=100, random_state=0)
# select featuresselector = SequentialFeatureSelector(estimator=model, n_features_to_select=10, direction='backward', cv=2)selector.fit_transform(X,y)
# check names of features selectedfeature_names = np.array(X.columns)feature_names[selector.get_support()]
>> array(['bore', 'make_mitsubishi', 'make_nissan', 'make_saab',      'aspiration_turbo', 'num-of-doors_two', 'body style_hatchback', 'engine-type_ohc', 'num-of-cylinders_twelve', 'fuel-system_spdi'], dtype=object)

主成分分析 (PCA)

PCA的主要目的是降低高維特征空間的維數。原始特征被重新投影到新的維度（即主成分）。最終目標是找到最能解釋數據方差的特征數量。

# import PCA modulefrom sklearn.decomposition import PCA# scaling dataX_scaled = scaler.fit_transform(X)# fit PCA to datapca = PCA()pca.fit(X_scaled)evr = pca.explained_variance_ratio_
# visualizing the variance explained by each principal componentsplt.figure(figsize=(12, 5))plt.plot(range(0, len(evr)), evr.cumsum(), marker="o", linestyle="--")plt.xlabel("Number of components")plt.ylabel("Cumulative explained variance")

這是對可應用于特征選擇的各種技術的有用指南。在擬合模型之前應用了一些技術，例如刪除具有缺失值的列、不相關的列、具有多重共線性的列以及使用 PCA 進行降維，而在基本模型實現(xiàn)之后應用其他技術，例如特征系數、p 值、 VIF 等。雖然不會在一個項目中完全使用所有策略，這些策略都是我們進行測試的方向。
本文代碼：https://github.com/mabalam/feature_selection作者：Mahbubul Alam