什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

机器学习特征选择:5个Python脚本优化模型精度

在机器学习建模过程中,模型精度往往受限于输入数据的质量。当精度陷入瓶颈无法提升时,原因通常不在于模型架构本身,而在于特征层存在大量噪声,导致有效信号被淹没。特征选择是数据预处理中的关键环节,通过剔除冗余与无关特征,不仅能降低算力消耗,还能显著提升模型的泛化能力。本文将介绍基于过滤法、包裹法和嵌入法的5个Python脚本,并提供标准化的代码实现与组合策略。
01基于统计的过滤法
过滤法主要利用特征的统计特性进行筛选,计算速度快,适合作为数据预处理的第一步。以下提供三个常用脚本,分别针对方差、相关性和统计假设检验进行特征清洗。
脚本 1:方差阈值过滤
适用场景:数据预处理第一步,快速清理常量特征或近似常量特征。
核心逻辑:方差阈值属于无监督过滤,不依赖目标变量 y,仅删除在样本中变化极小的“死数据”。这些特征对模型预测无贡献,却会拖慢训练速度。
python
from sklearn.feature_selection import VarianceThreshold
import pandas as pd

# 加载数据
X = pd.read_csv("your_data.csv")

# 只保留数值列
X_num = X.select_dtypes(include="number")

# 删除方差低于 0.01 的特征(阈值按业务调)
selector = VarianceThreshold(threshold=0.01)
X_reduced = selector.fit_transform(X_num)

# 保留列名
selected_cols = X_num.columns[selector.get_support()]
X_reduced_df = pd.DataFrame(X_reduced, columns=selected_cols, index=X.index)

removed = X_num.shape[1] - X_reduced_df.shape[1]
print(f"删除了 {removed} 个低方差特征,剩余 {X_reduced_df.shape[1]} 个")
脚本 2:相关性过滤
适用场景:处理高度冗余的特征,解决多重共线性问题。
核心逻辑:当两个特征相关性极高(如 >0.9)时,说明它们在重复表达相同信息。简单的按列删除可能误删重要特征,稳健的做法是保留与目标变量 y 相关性更强的那个特征。
python
import numpy as np
import pandas as pd

def correlation_filter_with_target(X, y, threshold=0.9):
"""
在高相关特征对中,优先保留与目标变量 y 相关性更高的那个特征
"""
X = X.copy()
corr_matrix = X.corr().abs()
target_corr = X.apply(lambda col: col.corr(y)).abs()
upper = corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(bool))
to_drop = set()

for col in upper.columns:
high_corr_features = upper.index[upper[col] > threshold].tolist()
for row_feat in high_corr_features:
# 保留与 y 相关性更高的那个
if target_corr[row_feat] >= target_corr[col]:
to_drop.add(col)
else:
to_drop.add(row_feat)

selected_cols = [c for c in X.columns if c not in to_drop]
return X[selected_cols], sorted(to_drop)

# 示例
X_cleaned, dropped_features = correlation_filter_with_target(X_num, y, threshold=0.9)
print(f"因高相关性删除: {dropped_features}")
print(f"剩余特征数: {X_cleaned.shape[1]}")
脚本 3:SelectKBest 统计打分
适用场景:快速评估特征与目标变量的关联强度,筛选Top K特征。
核心逻辑:使用统计检验方法对特征进行打分。分类任务常用 F 检验(适合线性关系)或互信息(适合非线性关系)。建议通过测试不同的 k 值(如10, 20, 30...)并绘制验证分数曲线来确定最佳特征数量。
python
from sklearn.feature_selection import SelectKBest, f_classif, mutual_info_classif
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

# 假设 X_num 是数值特征,y 是分类目标

# 方式 A:F 检验
selector_f = SelectKBest(score_func=f_classif, k=20)
X_f = selector_f.fit_transform(X_num, y)

# 方式 B:互信息(更适合捕捉非线性)
selector_mi = SelectKBest(score_func=mutual_info_classif, k=20)
X_mi = selector_mi.fit_transform(X_num, y)

# 对比全特征 vs 筛选后的交叉验证表现
clf = RandomForestClassifier(random_state=42)
full_score = cross_val_score(clf, X_num, y, cv=5).mean()
selected_score = cross_val_score(clf, X_mi, y, cv=5).mean()

print(f"全特征: {full_score:.3f}")
print(f"筛选后: {selected_score:.3f}")
print(f"特征数: {X_num.shape[1]} -> 20")
02包裹法与嵌入法
与过滤法不同,包裹法和嵌入法在筛选特征时会直接引入模型进行训练。虽然计算成本较高,但通常能提供更精准的特征子集。
脚本 4:RFECV 递归特征消除
适用场景:特征数量在百级左右,追求模型精度的场景。
核心逻辑:递归地训练模型并剔除权重最低的特征,结合交叉验证自动选择最优特征数量。由于计算复杂度高,建议先用过滤法将特征降至 100-200 个以内再使用。
python
from sklearn.feature_selection import RFECV
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt

# 用逻辑回归做基模型,5 折交叉验证自动选最优特征数
estimator = LogisticRegression(
max_iter=2000,
solver="liblinear" # 二分类小中型数据常用;若多分类可考虑 saga
)

selector = RFECV(
estimator=estimator,
step=1,
cv=5,
scoring="accuracy",
n_jobs=-1
)
selector.fit(X_num, y)

print(f"最优特征数: {selector.n_features_}")
print(f"被选中的特征: {list(X_num.columns[selector.support_])}")

# 可视化特征数与交叉验证分数
plt.plot(
range(1, len(selector.cv_results_["mean_test_score"]) + 1),
selector.cv_results_["mean_test_score"]
)
plt.xlabel("特征数量")
plt.ylabel("交叉验证精度")
plt.title("RFECV 特征选择曲线")
plt.show()
脚本 5:L1 正则嵌入
适用场景:分类任务,需要在训练过程中同时完成特征压缩。
核心逻辑:利用 L1 正则化(Lasso)倾向于产生稀疏解的特性,将不重要特征的系数压缩为 0。对于分类任务,推荐使用带 L1 惩罚项的逻辑回归,并配合 StandardScaler 消除特征尺度差异。
python
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

pipeline = Pipeline([
("scaler", StandardScaler()),
("selector", SelectFromModel(
LogisticRegression(
penalty="l1",
solver="saga", # 支持 L1;多分类也更通用
max_iter=5000,
random_state=42
)
))
])

pipeline.fit(X_num, y)
selector = pipeline.named_steps["selector"]
selected_mask = selector.get_support()
selected_features = X_num.columns[selected_mask]

print(f"L1 逻辑回归选中 {selected_mask.sum()} 个特征")
print(f"选中的特征: {list(selected_features)}")

X_l1 = X_num[selected_features]
03组合策略与实战流程
  1. 第一步:方差阈值粗筛
    使用脚本 1 快速删除几乎不变化的常量特征,降低数据维度。
  2. 第二步:相关性过滤
    使用脚本 2 剔除高度冗余的特征,避免多重共线性干扰。
  3. 第三步:统计打分初筛
    使用脚本 3(SelectKBest)基于统计检验保留与目标变量关联最强的特征。
  4. 第四步:模型精筛
    根据数据量选择脚本 4(RFECV)或脚本 5(L1正则)进行最终的特征选择。
  5. 第五步:交叉验证复核
    对比筛选前后的模型表现,确保特征删减未导致精度下降,验证泛化性能的提升。
方法类型代表算法计算复杂度适用阶段
过滤法方差阈值、SelectKBest低数据预处理初期
包裹法RFECV高特征精简后的最终筛选
嵌入法L1 正则(Lasso)中模型训练同步进行

三种特征选择方法对比

特征选择的核心目标并非单纯追求特征数量的减少,而是以最小的特征子集实现相同或更优的泛化性能。成功的特征选择应带来训练速度加快、过拟合风险降低以及测试集表现更稳定三重收益。在工程实践中,应优先对输入数据进行清洗,这往往是突破模型性能瓶颈的高效路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了