📊 一文说清数据预处理
数据预处理是数据科学和机器学习领域中的关键步骤,指在进行数据分析、建模或其他数据驱动任务之前,对原始数据进行系统性处理、清洗和准备的过程。这一步骤能够显著提升模型准确性、减少训练时间并改善泛化能力,同时有助于提前发现数据中的潜在问题。
01数据预处理六大方法全景
- 数据清洗
处理缺失值、异常值检测与去除重复数据。 - 数据转换
通过标准化、归一化等手段调整数据分布。 - 特征工程
进行特征选择、构造及降维处理。 - 数据规约
通过采样或数值规约减少数据量。 - 数据集成
合并多源数据并解决一致性问题。 - 数据平衡
解决类别分布不均问题(适用于分类任务)。
02数据清洗:处理缺失与异常
数据清洗的核心在于提升数据质量。针对缺失值,通常采用删除、填充(如均值、中位数)或插值方法。异常值检测则常用Z-score、箱线图或孤立森林算法进行识别。此外,需通过去重操作消除冗余记录。
| 方法 | 具体操作 | 适用场景 |
|---|---|---|
| 缺失值处理 | 删除、均值/中位数填充、KNN插值 | 数据缺失率较低或具有明显分布规律 |
| 异常值检测 | Z-score(3σ原则)、箱线图(IQR)、孤立森林 | 数据分布已知或高维数据中的离群点检测 |
| 重复数据去除 | 基于键值去重、相似度去重 | 存在完全重复或高度相似的记录 |
数据清洗常用方法对比
03数据转换:标准化与编码
数据转换旨在使数据符合模型输入要求。标准化(Z-score)将数据转化为均值为0、方差为1的分布,适用于SVM、逻辑回归等对数据范围敏感的模型。归一化(Min-Max)将数据缩放到[0,1]区间,常用于距离计算(如KNN)。对于类别特征,独热编码(One-Hot)将其转换为二进制向量,避免模型误判类别间的大小关系。
04特征工程:选择、构造与降维
特征工程核心策略
特征选择
从原始特征中筛选出最相关的特征子集。
- 过滤法:通过统计指标(如相关系数)筛选。
- 包装法:通过模型性能反馈递归选择特征。
- 嵌入法:利用模型本身(如Lasso)的特征重要性进行选择。
特征构造
基于领域知识创造新的特征以增强模型表达能力。
- 多项式特征:捕捉特征间的非线性关系。
- 交叉特征:组合多个特征产生新维度。
- 统计特征:计算均值、方差等统计量。
降维技术
在保留信息的前提下减少特征维度。
- PCA(主成分分析):线性降维,最大化方差。
- t-SNE:非线性降维,主要用于数据可视化。
05数据规约与集成
数据规约旨在得到数据集的简化表示,包括采样(如随机采样、分层采样)、维度规约(如PCA)和数值规约(如直方图、聚类)。数据集成则是将多个数据源合并,主要挑战在于处理实体识别问题(如不同数据库中的同一实体)和值冲突问题。
当前文章无评论,是时候发表评论了