Python数据清洗实战:用Pandas打造高质量数据集
数据清洗是数据分析流程中的关键环节,直接决定后续模型与分析的准确性。Kaggle调查显示,94%的数据科学家认为数据清洗比建模更重要。本文将系统介绍使用Pandas进行数据诊断、缺失值填充、重复值处理、异常值检测及文本标准化的核心方法,并提供完整的电商数据清洗实战代码。
01环境准备与数据诊断
在开始清洗前,需配置好Python环境并引入必要的库。建议安装pandas、numpy、openpyxl及fuzzywuzzy等工具包,并设置显示参数以优化数据查看体验。
- 环境配置:
pip install pandas numpy openpyxl fuzzywuzzy python-Levenshtein - 代码初始化:
import pandas as pd
import numpy as np
pd.set_option('display.unicode.east_asian_width', True)
pd.set_option('display.max_columns', None)
进行任何操作前,应先生成数据质量报告,评估缺失率、数据类型及唯一值数量,从而确定清洗策略的优先级。
- 定义诊断函数:
def data_health_report(df):
report = pd.DataFrame({
'列名': df.columns,
'缺失率(%)': (df.isnull().sum() / len(df) * 100).round(2),
'唯一值数': df.nunique()
})
return report.sort_values('缺失率(%)', ascending=False) - 执行诊断:
df = pd.read_excel("销售数据.xlsx")
print(data_health_report(df))
02核心数据清洗技巧
针对常见的脏数据问题,包括缺失值、重复值、异常值及格式混乱,需采取不同的处理策略。数值列建议使用中位数填充以抗干扰,分类列则使用众数,重复记录应基于业务逻辑保留最新或最旧的条目。
| 问题类型 | 处理策略 | 代码逻辑 |
|---|---|---|
| 缺失值 | 数值列用中位数,分类列用众数 | df[col].fillna(df[col].median()) |
| 重复值 | 按时间排序,保留最新记录 | df.drop_duplicates(subset=['ID'], keep='first') |
| 异常值 | IQR四分位法检测与剔除 | Q1 - 1.5 * IQR, Q3 + 1.5 * IQR |
| 文本格式 | 正则去除符号,统一大小写 | .str.replace(r'[¥元]', '').str.lower() |
常见数据问题及Pandas处理方案
对于文本数据,特别是商品名称等非结构化信息,清洗重点在于去除干扰符号和进行标准化。利用正则表达式可以高效去除括号、促销标签等无关字符,结合模糊匹配库(如fuzzywuzzy)可解决同义词或多名称指代同一实体的问题。
- 清洗商品名称:
df['商品名_clean'] = df['商品名'].str.replace(r'[【】()()]', '', regex=True).str.strip() - 模糊匹配标准化:
from fuzzywuzzy import process
df['品牌'] = df['商品名_clean'].apply(lambda x: process.extractOne(x, standard_names)[0]) - 金额格式统一:
df['金额_clean'] = df['订单金额'].astype(str).str.replace(r'[¥,元]', '', regex=True).astype(float)
03综合实战与避坑指南
在实际项目中,需要将上述步骤串联成自动化流水线。以下是一个电商数据清洗的完整函数流程,涵盖了从读取数据到保存清洗后结果的全过程。同时,清洗过程中必须警惕数据泄露和过度硬编码等常见陷阱。
实战函数逻辑如下:
- 读取数据并执行初始诊断
- 应用智能填充策略处理缺失值
- 去重,基于订单ID保留最后记录
- 清洗文本并生成衍生特征(如季度、高价值客户标识)
- 输出清洗后的Excel文件及清洗报告
常见错误与正确做法对比
错误做法
容易导致数据质量下降或偏差
- 直接删除缺失值:可能丢失关键样本信息
- 分类变量用均值填充:模型会学习到虚假模式
- 忽略时间顺序:导致用未来数据预测过去(数据泄露)
正确做法
符合专业数据工程规范
- 分析缺失模式:区分随机缺失与系统缺失,针对性填充
- 分类变量处理:使用众数或新增“未知”类别
- 时间序列处理:严格按时间排序后再进行清洗操作
数据清洗遵循“垃圾进,垃圾出(Garbage In, Garbage Out)”的原则。通过建立标准化的清洗脚本和日志验证机制,可以显著提升数据集的可用性与分析结果的可信度。
当前文章无评论,是时候发表评论了