什么值得买App下载 App ›
连续签到专享现金活动

Python数据清洗实战:用Pandas打造高质量数据集

数据清洗是数据分析流程中的关键环节,直接决定后续模型与分析的准确性。Kaggle调查显示,94%的数据科学家认为数据清洗比建模更重要。本文将系统介绍使用Pandas进行数据诊断、缺失值填充、重复值处理、异常值检测及文本标准化的核心方法,并提供完整的电商数据清洗实战代码。
01环境准备与数据诊断
在开始清洗前,需配置好Python环境并引入必要的库。建议安装pandas、numpy、openpyxl及fuzzywuzzy等工具包,并设置显示参数以优化数据查看体验。
  • 环境配置:
    pip install pandas numpy openpyxl fuzzywuzzy python-Levenshtein
  • 代码初始化:
    import pandas as pd
    import numpy as np
    pd.set_option('display.unicode.east_asian_width', True)
    pd.set_option('display.max_columns', None)
进行任何操作前,应先生成数据质量报告,评估缺失率、数据类型及唯一值数量,从而确定清洗策略的优先级。
  1. 定义诊断函数:
    def data_health_report(df):
      report = pd.DataFrame({
        '列名': df.columns,
        '缺失率(%)': (df.isnull().sum() / len(df) * 100).round(2),
        '唯一值数': df.nunique()
      })
      return report.sort_values('缺失率(%)', ascending=False)
  2. 执行诊断:
    df = pd.read_excel("销售数据.xlsx")
    print(data_health_report(df))
02核心数据清洗技巧
针对常见的脏数据问题,包括缺失值、重复值、异常值及格式混乱,需采取不同的处理策略。数值列建议使用中位数填充以抗干扰,分类列则使用众数,重复记录应基于业务逻辑保留最新或最旧的条目。
问题类型处理策略代码逻辑
缺失值数值列用中位数,分类列用众数df[col].fillna(df[col].median())
重复值按时间排序,保留最新记录df.drop_duplicates(subset=['ID'], keep='first')
异常值IQR四分位法检测与剔除Q1 - 1.5 * IQR, Q3 + 1.5 * IQR
文本格式正则去除符号,统一大小写.str.replace(r'[¥元]', '').str.lower()

常见数据问题及Pandas处理方案

对于文本数据,特别是商品名称等非结构化信息,清洗重点在于去除干扰符号和进行标准化。利用正则表达式可以高效去除括号、促销标签等无关字符,结合模糊匹配库(如fuzzywuzzy)可解决同义词或多名称指代同一实体的问题。
  1. 清洗商品名称:
    df['商品名_clean'] = df['商品名'].str.replace(r'[【】()()]', '', regex=True).str.strip()
  2. 模糊匹配标准化:
    from fuzzywuzzy import process
    df['品牌'] = df['商品名_clean'].apply(lambda x: process.extractOne(x, standard_names)[0])
  3. 金额格式统一:
    df['金额_clean'] = df['订单金额'].astype(str).str.replace(r'[¥,元]', '', regex=True).astype(float)
03综合实战与避坑指南
在实际项目中,需要将上述步骤串联成自动化流水线。以下是一个电商数据清洗的完整函数流程,涵盖了从读取数据到保存清洗后结果的全过程。同时,清洗过程中必须警惕数据泄露和过度硬编码等常见陷阱。
实战函数逻辑如下:
  1. 读取数据并执行初始诊断
  2. 应用智能填充策略处理缺失值
  3. 去重,基于订单ID保留最后记录
  4. 清洗文本并生成衍生特征(如季度、高价值客户标识)
  5. 输出清洗后的Excel文件及清洗报告

常见错误与正确做法对比

错误做法

容易导致数据质量下降或偏差

  • 直接删除缺失值:可能丢失关键样本信息
  • 分类变量用均值填充:模型会学习到虚假模式
  • 忽略时间顺序:导致用未来数据预测过去(数据泄露)
正确做法

符合专业数据工程规范

  • 分析缺失模式:区分随机缺失与系统缺失,针对性填充
  • 分类变量处理:使用众数或新增“未知”类别
  • 时间序列处理:严格按时间排序后再进行清洗操作
数据清洗遵循“垃圾进,垃圾出(Garbage In, Garbage Out)”的原则。通过建立标准化的清洗脚本和日志验证机制,可以显著提升数据集的可用性与分析结果的可信度。

评论

评论区空态插画

当前文章无评论,是时候发表评论了