什么值得买App下载 App ›
连续签到专享现金活动

中文CSV读写总出错?编码和列名处理才是关键

一、环境准备与基础读写
1、必装库与代码模板
用pandas读CSV时漏掉encoding='utf-8-sig',90%的中文用户会在第三行报错。标准库csv无需安装,适合轻量任务;pandas功能强大,适合复杂分析。两者都必须显式指定编码和原始路径。123
  • 标准库 csv 读取模板
    import csv
    with open(r'data.csv', 'r', encoding='utf-8-sig') as f:
    reader = csv.DictReader(f, skipinitialspace=True)
    for row in reader:
    print(row)
    24
  • pandas 读取模板
    import pandas as pd
    df = pd.read_csv(r'data.csv', encoding='utf-8-sig')
    53
  • 写入 CSV(防 Excel 乱码)
    # pandas 写入
    df.to_csv(r'output.csv', index=False, encoding='utf-8-sig')

    # csv 模块写入
    with open(r'output.csv', 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.DictWriter(f, fieldnames=headers)
    writer.writeheader()
    writer.writerows(data)
    62
2、常见编码陷阱速查
Windows Excel 默认保存 CSV 为 GBK(ANSI),而 Python 默认按 UTF-8 解码,导致UnicodeDecodeError。优先尝试encoding='utf-8-sig',它能自动跳过 BOM 并兼容有无 BOM 的 UTF-8 文件。37
若仍报错,说明文件实际为 GBK 编码,改用encoding='gbk'或'gb18030'。不要依赖记事本显示判断编码,可用 VS Code 右下角标识或命令行file -i filename.csv确认真实编码。37
紧急情况下可先用chardet检测前 100KB 字节:import chardet
with open('data.csv', 'rb') as f:
enc = chardet.detect(f.read(100000))
encoding = enc['encoding'] or 'gb18030'
,但需验证结果可靠性。
74
二、CSV数据清洗实战
1、缺失值与异常值处理
脏数据类型问题表现处理函数适用场景
空值(NaN)列中出现 NaN 或空字符串df.dropna() 或 df.fillna(value)删除无效记录或填充默认值(如 0、'未知')
空白字符字段含多个空格或制表符df[col].str.strip()清理用户输入或爬虫抓取的文本
非标日期如 '2023年1月1日'、'Jan 1, 2023'pd.to_datetime(df[col], format='...')统一转为 datetime 类型以便排序/计算

常见脏数据类型及 pandas 一行代码解决方案

删除整行缺失比填充更安全,尤其当关键字段(如订单ID)为空时。填充适用于统计场景,例如将销售额空值设为0不影响总和计算。89
2、列名标准化与类型转换
列名含空格会导致后续引用失败(如df[' user_id '])。必须先标准化列名:1011
  • 列名清洗
    df.columns = df.columns.str.strip().str.lower().str.replace(' ', '_')
    10
  • 千分位数字转整型
    # 先替换逗号再转类型
    df['amount'] = df['amount'].str.replace(',', '').astype(int)
    912
  • 日期显式转换
    df['date'] = pd.to_datetime(df['date'], format='%Y/%m/%d')
    912
三、高效数据合并与筛选
1、多表合并策略清单
垂直堆叠用于合并结构相同的多月报表:pd.concat([df1, df2], ignore_index=True)。水平关联通过公共ID匹配信息:pd.merge(df1, df2, on='user_id')。513
使用merge时,若右表存在多个匹配项,结果行数会膨胀。务必检查validate参数(如validate='one_to_one')防止意外扩增。5
2、条件筛选与分组统计
  • 多条件筛选
    # 条件必须加括号
    filtered = df[(df['amount'] > 1000) & (df['city'] == '北京')]
    14
  • 分组统计并导出
    result = df.groupby('category')['sales'].sum().reset_index()
    result.to_csv(r'report.csv', index=False, encoding='utf-8-sig')
    515
四、性能优化与大文件处理
1、大文件分块读取方案
直接加载几百MB CSV会导致内存爆炸。最低成本方案是使用chunksize分块迭代:for chunk in pd.read_csv('big.csv', chunksize=10000, usecols=['id','val']):
process(chunk)
。
910
切勿在循环内累积chunks.append(chunk),否则内存仍会耗尽。每块处理完应立即丢弃引用,或写入磁盘中间文件。10
2、加速读写替代格式
格式读取速度文件大小数据类型保留适用场景
CSV慢大否(全转字符串)跨系统交换数据
Parquet快(列式存储)小(压缩)是项目内部中间文件

CSV 与 Parquet 格式对比(基于 100MB 数据实测)

将清洗后的中间数据保存为 Parquet:df.to_parquet('clean.parquet')。后续读取速度提升3倍以上,且自动保留 int、datetime 等类型,避免重复转换。1612
五、常见问题与避坑指南
常见问题避坑指南
  • 使用 Excel 打开 CSV 后保存,长数字(如身份证号)会被科学计数法覆盖且不可逆,务必在 Python 中处理或使用文本格式打开17
  • 写入 CSV 时务必添加 index=False 参数,否则每行会多出一列无意义的索引编号,污染数据5
  • 路径中包含中文或特殊字符时,Windows 系统可能报错,建议使用 pathlib 库管理路径或确保文件名为英文18
  • 处理日期数据时,不要依赖自动推断,务必使用 pd.to_datetime() 指定格式,避免日月混淆9
  • 内存不足时,优先检查是否加载了不必要的列,使用 usecols 参数只读取需要的列,可节省50%以上内存910

评论

评论区空态插画

当前文章无评论,是时候发表评论了