中文CSV读写总出错?编码和列名处理才是关键

一、环境准备与基础读写
1、必装库与代码模板
- 标准库 csv 读取模板
import csv24
with open(r'data.csv', 'r', encoding='utf-8-sig') as f:
reader = csv.DictReader(f, skipinitialspace=True)
for row in reader:
print(row) - pandas 读取模板
import pandas as pd53
df = pd.read_csv(r'data.csv', encoding='utf-8-sig') - 写入 CSV(防 Excel 乱码)
# pandas 写入62
df.to_csv(r'output.csv', index=False, encoding='utf-8-sig')
# csv 模块写入
with open(r'output.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=headers)
writer.writeheader()
writer.writerows(data)
2、常见编码陷阱速查

二、CSV数据清洗实战
1、缺失值与异常值处理
| 脏数据类型 | 问题表现 | 处理函数 | 适用场景 |
|---|---|---|---|
| 空值(NaN) | 列中出现 NaN 或空字符串 | df.dropna() 或 df.fillna(value) | 删除无效记录或填充默认值(如 0、'未知') |
| 空白字符 | 字段含多个空格或制表符 | df[col].str.strip() | 清理用户输入或爬虫抓取的文本 |
| 非标日期 | 如 '2023年1月1日'、'Jan 1, 2023' | pd.to_datetime(df[col], format='...') | 统一转为 datetime 类型以便排序/计算 |
常见脏数据类型及 pandas 一行代码解决方案
2、列名标准化与类型转换

三、高效数据合并与筛选
1、多表合并策略清单
使用
merge时,若右表存在多个匹配项,结果行数会膨胀。务必检查validate参数(如validate='one_to_one')防止意外扩增。52、条件筛选与分组统计

四、性能优化与大文件处理
1、大文件分块读取方案
切勿在循环内累积
chunks.append(chunk),否则内存仍会耗尽。每块处理完应立即丢弃引用,或写入磁盘中间文件。102、加速读写替代格式
| 格式 | 读取速度 | 文件大小 | 数据类型保留 | 适用场景 |
|---|---|---|---|---|
| CSV | 慢 | 大 | 否(全转字符串) | 跨系统交换数据 |
| Parquet | 快(列式存储) | 小(压缩) | 是 | 项目内部中间文件 |
CSV 与 Parquet 格式对比(基于 100MB 数据实测)

五、常见问题与避坑指南
当前文章无评论,是时候发表评论了