
社媒数据采集要从"每轮全量重采"切换到"游标驱动的增量同步",核心是三件套:游标定位、检查点续传、幂等写入。 少任何一件,链路在数据量涨上来之后都会失效。下面按"为什么—游标怎么选—进度怎么存—重复怎么消—失败怎么退—怎么验收"的顺序给出可落地的实现方案。
一、全量重采在社媒数据上撑不过三天
体量问题:一个头部账号 30 天可产几千条内容,热门帖的评论能到百万级,全量重采每天都要把这些历史数据重新拉一遍。
配额问题:多数平台按调用次数计费,全量重采的请求量随历史数据线性膨胀,成本会持续上涨。
时窗问题:ETL 有固定执行窗口,历史越堆越多,重采任务根本跑不完。
所以增量同步不是性能优化项,而是链路能不能长期跑下去的前提。想先搞清字段层面怎么取数,可以参考极致了数据发布的 公众号数据 API 的字段与接入方式。
二、游标怎么选:时间戳、自增 ID 还是平台游标
单字段游标都不可靠,三种方案各有硬伤:

推荐用 (updated_at, id) 复合游标 做唯一排序,时间相同时用 ID 兜底,消除同秒并列。
服务端时间和本地时间一定存在偏差,取数时要回退一个重叠窗口,把边界附近的记录重复拉一遍,重复部分交给幂等去消化。
起始游标的计算方式:
其中
取平台数据更新延迟的上界,实测通常取 5 分钟即可覆盖绝大多数平台。
三、断点续传:把进度从内存搬进数据库
进度必须落库,进程重启、容器迁移、任务重跑都不能丢。
检查点表结构建议如下:
CREATE TABLE sync_checkpoint (
task_id BIGINT NOT NULL,
platform VARCHAR(32) NOT NULL,
resource VARCHAR(64) NOT NULL,
cursor_ts DATETIME(3) NOT NULL,
cursor_id BIGINT NOT NULL,
status TINYINT NOT NULL COMMENT '0=running,1=paused,2=failed,3=done',
updated_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
PRIMARY KEY (task_id),
KEY idx_status (status)
);
在 MySQL 上这张表就是唯一的恢复依据,任务启动时先读它、拿到游标再决定从哪继续。
分段提交:每批 500 到 1000 条写完就更新一次检查点,不要等整轮跑完才提交,否则批次内失败会丢掉整轮进度。
冷启动做一次全量回填,之后只跑增量,回填和增量共用同一套写入口。
四、幂等去重:让重复数据不改变最终结果
主键必须带平台前缀,用
platform + post_id 的组合。只用一个裸数字 ID,跨平台一定会撞。写入用 upsert,不要用裸 INSERT:
INSERT INTO posts (platform, post_id, title, updated_at)
VALUES ('gzh', '123', '标题', NOW(3)) AS new
ON DUPLICATE KEY UPDATE
title = new.title,
updated_at = new.updated_at;
上面是 MySQL 8.0.19 之后的别名写法,更早版本需要换成 VALUES(col)。
建议做两级去重:主键去重解决"同一条内容被重复拉取",内容哈希解决"同一内容存在多个 ID"(转发、多账号同发)。
唯一索引是底线,靠应用层判重扛不住并发写入,重叠窗口带来的重复数据必须由数据库层兜住。
五、失败重试:先分清可重试与不可重试
可重试:429 限流、5xx、连接超时、读超时。
不可重试:401/403 凭证失效、参数错误、权限不足,重试只会放大故障。
退避策略要叠加随机抖动,避免成批任务同时重试造成惊群:
连续失败超过阈值就转入死信队列,用 Kafka 承接等待人工排查,不要无限重试。重试规则要和平台的限流口径对齐,具体可以查 抖音接口鉴权与限流规则(锚文本,链接指向 /douyin 栏目页,植入位置:本节末尾)。
六、上线前必须做的一致性对账
条数对账:源端条数与落库条数按日分区比对,差异超阈值直接告警。
抽样校验:随机抽 100 条比对关键字段,确认解析映射没有静默丢字段。
常驻监控:同步延迟(最新游标与当前时间的差值)、重复率、失败率三项,缺一项都看不出链路是否真的健康。
这三项稳定下来,增量链路才算真正跑通,而不是"这次恰好跑成功了"。
七、常见问题
检查点丢了怎么恢复:从最近一次成功批次回退一个重叠窗口重跑,重复数据由幂等消化。
平台游标过期怎么办:降级回时间戳游标做一次重定位,拿到新游标后继续增量。
两个账号的内容 ID 撞了怎么办:主键加平台前缀和账号标识,禁止使用裸 ID。
当前文章无评论,是时候发表评论了