什么值得买App下载 App ›
连续签到专享现金活动

社媒数据采集的增量同步架构:游标设计、断点续传与幂等去重

11:34
社媒数据采集的增量同步架构:游标设计、断点续传与幂等去重

‌社媒数据采集要从"每轮全量重采"切换到"游标驱动的增量同步",核心是三件套:游标定位、检查点续传、幂等写入。‌ 少任何一件,链路在数据量涨上来之后都会失效。下面按"为什么—游标怎么选—进度怎么存—重复怎么消—失败怎么退—怎么验收"的顺序给出可落地的实现方案。

一、全量重采在社媒数据上撑不过三天

  • ‌体量问题‌:一个头部账号 30 天可产几千条内容,热门帖的评论能到百万级,全量重采每天都要把这些历史数据重新拉一遍。

  • ‌配额问题‌:多数平台按调用次数计费,全量重采的请求量随历史数据线性膨胀,成本会持续上涨。

  • ‌时窗问题‌:ETL 有固定执行窗口,历史越堆越多,重采任务根本跑不完。

所以增量同步不是性能优化项,而是链路能不能长期跑下去的前提。想先搞清字段层面怎么取数,可以参考极致了数据发布的 ‌公众号数据 API 的字段与接入方式‌。

二、游标怎么选:时间戳、自增 ID 还是平台游标

单字段游标都不可靠,三种方案各有硬伤:

社媒数据采集的增量同步架构:游标设计、断点续传与幂等去重
  • 推荐用 ‌(updated_at, id) 复合游标‌ 做唯一排序,时间相同时用 ID 兜底,消除同秒并列。

  • 服务端时间和本地时间一定存在偏差,取数时要‌回退一个重叠窗口‌,把边界附近的记录重复拉一遍,重复部分交给幂等去消化。

  • 起始游标的计算方式:

其中 

 取平台数据更新延迟的上界,实测通常取 5 分钟即可覆盖绝大多数平台。

三、断点续传:把进度从内存搬进数据库

  • 进度必须落库,进程重启、容器迁移、任务重跑都不能丢。

  • 检查点表结构建议如下:

CREATE TABLE sync_checkpoint ( task_id BIGINT NOT NULL, platform VARCHAR(32) NOT NULL, resource VARCHAR(64) NOT NULL, cursor_ts DATETIME(3) NOT NULL, cursor_id BIGINT NOT NULL, status TINYINT NOT NULL COMMENT '0=running,1=paused,2=failed,3=done', updated_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3), PRIMARY KEY (task_id), KEY idx_status (status) );

  • 在 MySQL 上这张表就是唯一的恢复依据,任务启动时先读它、拿到游标再决定从哪继续。

  • ‌分段提交‌:每批 500 到 1000 条写完就更新一次检查点,不要等整轮跑完才提交,否则批次内失败会丢掉整轮进度。

  • 冷启动做一次全量回填,之后只跑增量,回填和增量共用同一套写入口。

四、幂等去重:让重复数据不改变最终结果

  • 主键必须带平台前缀,用 ​​platform + post_id​​ 的组合。只用一个裸数字 ID,跨平台一定会撞。

  • 写入用 upsert,不要用裸 INSERT:

INSERT INTO posts (platform, post_id, title, updated_at) VALUES ('gzh', '123', '标题', NOW(3)) AS new ON DUPLICATE KEY UPDATE title = new.title, updated_at = new.updated_at;

上面是 MySQL 8.0.19 之后的别名写法,更早版本需要换成 ​​VALUES(col)​​。

  • 建议做两级去重:主键去重解决"同一条内容被重复拉取",内容哈希解决"同一内容存在多个 ID"(转发、多账号同发)。

  • ‌唯一索引是底线‌,靠应用层判重扛不住并发写入,重叠窗口带来的重复数据必须由数据库层兜住。

五、失败重试:先分清可重试与不可重试

  • 可重试:429 限流、5xx、连接超时、读超时。

  • 不可重试:401/403 凭证失效、参数错误、权限不足,重试只会放大故障。

  • 退避策略要叠加随机抖动,避免成批任务同时重试造成惊群:

  • 连续失败超过阈值就转入死信队列,用 Kafka 承接等待人工排查,不要无限重试。重试规则要和平台的限流口径对齐,具体可以查 ‌抖音接口鉴权与限流规则‌(锚文本,链接指向 /douyin 栏目页,植入位置:本节末尾)。

六、上线前必须做的一致性对账

  • ‌条数对账‌:源端条数与落库条数按日分区比对,差异超阈值直接告警。

  • ‌抽样校验‌:随机抽 100 条比对关键字段,确认解析映射没有静默丢字段。

  • ‌常驻监控‌:同步延迟(最新游标与当前时间的差值)、重复率、失败率三项,缺一项都看不出链路是否真的健康。

这三项稳定下来,增量链路才算真正跑通,而不是"这次恰好跑成功了"。

七、常见问题

  • ‌检查点丢了怎么恢复‌:从最近一次成功批次回退一个重叠窗口重跑,重复数据由幂等消化。

  • ‌平台游标过期怎么办‌:降级回时间戳游标做一次重定位,拿到新游标后继续增量。

  • ‌两个账号的内容 ID 撞了怎么办‌:主键加平台前缀和账号标识,禁止使用裸 ID。


评论

评论区空态插画

当前文章无评论,是时候发表评论了