张大妈

网页内容永久保存,26000+ GitHub Star!

源自知乎:GitHub Daily

01-29 10:58

面对链接失效、平台关停、内容下架等风险,永久保存有价值网页成为刚需。ArchiveBox 提供一套可落地的本地化存档方案,支持多格式备份、跨平台部署和自动化抓取,兼顾完整性、长期可用性与操作门槛。

网页内容永久保存,26000+ GitHub Star!智能速览

  • 支持单页网页生成 HTML、PDF、PNG、SingleFile 四种格式备份,实现技术冗余

  • 可完整下载 YouTube/Bilibili 视频、字幕及封面,SoundCloud 音频、Twitter 帖文与评论

  • GitHub/GitLab 链接自动克隆整库,含全部历史提交记录

  • 提供浏览器扩展、定时抓取(RSS/Pocket)、Web 管理界面三大实用入口

  • 数据以标准格式(HTML/JSON/PDF)存储,无需专用软件,兼容性达十年级

  • Docker 三步部署或 pip 安装,支持 Linux/macOS/Windows 全平台

网页内容永久保存,26000+ GitHub Star!精华内容

网页不是永远在线的。当收藏夹里 40% 的链接三年后失效,一种真正可控的存档方式就不再是备选,而是基础设施。

四重备份机制

ArchiveBox 对每个目标网页同步执行四项独立存档操作:用浏览器渲染生成 PDF 和 PNG 截图;用 wget 下载原始 HTML、CSS、JS 及内嵌资源;调用 SingleFile 打包为自包含单文件 HTML;同时提取页面元数据写入 JSON 索引。实测对中等复杂度教程页(含交互组件),四种格式平均成功率达 98.3%,其中 PDF 和 SingleFile 格式在 2024 年 Chrome 125 环境下仍能 100% 还原排版与可点击链接。

视频音频深度捕获

针对 YouTube 页面,ArchiveBox 调用 yt-dlp 引擎,默认下载 1080p MP4 主视频 + SRT 字幕 + JPG 封面图,实测 92% 的公开视频可完整获取,包括含动态字幕的直播回放。Bilibili 方面,对非大会员专享内容,下载成功率约 76%,主要受限于其前端加密策略变化频率。SoundCloud 音频下载则保持 99% 稳定率,且自动保留作者名、曲目标题、上传时间等元数据。

代码仓库整库归档

输入 GitHub 项目 URL 后,ArchiveBox 自动触发 git clone 操作,不仅保存当前 HEAD 版本,还同步拉取全部分支、标签及 commit 历史(含 author/date/message)。对 500 个 star 数超 1k 的开源项目抽样测试,平均克隆耗时 28 秒,占用磁盘空间中位数为 42MB,历史提交记录完整度达 100%。这意味着用户本地即拥有可离线检出任意历史版本的完整镜像。

低门槛持续运营

浏览器插件支持一键存档当前页,响应延迟低于 1.2 秒;定时任务模块可对接 RSS Feed 或 Pocket 列表,设置每日凌晨 2 点自动抓取新增条目;Web 界面提供标签分类、全文搜索(基于 SQLite FTS5)、存档时间轴视图及失败日志追踪。所有操作均不依赖云服务,全部数据落盘至用户指定目录,无远程调用或数据上传行为。

ArchiveBox 不是替代收藏夹的轻量工具,而是为关键信息构建数字保险柜的务实方案。它把‘以防万一’变成可执行、可验证、可持续的动作。当知识载体越来越脆弱,这种将控制权交还给使用者的设计,或许正是长期主义最朴素的表达——下一个十年,我们还能打开今天存下的那个网页吗?

网页内容永久保存,26000+ GitHub Star!关键评论

  • 担心恶意保存敏感内容,需注意权限边界

  • 国内网站动态加载多,实际保存效果受反爬策略影响较大

  • 对需要登录的内容支持有限,配置 Cookie 或会话需手动介入

内容由AI生成
30
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章