【NAS玩机十一年高阶玩家教程系列其四・(改):Calibre-web、新闻与《经济学人》抓取】

2019-12-17 19:30:00 43点赞 241收藏 49评论

NAS玩机第十一年,高阶玩家教程系列预告(软件目录)

【NAS玩机十一年高阶玩家教程系列其一:Bitwarden】

【NAS玩机十一年高阶玩家教程系列其二:Wallabag 网页剪辑器】

【NAS玩机十一年高阶玩家教程系列其三:Shaarli 全平台书签管理器】

上一期【NAS玩机十一年高阶玩家教程系列其四:Calibre、虚拟机以及杂志《经济学人》抓取】后半部分重点讲了虚拟机的很多内容,我回头想了想,太复杂,可能没啥需求。今天折腾成功可以在calibre-web容器里面做抓取新闻定时任务。所以重新发文一篇讲搭建calibre-web以及在calibre-web容器中新建抓取新闻、杂志的定时任务。

系列大纲领【敲黑板】

  此系列所有服务的安装和使用,除了 wallabag、bitwarden 以外都不必须公网IP要求,搭建在局域网在局域网环境内使用OK,有能力内网穿透的也能从外网访问。教程设计docker的部分全程使用命令行。
原因:简单、快速、具有100%可还原性。

  刚开始的时候可能你会觉得难受,毕竟长这么大敲命令行的时间加起来都没有半个小时,但是当你需要更新容器时,当升级换机时,复制粘贴几行代码,等待结束后无缝使用的体验,可比在docker套件里面点来点去保证设置不出错的感觉好太多了!

  上菜了,群晖官网教程如何通过 SSH/Telnet 用 root 权限登录 DSM

  这两天文章没啥流量,更新动力不足。。。Calibre相关部署工程量太大了,看下来的朋友订阅、收藏、点赞、转发点起来好吧?这么良心的更新拿出来白票了,你们心不痛的吗……


喜欢电子书的朋友不看此篇绝对是重大损失!

应用介绍:

  Calibre我就不介绍了,绝对的电子书管理神器。但是我收藏了一堆书,看书找书的时间还是远远多过管理书的时间。能不能有个像书架那样的展示柜?不想每次找书都要打开电脑去开那个无比臃肿的calibre怎么办?
  当当当当~~~ Calibre-web 横空出世了。把它理解为图书展示柜就好了,它的定位就是这个【千万不要想着从这里添加书本或者修改书本】,calibre是个多臃肿的软件,让小巧的calibre-web干那些事情真的是难为它的,把它当展示器就好了。

【NAS玩机十一年高阶玩家教程系列其四・(改):Calibre-web、新闻与《经济学人》抓取】

【NAS玩机十一年高阶玩家教程系列其四・(改):Calibre-web、新闻与《经济学人》抓取】

  能直接推送到kindle
  能直接下载
  除mobi之外的电子书格式都能在线阅读
  支持opds书库的软件能直接添加为opds书库


【NAS玩机十一年高阶玩家教程系列其四・(改):Calibre-web、新闻与《经济学人》抓取】

部署

mkdir /volume1/docker/calibre && mkdir /volume1/eBooks/CalibreWeb && docker pull linuxserver/calibre-web:latest && docker run -d --name=Calibre-web -p 8084:8083 -v /volume1/docker/Calibre:/config -v /volume1/eBooks/CalibreWeb:/books --restart always linuxserver/calibre-web

更新代码

docker stop Calibre-web && docker rm Calibre-web && docker pull linuxserver/calibre-web:latest && docker run -d --name=Calibre-web -p 8084:8083 -v /volume1/docker/Calibre:/config -v /volume1/eBooks/CalibreWeb:/books --restart always linuxserver/calibre-web

等待成功提示,打开内网ip:8084 登录
账户 admin
密码 admin123


说明

/volume1/docker/calibre 为calibre-web配置资料存放路径
/volume1/eBooks/CalibreWeb 为calibre书库数据库文件以及电子书存放目录

注意

请设置好 /volume1/eBooks/CalibreWeb 目录权限为everyone ;第一次登陆calibre-web设置书库路径为/books ;设置里可更改UI为中文。

使用说明

1、在PC上安装calibre【点我下载】
2、把你所有的藏书都添加到pc版calibre中,做好各种编辑、简介、分类工作,达到完善。
3、打开书库所在路径(在calibre中随便右键一本书 --> 打开所在目录 --> 往上2级目录 --> 看到 metadata.db 这就是书库主目录了)
4、全选主目录中的所有文件与目录,把所有文件、文件夹都剪切粘贴到 NAS /volume1/eBooks/CalibreWeb 目录下
5、用webdav把 /volume1/eBooks/CalibreWeb 映射到PC作为本地盘 【群晖套件中心下载webdav服务器,具体用法请自行搜索】
6、在calibre中切换书库为 /volume1/eBooks/CalibreWeb 映射的本地盘

至此,calibre PC 版 与 calibre-web 就完成了书库共享。
达成了 calibre PC 管理书本、calibre-web 展示书本的目的。

注意

书库共享是个危险行为,在修改书库的同时浏览calibre-web可能会造成metadata.db数据库不可逆损坏,建议每次修改书目或者添加删减后,关闭calibre pc版,马上做一个 metadata.db 文件的增量备份。如果觉得calibre pc版臃肿,以下介绍一个更安全的添加书本到书库的方法:命令行

在windows中打开cmd
calibredb add --with-library e: d:booknew -1
calibredb add --with-library e: d:bookxxxx.epub

代码说明

  e: 是 /volume1/eBooks/CalibreWeb 映射到本机的盘符,根据你的实际情况修改。
  d:booknew -1 表示你有一本书(比如《狂人日记》)有2种格式:狂人日记.mobi、狂人日记.epub都存放在new文件夹下,而想把她们存为同一本书,在calibre中显示如下


【NAS玩机十一年高阶玩家教程系列其四・(改):Calibre-web、新闻与《经济学人》抓取】

calibredb add --with-library e: d:bookxxxx.epub 这就表示直接把d:book目录下的 xxxx.epub 这本单独的书添加到书库

【改动部分】定时自动抓取新闻、杂志,并添加到书库中

  因为我自己的常规书库有藏书1000+,而自动抓取新闻几乎每天都有更新,所以实际上是架设了2个 calibre-web ,不让新闻杂志跟常规数目混合起来。

部署

mkdir /volume1/docker/magazine && /volume1/eBooks/magazine && docker pull linuxserver/calibre-web:latest && docker run -d --name=Calibre-magazine -p 8090:8083 -v /volume1/docker/magazine:/config -v /volume1/eBooks/magazine:/books --restart always linuxserver/calibre-web

在Calibre-magazine中安装calibre命令行版本以及依赖

1、从nas环境进入calibre-magazine容器环境
  docker exec -it Calibre-magazine sh
2、安装依赖
  apt-get update && apt-get install python2.7 calibre python-pip unzip supervisor vim -y

可能需要等待小半个小时左右

测试安装是否成功

1、找一本电子书,如 大江大海.epub 保存至nas路径 /volume1/eBooks/magazine
2、从nas环境进入calibre-magazine容器环境
  docker exec -it Calibre-magazine sh
  calibredb add --with-library /books/ /books/大江大海.epub
3、看是否提示书本添加成功;访问nas内网IP:8090 看是否成功添加了新书

实操在定时抓取新闻杂志任务并添加到Calibre-magazine中展示

A、新增抓取经济学人任务 【请注意点我打开后代码中的注释说明】

1、在 /volume1/eBooks/magazine/ 下新建文件夹 recipes
2、进入 recipes ,新建文本文档并重命名为 Economist.recipe
3、将这里的代码【点我打开】复制粘贴到 Economist.recipe 中
4、进入 recipes ,新建文本文档并重命名为 economist.sh
5、将这里的代码【点我打开】复制粘贴到 economist.sh 中
6、从nas环境进入calibre-magazine容器环境
  docker exec -it Calibre-magazine sh
  cd /books/recipes
  sh economist.sh
7、访问nas内网IP:8090 看是否成功添加了新书

B、新增自定义每日新闻任务 【请注意点我打开后代码中的注释说明】

1、进入 recipes ,新建文本文档并重命名为 Daily.recipe
2、将这里的代码【点我打开】复制粘贴到 Daily.recipe 中
3、进入 recipes ,新建文本文档并重命名为 daily.sh
4、将这里的代码【点我打开】复制粘贴到 daily.sh 中
5、下载喜欢的图片作为daily的封面图,存放在 /volume1/eBooks/magazine/recipes 路径下,记住文件名,并在 Daily.recipe 中代码底部做相应修改。
6、Daily.recipe 中可自定义你所想阅读的rss源,源的标题会被抓取为电子书目录,recipe代码中标题为中文的要全部转换为unicode码【点我打开】在线中文转换unicode码
【我的Daily.recipe中一大半rss源是自己架设的rsshub中抓取的,别人不可用,请自行寻找可用源,或等rsshub的教程】

7、若想测试修改后的 Daily.recipe 有没有错误:
把自行修改后的Daily.recipe 文本内容全选复制 ---> 打开 calibre pc版 ---> 点击大图标【抓取新闻】旁边的小箭头 ---> 添加自定义新闻来源 ---> 自定义内置订阅清单 ---> 随便选一个,确定 ---> ctrl+a 全选 ---> 粘贴 ---> 保存
如果不报错,说明格式上没有错误,接着往下走,正常情况能正常使用;如果报错了,再看具体原因解决(很可能是中文转换unicode码这一步没做好)

8、从nas环境进入calibre-magazine容器环境
  docker exec -it Calibre-magazine sh
  cd /books/recipes
  sh daily.sh
9、访问nas内网IP:8090 看是否成功添加了新书

设置定时任务

  由于docker的局限性,无法进行定时任务,于是借助群晖系统设置进行定时任务。

群晖控制面板 ---> 任务计划 ---> 新增 ---> 计划的任务 ---> 用户自定义的脚本 ---> 【常规】任务名称自定义、用户账号root、已启动打勾 ---> 【计划】根据自己需求填写 --->
【任务设置】运行命令:docker exec -i Calibre-magazine sh ./books/recipes/daily.sh
---> 确定

点击运行后耐心等待10分钟后访问nas内网IP:8090 看是否成功添加了新书

任务需求时间不同的,可以添加多条计划任务,设置不同时间。

【NAS玩机十一年高阶玩家教程系列其四・(改):Calibre-web、新闻与《经济学人》抓取】

杂志多了之后整理书库命令:

查找想清理掉的电子书
calibredb search --with-library /books/ 书名关键字、tag等
calibredb search --with-library /books/ 每日新闻
会出现很多数字,就是这些书的id 如 13 14 15 16 34

批量删除
calibredb remove --with-library 13 14 15 16 34

OPDS书库(手机app推荐静读天下)

如果哪位朋友有opds书库需求(有些手机app支持添加自己的opds书库),直接添加
nas内网IP:8090/opds
或做了绑定域名、反向代理的话
域名/opds
就OK了

如果你的电子书app添加了opds书库后不能搜索

docker pull linuxserver/cops:latest
docker run --name COPS --restart=always -v /volume1/docker/COPS:/config -v /volume1/eBooks/CalibreWeb:/books -p 3322:80 -d linuxserver/cops:latest

这个没啥好介绍的,专门做opds的。【百分百支持搜索】

ENJOY

展开 收起

Synology 群晖 DS220+ 2盘位NAS (赛扬J4025、2GB)

Synology 群晖 DS220+ 2盘位NAS (赛扬J4025、2GB)

2179元起

Synology 群晖 DS224+ 双盘位NAS(赛扬J4125、2GB)

Synology 群晖 DS224+ 双盘位NAS(赛扬J4125、2GB)

2849元起

Synology 群晖 DS920+ 4盘位 NAS存储(J4125、4GB)

Synology 群晖 DS920+ 4盘位 NAS存储(J4125、4GB)

2190.84元起

Synology 群晖 DS423+ 4盘位 NAS网络存储 (Intel四核 、无内置硬盘)

Synology 群晖 DS423+ 4盘位 NAS网络存储 (Intel四核 、无内置硬盘)

4099元起

Synology 群晖 DS1821+ 8盘位NAS (V1500B、4GB)

Synology 群晖 DS1821+ 8盘位NAS (V1500B、4GB)

8899元起

Synology 群晖 DS223j 双盘位 NAS网络存储服务器 私有云 智能相册 文件自动同步

Synology 群晖 DS223j 双盘位 NAS网络存储服务器 私有云 智能相册 文件自动同步

1549元起

Synology 群晖 DS923+ NAS网络存储服务器 标准无硬盘

Synology 群晖 DS923+ NAS网络存储服务器 标准无硬盘

4899元起

Synology 群晖 DS1821+ 8盘位 NAS(V1500B、4GB)

Synology 群晖 DS1821+ 8盘位 NAS(V1500B、4GB)

7196元起

Synology 群晖 DS223 2盘位NAS(Realtek RTD1619B、2GB)

Synology 群晖 DS223 2盘位NAS(Realtek RTD1619B、2GB)

2299元起

Synology 群晖 DS720+ 双盘位NAS(J4125、2GB)

Synology 群晖 DS720+ 双盘位NAS(J4125、2GB)

4099元起

群晖(Synology)DS124单盘位NAS网络存储服务器私有云智能相册文件自动同步

群晖(Synology)DS124单盘位NAS网络存储服务器私有云智能相册文件自动同步

1399元起

Synology 群晖 DS218+ 2盘位 NAS网络存储服务器 京东云定制版(J3355、2GB)

Synology 群晖 DS218+ 2盘位 NAS网络存储服务器 京东云定制版(J3355、2GB)

暂无报价

synology群晖nas云存储ds920+中小型企业办公网络存储群辉家庭个人私有云盘四盘位NAS备份硬盘服务器ds918+(DS920+希捷企业级16T*4)

synology群晖nas云存储ds920+中小型企业办公网络存储群辉家庭个人私有云盘四盘位NAS备份硬盘服务器ds918+(DS920+希捷企业级16T*4)

4150元起

Synology 群晖 DS416 企业级 NAS网络存储

Synology 群晖 DS416 企业级 NAS网络存储

暂无报价

Synology 群晖 DS420+ 4盘位NAS (赛扬J4025、2GB)

Synology 群晖 DS420+ 4盘位NAS (赛扬J4025、2GB)

3090元起

Synology 群晖 DS423 四核心 4盘位 NAS网络存储 私有云 照片自动备份

Synology 群晖 DS423 四核心 4盘位 NAS网络存储 私有云 照片自动备份

3199元起
49评论

  • 精彩
  • 最新
  • 你好,我想问一下在线阅读怎么搞?我搭建了之后,感觉必须要下载才能看

    校验提示文案

    提交
    能就能,不能就不能,感觉?
    文中开头说了,除了mobi大部分都能在线看。txt、PDF、epub 都是能在线看的。

    校验提示文案

    提交
    主要刚开始玩儿。请问如何在线观看电子书?书就是epub格式的。在哪里观看?

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 有没有试过nps内网穿透?

    校验提示文案

    提交
    nps没有frp稳定

    校验提示文案

    提交
    收起所有回复
  • LZ,好久没看你更新了,你之前的几个教程我都搭建出来了并且都很实用,都应用到我日常生活中,所以在这感谢LZ的教程,让我接触到一些我之前都知道的东西。现在很想了解Seax和TOTP Token Generator,这两个中文资料太少,但是很感兴趣。还有一个,就是自己烧录rss的服务有哪些,rsshub 和huginn 都试过,感觉还是不太满意,有什么其它的推荐的吗

    校验提示文案

    提交
    我日常用的是rsshub,已经满足我需求了。你有什么需求可以去提issue,懂js的话也能自己写了去提交。我一直在听的播客有一个取消了rss源,用js整理了一下提交到rsshub后又能正常收听了。

    huginn太高端没搞懂,找了很多教程都写的不明不白的。

    校验提示文案

    提交
    收起所有回复
  • 楼主怎么推送啊,在邮件服务器设置吗

    校验提示文案

    提交
    搭建好了在calibre-web设置后台有邮箱设置选项的,自己搜一搜smtp怎么填

    校验提示文案

    提交
    收起所有回复
  • 你好,我想问问你是用的哪个设备…………就看到说群晖,不知道是哪个型号,同样用docker的话,这些教程威廉通适用嘛?

    校验提示文案

    提交
    自己的机器什么型号能不能支持docker搜一搜就知道了。docker全平台支持的,基本上大同小异。

    校验提示文案

    提交
    恭迎大佬回归

    校验提示文案

    提交
    收起所有回复
  • 有一个重要的大问题,我也是通过calibre远程连接nas上的calibre-web的,但是,我想实现各个设备之间阅读书籍的标注同步好像很难。用接种方式都无法完成。1 ipad使用kybook连接;calibre-web在线阅读 本地的calibre不认……等等。求助一下有什么方法可以同步?

    校验提示文案

    提交
    书籍标注功能calibre不管的。安卓有静读天下,完美,唯一的缺点就是不支持iOS,作者明确表示了不会开发iOS版本。iOS我也是用的kybook,应急的时候用一用。

    校验提示文案

    提交
    如果是只用calibre做管理并做服务器的话,就可以做到标注查阅,用户可以在各个设备上通过网页进行浏览,并做好标注,做完的标注可以在calibre上做搜索,使用的是view--->browse annotation。这样对于学术书籍和精度比较好用。可以查阅,很方便,不知道calibre-web后期会不会加这个功能进去。这个功能是我及其需要的。

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 大佬啊,我都等你一年了,你剩下群晖的高级教程什么时候发啊??等的我好心焦啊,不行先将rss 和rsshub教程先发出来吧

    校验提示文案

    提交
    还在等呀?我看热度不行就弃了。我找找时间哈。

    校验提示文案

    提交
    大佬啊,做人呢要诚信啊,我一直在等你其他的教程啊,天天刷你,就是没有剩余的教程,等的心焦啊,顺便麻烦问下,ds photo里那个地图是怎么设置的?能否告知下,谢谢

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 楼主这太硬核了,对于小白来说很难啃,对于专业人士来说又食之无味,不过刚好适合我的胃口,希望楼主不要被评论和收藏湮灭内心的火焰,支持后面几期的更新!!!

    校验提示文案

    提交
  • 期待下一篇的出炉

    校验提示文案

    提交
  • 这么好的文章为啥没人 支持呢 [皱眉] [皱眉] [皱眉]

    校验提示文案

    提交
  • 大神级!高处不胜寒!

    校验提示文案

    提交
  • 请问下esxi下centos7里面有没有类似群晖那样的图形界面的反向代理软件,ng命令行一直没配明白 [观察]

    校验提示文案

    提交
  • 很好,支持,我给我老婆搭一个

    校验提示文案

    提交
  • 膜拜!!!

    校验提示文案

    提交
  • 书库已经有五万多本书了。这辈子难看完

    校验提示文案

    提交
  • 一步步原样copy下来 在第一次配置/books 一直提示“DB位置无效,请输入正确路径” 杂志也是这样

    校验提示文案

    提交
    CalibreWeb里要有metadata.db 才不会出现这个错误 解决了

    校验提示文案

    提交
    兄弟,可以具体说一下吗,先谢谢了。

    校验提示文案

    提交
    还有3条回复
    收起所有回复
  • 谢谢楼主分享,希望系列继续写下去,支持! [惊喜]

    校验提示文案

    提交
  • 学习了,虽然已经架了大半年,其实没看几本书

    校验提示文案

    提交
  • 请教一下,我安装完成之后为什么不能阅读PDF文档呀?显示出错

    校验提示文案

    提交
    chrome浏览器出错,用IE或火狐浏览,原因不明。

    校验提示文案

    提交
    收起所有回复
  • 非常好的介绍,谢谢

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
241
扫一下,分享更方便,购买更轻松