python小说爬虫工具,附源码

python小说爬虫工具,附源码,第1张

5.15更新

  • 加了一个换源,功能是实现了但是代码冗余,抽取基类做继承的话就增加耦合,后续有时间再更新代码吧(市面上那些追更小说一下子几十上百的换源是怎么实现的?????)

  • 给小说爬取加了超时抛出异常,毕竟不是每个源都是那么稳定

  • 搜索换成线程,因为发现搜索结果较大的时候界面又卡住了....

  • 细节修改,增加代码健壮性

ps:   2016年注册的账号,最近才发第一个新人贴,我这么佛性的人也是没谁了......写这个工具除了是因为方便朋友下书,也是自己对异步协程的一次复习,写代码的时候是想到什么就写什么,所以看起来应该很乱,爬小说总的来说技术含量并不高,所以新人贴也差不多快完结了,等后续看看群友有啥需求不,比如增加新源,增加转码成epud或者mobi啥的.......       朋友们投投币啊,给点更新动力

5.13更新:
更新了一下软件,把遗留问题解决一下,并看看后续还有啥能更新的解决的问题

  • 解决开始下载之后会出现无响应

  • 弹窗太烦去掉了,改成一个console看进度

  • 目前尝试过程中发现不用太担心反爬,重试机制最终还是会下载完所有章节,尝试过1800+章节小说下载不到1分钟

后续修改目标

  • 尝试增加换源功能

  • 目前由于下载保存的都是utf8导致整合文件过大,后续尝试使用gbk

5.12版本:
1. 使用python的asyncio,爬取的速度挺快
2. 整理了一下页面的格式,放到手机上看还是不错的
3. 由于爬取速度过快,可能会爬取失败,内部加了重试逻辑,只要最后能生成txt应该就是全部章节
4. 自助搜索功能

附件
4010
****(需购买后查看)
下载文件
附件购买
售价:0 牛毛
开通青铜VIP或更高级的会员可免费下载该文件
转载请说明出处 内容投诉
九牛网 » python小说爬虫工具,附源码

发表评论

欢迎 访客 发表评论

定制开发服务!

技术支持 联系我们