狂雨小说CMS默认是采集章节标题url存储数据库, 章节内容若前台不点击前台或后台章节页面, 则不会存储到本地txt中.
为防止采集源换域名, ip拉黑, 或者高峰时间网速慢, 导致的各种问题,
想将章节数据存储到本地磁盘.
老大开发个功能一次性存储下来啊
jasonchen 发表于 2019-8-30
我的是,自己写了个定时脚本, 手动或自动掉用它, 把所有未采集的,或采集指定小说
加载数据中...
killblank 发表于 2019-8-30
jasonchen
2019-8-30
调用api接口采集太慢了 不是多线程
想多线程就后台执行多次就行. 我一般同时3~4个任务, 1个任务会吃自己服务器5~8%的cpu. 不过存储本地, 主要是磁盘io
killblank 发表于 2019-9-1
分享一下定时脚本
qikankan 发表于 2019-11-3
这个定时脚本厉害，能不能说说思路，大概是怎么写呢？
技术交流
BUG建议
jasonchen
发表于 2019-8-30
我的是,自己写了个定时脚本, 手动或自动掉用它, 把所有未采集的,或采集指定小说
评论列表
加载数据中...
killblank
发表于 2019-8-30
jasonchen
2019-8-30
我的是,自己写了个定时脚本, 手动或自动掉用它, 把所有未采集的,或采集指定小说
调用api接口采集太慢了 不是多线程
评论列表
加载数据中...
jasonchen
发表于 2019-8-30
想多线程就后台执行多次就行. 我一般同时3~4个任务, 1个任务会吃自己服务器5~8%的cpu. 不过存储本地, 主要是磁盘io
评论列表
加载数据中...
killblank
发表于 2019-9-1
jasonchen
2019-8-30
想多线程就后台执行多次就行. 我一般同时3~4个任务, 1个任务会吃自己服务器5~8%的cpu. 不过存储本地, 主要是磁盘io
分享一下定时脚本
评论列表
加载数据中...
qikankan
发表于 2019-11-3
这个定时脚本厉害，能不能说说思路，大概是怎么写呢？
评论列表
加载数据中...