新用户

vjsdhyygy

0关注
0粉丝
6文章
返回网站首页

您已发布 6篇文章作品写文章

关于章节列表页分多页的情况

@wuqing 某站的小说章节页面超过一定章节后自动把章节列表页分成多页 采集规则中设=设置关联网站把多列表页面区间添加进去,问题来了 ,测试时能采集每个分页第一篇文章标题和文章正文正式采集时只采集最后一页的章节列表

 2021-4-24
 0 
 477 

提个建议,小说正文入库能不能有多个目录

如题,现在所有缓存均在同一目录下 (./runtime/txt/ID )  能不能有多级目录?一个目录下几万或者几十万目录很让我崩溃啊第二个问题,就是该目录下已经缓存的文件是不能删除的,如果删除,是不会二次采集的,只会出现空白章节

 2021-4-15
 0 
 477 

狂雨小说 半测试

使用某第三方软件访问章节页,让其采集章节内容采集软件 火车头  采集方式 章节名 Mysql 数据库服务 与网页服务不在同一容器20线程采集(按照狂雨官方说法,会提前预缓存3章内容)实测系统消耗 (含系统本身,使用 apache2+php7.3 位于Debian 10.0.8环境下 ,CPU 为 i7-4770 限制4个完整核心)CPU利用率

 2021-4-1
 0 
 810 

希望增加采集入库功能

如题,采集时是只采集了介绍,还有图片,希望能增加把文章也采集入库的功能,或者使用API 接入火车头采集入库。因为如果对方网页改版或者变更网址,那么我这边也有及时应对的方法

 2021-3-16
 0 
 621