使用某第三方软件访问章节页,让其采集章节内容
采集软件 火车头
采集方式 章节名
Mysql 数据库服务 与网页服务不在同一容器
20线程采集(按照狂雨官方说法,会提前预缓存3章内容)
实测系统消耗 (含系统本身,使用 apache2+php7.3 位于Debian 10.0.8环境下 ,CPU 为 i7-4770 限制4个完整核心)
CPU利用率 10.08% of 4 CPU
内存使用率 24.04% (1.92 GiB of 8.00 GiB)
SWAP使用率 0.00% (12.00 KiB of 1.00 GiB)
引导磁盘大小 2.10% (10.29 GiB of 491.15 GiB)
除其他部分外 ,采集完整章节内容 ,占用磁盘空间
root@book:/var/www/html/runtime/txt# du -sh
6.8G
root@book:/var/www/html/runtime/txt# ls -lR | grep "^d" | wc -l
2422
表示以及采集完整 2422篇小说包含完整小说内存实际占用空间(不含数据库,不含封面图片)
因为还在采集中
封面以及占用(实际为6万6千本图书封面)
root@book:/var/www/html/uploads/novel# du -sh
1.8G .
数据库占用空间(6万6千本小说)
表 | 操作 | 行数 | 类型 | 排序规则 | 大小 | 多余 | |||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
ky_ad | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 0 | MyISAM | utf8_general_ci | 1.0 KB | - | ||
ky_addons | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 1 | MyISAM | utf8_general_ci | 6.6 KB | - | ||
ky_bookshelf | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 0 | MyISAM | utf8_general_ci | 1.0 KB | - | ||
ky_category | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 21 | MyISAM | utf8_general_ci | 4.5 KB | - | ||
ky_collect | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 8 | MyISAM | utf8_general_ci | 25.3 KB | - | ||
ky_comment | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 0 | MyISAM | utf8_general_ci | 1.0 KB | - | ||
ky_config | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 53 | MyISAM | utf8_general_ci | 12.3 KB | - | ||
ky_crontab | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 2 | MyISAM | utf8_general_ci | 2.2 KB | - | ||
ky_link | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 1 | MyISAM | utf8_general_ci | 2.1 KB | - | ||
ky_member | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 1 | MyISAM | utf8_general_ci | 3.2 KB | - | ||
ky_menu | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 111 | MyISAM | utf8_general_ci | 13.2 KB | - | ||
ky_news | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 0 | MyISAM | utf8_general_ci | 1.0 KB | - | ||
ky_novel | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 66,037 | MyISAM | utf8_general_ci | 57.2 MB | - | ||
ky_novel_chapter | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 66,007 | MyISAM | utf8_general_ci | 1.4 GB | - | ||
ky_route | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 8 | MyISAM | utf8_general_ci | 10.4 KB | - | ||
ky_slider | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 4 | MyISAM | utf8_general_ci | 2.5 KB | - | ||
ky_template | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 1 | MyISAM | utf8_general_ci | 3.1 KB | - | ||
ky_user | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 0 | MyISAM | utf8_general_ci | 1.0 KB | - | ||
ky_user_menu | 浏览 | 结构 | 搜索 | 插入 | 清空 | 删除 | 7 | MyISAM | utf8_general_ci | 2.3 KB | - | ||
19 张表 | 总计 | 132,262 | InnoDB | latin1_swedish_ci | 1.5 GB | 0 字节 |