狂雨小说 半测试

vjsdhyygy   ·   发表于 2021-4-1   ·   技术交流

使用某第三方软件访问章节页,让其采集章节内容

采集软件 火车头  

采集方式 章节名 

Mysql 数据库服务 与网页服务不在同一容器

20线程采集(按照狂雨官方说法,会提前预缓存3章内容)

实测系统消耗 (含系统本身,使用 apache2+php7.3 位于Debian 10.0.8环境下 ,CPU 为 i7-4770 限制4个完整核心)

CPU利用率 10.08% of 4 CPU
内存使用率 24.04% (1.92 GiB of 8.00 GiB)
SWAP使用率 0.00% (12.00 KiB of 1.00 GiB)
引导磁盘大小 2.10% (10.29 GiB of 491.15 GiB)
   

除其他部分外 ,采集完整章节内容 ,占用磁盘空间 

root@book:/var/www/html/runtime/txt# du -sh

6.8G  

root@book:/var/www/html/runtime/txt# ls -lR | grep "^d" | wc -l

2422


表示以及采集完整 2422篇小说包含完整小说内存实际占用空间(不含数据库,不含封面图片)


因为还在采集中 

封面以及占用(实际为6万6千本图书封面)

root@book:/var/www/html/uploads/novel# du -sh

1.8G    .


数据库占用空间(6万6千本小说)

表 递增操作行数 类型排序规则大小多余
ky_ad 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除0MyISAMutf8_general_ci1.0 KB-
ky_addons 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除1MyISAMutf8_general_ci6.6 KB-
ky_bookshelf 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除0MyISAMutf8_general_ci1.0 KB-
ky_category 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除21MyISAMutf8_general_ci4.5 KB-
ky_collect 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除8MyISAMutf8_general_ci25.3 KB-
ky_comment 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除0MyISAMutf8_general_ci1.0 KB-
ky_config 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除53MyISAMutf8_general_ci12.3 KB-
ky_crontab 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除2MyISAMutf8_general_ci2.2 KB-
ky_link 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除1MyISAMutf8_general_ci2.1 KB-
ky_member 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除1MyISAMutf8_general_ci3.2 KB-
ky_menu 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除111MyISAMutf8_general_ci13.2 KB-
ky_news 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除0MyISAMutf8_general_ci1.0 KB-
ky_novel 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除66,037MyISAMutf8_general_ci57.2 MB-
ky_novel_chapter 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除66,007MyISAMutf8_general_ci1.4 GB-
ky_route 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除8MyISAMutf8_general_ci10.4 KB-
ky_slider 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除4MyISAMutf8_general_ci2.5 KB-
ky_template 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除1MyISAMutf8_general_ci3.1 KB-
ky_user 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除0MyISAMutf8_general_ci1.0 KB-
ky_user_menu 浏览 浏览结构 结构搜索 搜索插入 插入清空 清空删除 删除7MyISAMutf8_general_ci2.3 KB-
19 张表总计132,262InnoDBlatin1_swedish_ci1.5 GB0 字节
                         


0 条回复   |  直到 2021-4-1 | 781 次浏览
登录后才可发表内容