论坛首页 > 技术交流

还是加上入库采集

wolfbuluo · 发表于 2021-1-29 · 技术交流

目标站老不能访问，入库采集多好啊。

3 条回复 | 直到 2021-2-1 | 547 次浏览

狂雨boss
发表于 2021-1-30

开发入库采集一下就火了

评论列表

编写评论内容

rex
发表于 2021-1-31

看似美好，我给你算笔账。

50000本书x平均1000章，采集一章3秒，最多模拟5个线程

50000x1000x3/60/60/24/5=347天连续不停的采集，这种采集力度，保守估计会在第3-4天被封IP，347/3=110，假设换一次ip10元，你需要1100元来换IP

编写评论内容

ddoser
发表于 2021-2-1

rex

2021-1-31

看似美好，我给你算笔账。

50000本书x平均1000章，采集一章3秒，最多模拟5个线程

50000x1000x3/60/60/24/5=347天连续不停的采集，这种采集力度，保守估计会在第3-4天被封IP，347/3=110，假设换一次ip10元，你需要1100元来换IP

入库采集就是火车头之类的离线采集后进行数据库操作入库，不需要代理IP，家庭宽带就可以。封了，重新拨号即可

编写评论内容

登录后才可发表内容