论坛首页 > 技术交流

百度蜘蛛频繁爬取/api/下的文件

znwangshengkai · 发表于 2020-8-18 · 技术交流

百度蜘蛛频繁爬取/api/crontab/index这个路径和/api/save_chapter/index?id=19838&key=bb2c503a04f10类似的网址，

请问，如果我在robots文件里面禁止抓取/api的话，会不会有影响。

1 条回复 | 直到 2020-8-18 | 359 次浏览

wuqing
发表于 2020-8-18

不会这个是定时列队禁止蜘蛛爬取无影响

评论列表

编写评论内容

登录后才可发表内容