robots.txt共1篇
robots.txt 配置笔记:告诉蜘蛛哪些页面能爬-星海夜航

robots.txt 配置笔记:告诉蜘蛛哪些页面能爬

robots.txt(Robots 协议,也叫爬虫协议)是网站告诉搜索引擎哪些页面可以抓取、哪些不能抓取的方式。WordPress 站如果配置不当,很容易把想让蜘蛛收录的内容挡住、把后台路径暴露出去。这篇记...
zyt200451的头像-星海夜航zyt2004514年前
02912