robots.txt 配置笔记：告诉蜘蛛哪些页面能爬

robots.txt（Robots 协议，也叫爬虫协议）是网站告诉搜索引擎哪些页面可以抓取、哪些不能抓取的方式。WordPress 站如果配置不当，很容易把想让蜘蛛收录的内容挡住、把后台路径暴露出去。这篇记录一份可直接使用的配置。

%

%

文件放在哪

在 WordPress 网站根目录创建一个名为 robots.txt 的文本文件。文件名不能改，必须叫这个，蜘蛛默认就找这个路径。

一份基础配置

把下面的内容复制进去，按需调整。两处 Sitemap 网站地图地址要换成自己的，不需要也可以删掉这一条：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /author/
Disallow: /oauth/
Disallow: /feed
Disallow: /*/feed
Disallow: /*/*/feed
Disallow: /*/mip
Sitemap: 这里写自己的地图地址，也可以删除此条内容
User-agent: Mediapartners-Google
Disallow: /video/

使用注意

这份规则不是精确模板，各站目录结构不同，要自己核对：被 Disallow 的路径确认是不想被收的，想冲收录的栏目目录千万别误伤；改完之后用搜索引擎站长平台的 robots 校验工具过一遍再收工。