今天是《Google Seo，每天五分钟轻松学会》第十三课，主讲巧用Noindex。在上节课我们就了解到robots.txt文件的使用可以有效的防止Googlebot抓取一些不想被抓取索引的页面，但是你会发现，有些页面还是会显示在搜索结果中，这时，你就会有疑问，是不是自己在robot.txt文件中设置错了，还是robot.txt文件没有效果？
其实都是不是，主要是这些页面有被其他页面所链接，并且投票给到你网站的这个页面（也就是说，这个页面有外链，并有传递权重给到这个页面），所以造成了被Googlebot顺着链接过来抓取你这个页面，索引，并最终被用户检索出来。
那么如何有效的解决这个问题，就是今天主讲Noindex这个主题的原因！
一、什么是Noindex
官方描述：noindex 是一个包含 <meta> 标记或 HTTP 响应标头的规则集，用于防止支持 noindex 规则的Google将内容编入索引。当 Googlebot抓取该网页并发现该标记或标头时，Google 就会完全阻止该网页出现在 Google 搜索结果中，不论是否有其他网站链接到该网页。
总结：当Googlebot正在抓取页面时，或者已经被Googlebot抓取了，通过Noindex的两种使用方法可以阻止该网页出现在Google搜索结果中。
二、Noindex使用方法
1、使用meta标签添加Noindex
这个方法我用的比较多，但是一定要记住该标签要在<head></head>里使用，和title、keywords，description一样，具体用法如下：
<head>
<meta name="robots" content="noindex">
</head>
其中“robots”可以指明其不同搜索引擎抓取工具，没有指明则是指全部搜索引擎抓取工具。
例如：
<meta name="Googlebot" content="noindex">
这里robots指的就是Googlebot不要索引这个页面。
2、使用 X-Robots-Tag添加Noindex
这种方法我用的比较少，大家可以通过案例简单了解下：
举例：
HTTP/1.1 200 OK
Date: Sat, 11 May 2024 11:42:43 GMT
X-Robots-Tag: noindex
这里X-Robots-Tag指的是抓取工具，没有指明则是指全部搜索引擎抓取工具。
例如：X-Robots-Tag: googlebot: noindex
这里X-Robots-Tag指的就是Googlebot不要索引这个页面。
今天就分享到这里，期待能帮助你！
留言（如有建议/友链/合作等需求可在此处留言，会尽快回复，谢谢！）