今天是《Google Seo,每天五分钟轻松学会》第十三课,主讲巧用Noindex。在上节课我们就了解到robots.txt文件的使用可以有效的防止Googlebot抓取一些不想被抓取索引的页面,但是你会发现,有些页面还是会显示在搜索结果中,这时,你就会有疑问,是不是自己在robot.txt文件中设置错了,还是robot.txt文件没有效果?
其实都是不是,主要是这些页面有被其他页面所链接,并且投票给到你网站的这个页面(也就是说,这个页面有外链,并有传递权重给到这个页面),所以造成了被Googlebot顺着链接过来抓取你这个页面,索引,并最终被用户检索出来。
那么如何有效的解决这个问题,就是今天主讲Noindex这个主题的原因!
一、什么是Noindex
官方描述:noindex 是一个包含 <meta> 标记或 HTTP 响应标头的规则集,用于防止支持 noindex 规则的Google将内容编入索引。当 Googlebot抓取该网页并发现该标记或标头时,Google 就会完全阻止该网页出现在 Google 搜索结果中,不论是否有其他网站链接到该网页。
总结:当Googlebot正在抓取页面时,或者已经被Googlebot抓取了,通过Noindex的两种使用方法可以阻止该网页出现在Google搜索结果中。
二、Noindex使用方法
1、使用meta标签添加Noindex
这个方法我用的比较多,但是一定要记住该标签要在<head></head>里使用,和title、keywords,description一样,具体用法如下:
<head>
<meta name="robots" content="noindex">
</head>
其中“robots”可以指明其不同搜索引擎抓取工具,没有指明则是指全部搜索引擎抓取工具。
例如:
<meta name="Googlebot" content="noindex">
这里robots指的就是Googlebot不要索引这个页面。
2、使用 X-Robots-Tag添加Noindex
这种方法我用的比较少,大家可以通过案例简单了解下:
举例:
HTTP/1.1 200 OK
Date: Sat, 11 May 2024 11:42:43 GMT
X-Robots-Tag: noindex
这里X-Robots-Tag指的是抓取工具,没有指明则是指全部搜索引擎抓取工具。
例如:X-Robots-Tag: googlebot: noindex
这里X-Robots-Tag指的就是Googlebot不要索引这个页面。
今天就分享到这里,期待能帮助你!
留言(如有建议/友链/合作等需求可在此处留言,会尽快回复,谢谢!)