asp.net 网站发布乱码问题,wordpress开发+文档下载,怎么做产品的网站,鞍山专业做网站公司文章目录 1 Meta Robots 标签#xff08;控制单页索引行为#xff09;支持的指令HTML示例 #x1f310; 2 HTTP 头#xff1a;X-Robots-Tag #xff08;服务器级控制#xff09;服务端配置示例#x1f48e; 根据场景选择方案 近期文章#xff1a;
建站SEO优化之站点地… 文章目录 1 Meta Robots 标签控制单页索引行为支持的指令HTML示例 2 HTTP 头X-Robots-Tag 服务器级控制服务端配置示例 根据场景选择方案 近期文章
建站SEO优化之站点地图sitemap个人建站做SEO网站外链这一点需要注意做错了可能受到Google惩罚一文搞懂SEO优化之站点robots.txt网页常见水印实现方式Node.js中那些常用的进程通信方式浅谈微前端沙箱机制实现篇二叉树遍历收藏版实现篇LRU算法的几种实现从底层视角看requestAnimationFrame的性能增强Nginx Upstream了解一下实现篇一文搞懂Promise是如何实现的一文搞懂 Markdown 文档规则 在一些网站中通过robots.txt可以控制哪些站点资源或目录能被搜索引擎索引但是随着站点页面增加之前允许的索引页面常常不希望被索引如果直接修改 robots.txt影响会比较大所以页面级的控制就很有必要。 原文链接如何通过 noindex 阻止网页被搜索引擎编入索引
前一篇有提到通过在站点根目录 robots.txt 文件中添加 Disallow 指令来阻止整站级别的某些资源被搜索引擎索引或不被索引一文搞懂SEO优化之站点robots.txt。为了精细化控制被索引的页面有时也需要通过noindex处理。
为让 noindex 生效网页或资源需要不被 robots.txt 文件的规则屏蔽并且必须能被访问。如果被 robots.txt 文件屏蔽或无法访问该网页那么爬虫就永远看不到 noindex 规则所以该网页可能仍会显示在搜索结果中例如有其他网页链接到该网页。
有两种方式配置 noindex 一是作为 meta 标记二是作为 HTTP 响应标头。这两种方法的效果相同根据网站实际情况选择合适的方法即可。
1 Meta Robots 标签控制单页索引行为
在HTML的head中添加精准控制单个页面是否被索引或跟踪链接。
支持的指令
指令说明all无限制为默认值noindex不在搜索结果中显示此网页、媒体或资源nofollow不追踪该网页上的链接none等同于 noindex, nofollownosnippet不在搜索结果中显示该网页的摘要或视频预览indexifembedded如果网页通过 iframes 嵌入到其他网页该网页内容也会被编入索引max-snippet: [number]最多只能使用 [number] 个字符作为搜索结果的文字摘要。为0时不显示摘要。等同于 nosnippet为-1时不限制max-image-preview: [setting]设置网页的图片预览在搜索结果中的尺寸上限。为none时不显示图片预览为standard时可能会显示默认图片预览为large时可能显示较大图片预览max-video-preview: [number]设置网页的视频预览在搜索结果中的最长秒数。为0时最多显示静态图为-1时无显示notranslate不在搜索结果中提供该网页的译文noimageindex不将该网页上的图片编入索引unavailable_after: [date/time]在指定日期/时间过后不在搜索结果中显示该网页
HTML示例
!-- 禁止所有爬虫 --
meta namerobots contentnoindex, nofollow
!-- 仅禁止Google --
meta namegooglebot contentnoindex!-- 阻止在搜索结果中显示摘要 --
meta namerobots contentmax-snippet:0
!-- 摘要最多显示20个字符 --
meta namerobots contentmax-snippet:20
!-- 不限制 --
meta namerobots contentmax-snippet:-1!-- 不显示预览图 --
meta namerobots contentmax-image-preview:standard!-- 2025-08-01之后不在结果中显示该网页 --
meta namerobots contentunavailable_after: 2025-08-012 HTTP 头X-Robots-Tag 服务器级控制
通过服务器配置HTTP响应头X-Robots-Tag其值为 noindex 或 none动态控制索引行为 可用于非HTML文件如PDF、视频文件或图片等。
HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex, nofollow
(...)或指定爬虫引擎
HTTP/1.1 200 OK
(...)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(...)服务端配置示例
以nginx配置为例比如希望所有pdf文件禁止被索引
location ~* \.pdf$ {add_header X-Robots-Tag noindex, nofollow;
}✅ 优势无需修改页面代码适合批量管理或程序化生成的内容。 根据场景选择方案
需求场景推荐方案整站/目录禁止抓取robots.txt精准控制单页索引/链接跟踪Meta Robots 标签动态文件或服务器级批量控制X-Robots-Tag HTTP 头
实际业务中建议同时使用 robots.txt noindex 组合。
