网站建设在哪里进行,企业组网方案,雄安优秀网站建设方案,html5网站建设中robots.txt协议是在Web站点的根目录下设置一个robots.txt文件#xff0c;规定站点上的哪些区域或者哪些页面是限制搜索的。搜索程序将参考该文件#xff0c;决定站点中的哪些区域是不允许搜索的#xff0c;并在接下来的搜索过程中跳过这些区域。
下面是一个例子#xff1a…robots.txt协议是在Web站点的根目录下设置一个robots.txt文件规定站点上的哪些区域或者哪些页面是限制搜索的。搜索程序将参考该文件决定站点中的哪些区域是不允许搜索的并在接下来的搜索过程中跳过这些区域。
下面是一个例子
# robots.txt for http://somehost.comUser-agent: *
Disallow: /cgi-bin
Disallow: /registration
示例中第一行是一行注释注释以一个#开头。User-agent指访问站点的程序每个浏览器都有一个唯一的User-agent值浏览器在向Web服务器发送请求时会在每个请求中都附加这个值。 Web站点通过在robots.txt中使用User-agent就可以针对不同的User-agent设置不同的规则。Disallow是拒绝语句定义了搜索程序不允许访问的Web站点路径。拒绝语句只针对路径进行设置不针对具体的文件。
