robots文件（robots目录）

大家好，今天来为大家解答robots文件这个问题的一些问题点，包括robots目录也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~

本文主要内容一览

• 1、robotstxt不写行不行
• 2、网站里的robots文件是什么意思
• 3、robotstxt文件中允许所有搜索引擎访问所有url的
• 4、robotarms与robotsarms区别
• 5、robots文件设置了重定向跳转
• 6、robots文件主要是屏蔽网站的哪些页面

robots文件（robots目录）

1robotstxt不写行不行

行的。

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件

不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots文件（robots目录）

2网站里的robots文件是什么意思

搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”

蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。

Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。

举个例子：建立一个名为robots.txt的文本文件，然后输入

User-agent:*星号说明允许所有搜索引擎收录

Disallow:index.php?表示不允许收录以index.php?前缀的链接，比如index.php?=865

Disallow:/tmp/表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html

3robotstxt文件中允许所有搜索引擎访问所有url的

1、User杠agent：Disallow：或者User杠agent：Allow允许所有搜索引擎访问网站的所有部分。2、Disallow说明允许robot访问该网站的所有url，在robots.txt文件中，至少要有一条Disallow记录访问。

4robotarms与robotsarms区别

robots meta和robots的区别

企师爷

一家专做互联网营销解决方案的提供商

一、robots meta

Robots meta标签主要用于特定页面。与其他META标签（如使用的语言、页面描述、关键词等）一样，robots meta标记也被放置在页面的head中，这是为了告诉搜索引擎robots如何获取页面的内容。

follow指令能够提醒搜索引擎继续沿着页面上的链接对内容进行爬行和抓取；robots meta标签的默认值是index和follow；index指令可以提示搜索引擎抓取目标页面；robots meta标签不用区分大小写，name=“robots”表示所有搜索引擎。

对于一个特定的搜索引擎，它可以写成name=“Baidu spider”内容。有四个命令选项：index、Noindex、follow、nofollow，指令之间用“，”分隔开来。

图片源自网络

二、robots

robots是网站和搜索引擎蜘蛛之间的协议。在访问站点的时候，搜索引擎蜘蛛首先会检查robot是否存在于站点的根目录中。如果找到了robots文件，搜索引擎蜘蛛就会根据文件内容来确定访问范围。如果文件不存在，搜索引擎蜘蛛将沿着链接进行爬行和抓取。

robots.txt是一个纯文本文件，可以帮助站长在网站中设置不希望被搜索引擎访问的部分、或是只允许搜索引擎收录指定的内容。需要注意的是，txt文件必须放在站点的根目录中，并且文件名必须是小写的。

简单来说，设置robots文件会直接影响搜索引擎对网站的收录情况。因此，只有需要阻止搜索引擎爬行网站的时候，才会编写robots.txt文件。

有些服务器设置会存在这样的问题：当robots文件不存在时，它会返回200状态代码和一些错误消息，而不是404页面。这是因为搜索引擎误读了robots的文件信息。

三、Robots和robots meta的区别

所有的搜索引擎都支持和遵守robots.txt的规则，但是支持robots meta的很少，所以我们可以按照自己实际需求去使用它们

5robots文件设置了重定向跳转

robots文件设置了定向跳转,属于正常行为,也是正常操作,因为如果不设置定向跳转的话,那么它就会造成资料丢失,所以才需要设置,如果想打开这个文件,那么就需要自己输入账号,然后进行打开,以管理员的身份运行。

6robots文件主要是屏蔽网站的哪些页面

你好，具体哪些网站的目录需要使用robots.txt文件禁止抓取：1)、图片目录图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS的出现，真正做到了会打字就会建网站，而正是因为如此方便，网上出现了大量的同质化模板网站，被反复使用，这样的网站搜索引擎是肯定不喜欢的，就算是你的网站被收录了，那你的效果也是很差的。如果你非要用这种网站的话，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是：imags或者img;2)、网站模板目录如上面图片目录中所说，CMS的强大和灵活，也导致了很多同质化的网站模板的出现和滥用，高度的重复性模板在搜索引擎中形成了一种冗余，且模板文件常常与生成文件高度相似，同样易造成雷同内容的出现。对搜索引擎很不友好，严重的直接被搜索引擎打入冷宫，不得翻身，很多CMS有拥有独立的模板存放目录，因此，应该进行模板目录的屏蔽。通常模板目录的文件目录是：templets3)、CSS、JS目录的屏蔽CSS目录文件在搜索引擎的抓取中没有用处，也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽，以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是：CSS或者styleJS文件在搜索引擎中无法进行识别，这里只是建议，可以对其进行屏蔽，这样做也有一个好处：为搜索引擎提供一个简洁明了的索引环境;4)、屏蔽双页面的内容这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。5)、模板缓存目录很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。很多使用CMS建站的朋友都没有注意到，必须要引起重视。6)被删除的目录死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽，并返回正确的404错误页面(注意：在IIS中，有的朋友在设置404错误的时候，设置存在问题，在自定义错误页面一项中，404错误的正确设置应该是选择：默认值或者文件，而不应该是：URL，以防止搜索引擎返回200的状态码。至于怎么设置，网上教程很多，大家要吧搜索一下)这里有一个争议性的问题，关于网站后台管理目录是否需要进行屏蔽，其实这个可有可无。在能保证网站安全的情况下，如果你的网站运营规模较小，就算网站管理目录出现在robots.txt文件中，也没有多大问题，这个我也见过很多网站这样设置的;但如果你的网站运营规模较大，竞争夺手过多，强烈建议千万别出现任何你网站后台管理目录的信息，以防被别有用心的人利用，损害你的利益;其实搜索引擎越来越智能，对于网站的管理目录还是能很好的识别，并放弃索引的。另外，大家在做网站后台的时候，也可以在页面元标签中添加：进行搜索引擎的屏蔽抓取。最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。希望对楼主有帮助，望采纳。

本文网址：https://www.dingshengweb.cn/hydt/652.html

版权声明： 1.本站内容部分为潍坊鼎晟科技编辑原创文章，部分来源于网络，如需转载，请标注来源网站名字和文章出处链接。 2.本站内容为传递信息使用，仅供参考，也不构成相关建议。 3.部分内容和图片来源于网络，如有侵权，请联系我们处理。