网站robots需要禁止哪些文件_robots禁止抓取

文中目录表：

• 1、网站中，robots屏蔽应该在哪屏蔽呢？屏蔽的是哪些内容？
• 2、织梦的robots文件需要禁止抓取哪些文件
• 3、robots文档如何设置该屏蔽哪些文件

网站中，robots屏蔽应该在哪屏蔽呢？屏蔽的是哪些内容？

robots是网站的和搜索引擎的一个文件协议，你要做的话要把文件写好了上传的网站的根目录，然后再你网站的域名后面加上robots。txt就能查看到了，那些内容就要看你网的那些内容是不想搜索引擎抓取的就屏蔽那些内容。比如：一般网站都会屏蔽用户的登陆页面或者是用户的资料页面，或者是网站后台的登陆页面，或者是网站的死链接页面等很多不想让搜索引擎抓取的页面。希望我的回答能帮到你。龙术SEO

织梦的robots文件需要禁止抓取哪些文件

主要是官方的一些文件夹，你可以参考一下这个 然后考虑禁止哪些

../a　默认生成文件存放目录

../data　系统缓存或其他可写入数据存放目录

../dede　默认后台登录管理（可任意改名）

../images　系统默认的部分系统需要的图片目录

../include　程序核心系统文件目录

../install　安装文件目录

../member　会员系统目录

../plus　插件及辅助功能目录

../special　专题目录

../templets　模版目录

../uploads　默认上传文件目录

../index.php　网站默认动态首页文件

../robots.txt　限定搜索引擎命令

../tags.php　TAG标签文件

robots文档如何设置该屏蔽哪些文件

具体哪些网站的目录需要使用robots.txt文件禁止抓取:

1)、图片目录 图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS的出现，真正做到了会打字就会建网站，而正是因为如此方便，网上出现了大量的同质化模板网站，被反复使用，这样的网站搜索引擎是肯定不喜欢的，就算是你的网站被收录了，那你的效果也是很差的。如果你非要用这种网站的话，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是:imags 或者 img；

2)、网站模板目录 如上面 图片目录 中所说，CMS的强大和灵活，也导致了很多同质化的网站模板的出现和滥用，高度的重复性模板在搜索引擎中形成了一种冗余，且模板文件常常与生成文件高度相似，同样易造成雷同内容的出现。对搜索引擎很不友好，严重的直接被搜索引擎打入冷宫，不得翻身，很多CMS有拥有独立的模板存放目录，因此，应该进行模板目录的屏蔽。通常模板目录的文件目录是:templets

3)、CSS、JS目录的屏蔽 CSS目录文件在搜索引擎的抓取中没有用处，也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽，以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是:CSS 或者 style JS文件在搜索引擎中无法进行识别，这里只是建议，可以对其进行屏蔽，这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境；

4)、屏蔽双页面的内容 这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录；2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。

5)、模板缓存目录 很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。很多使用CMS建站的朋友都没有注意到，必须要引起重视。

6)被删除的目录 死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽，并返回正确的404错误页面(注意:在IIS中，有的朋友在设置404错误的时候，设置存在问题，在自定义错误页面一项中，404错误的正确设置应该是选择:默认值 或者 文件，而不应该是:URL，以防止搜索引擎返回200的状态码。至于怎么设置，网上教程很多，大家要吧搜索一下)

这里有一个争议性的问题，关于网站后台管理目录是否需要进行屏蔽，其实这个可有可无。在能保证网站安全的情况下，如果你的网站运营规模较小，就算网站管理目录出现在robots.txt文件中，也没有多大问题，这个我也见过很多网站这样设置的；但如果你的网站运营规模较大，竞争夺手过多，强烈建议千万别出现任何你网站后台管理目录的信息，以防被别有用心的人利用，损害你的利益；其实搜索引擎越来越智能，对于网站的管理目录还是能很好的识别，并放弃索引的。

另外，大家在做网站后台的时候，也可以在页面元标签中添加:进行搜索引擎的屏蔽抓取。

最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。