干花厂家
免费服务热线

Free service

hotline

010-00000000
干花厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

robotstxt对一个网站的影响有多大

发布时间:2020-02-02 22:02:44 阅读: 来源:干花厂家

大家好,我是Jrasy,刚刚有一篇文章精准的介绍了我从事SEO行业4年来的所有经验,最后特别提到了一个关于t的问题,不管这个文件对于一个网站的影响有多大,我个人觉的我都有必要先告诉对这个文件有兴趣的人,这个文件要怎么写。

t很简单,是非常非常简单。有的人不懂robots是什么,有什么用?

robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"t"。通过t可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。

在这里说明下,如果在网站目录下加了这个文件,搜索引擎会认为你是一个比较正规标准的站。

搜索引擎会对你有个好印象,我的论坛就有ROBOTS文件,有个前辈曾经还告诉过我,ROBOTS文件会对网站的关键词有影响,具体也没说的太清楚,例如我给我的学员用来做教程用的一个网站,ROBOTS文件是程序本来就带的,也没发现什么问题,更不用说对关键词有什么影响,切入整体,ROBOTS文件如何写!

用几个最常见的情况,直接举例说明:

1. 允许所有SE收录本站:t为空就可以,什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站,例如禁止百度:

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站:

User-agent: *

Disallow: /

5. 加入l路径。

ROBOTS的潜力到底有多大?Jrasy有时间再跟大家讨论,

转载请注明,本问转自红客家园论坛

挂号服务平台有哪些

名医汇

名医汇