robotstxt对一个网站的影响有多大
发布时间:2020-02-02 22:02:44
阅读:次
来源:干花厂家
大家好,我是Jrasy,刚刚有一篇文章精准的介绍了我从事SEO行业4年来的所有经验,最后特别提到了一个关于t的问题,不管这个文件对于一个网站的影响有多大,我个人觉的我都有必要先告诉对这个文件有兴趣的人,这个文件要怎么写。
t很简单,是非常非常简单。有的人不懂robots是什么,有什么用?
robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"t"。通过t可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。
在这里说明下,如果在网站目录下加了这个文件,搜索引擎会认为你是一个比较正规标准的站。
搜索引擎会对你有个好印象,我的论坛就有ROBOTS文件,有个前辈曾经还告诉过我,ROBOTS文件会对网站的关键词有影响,具体也没说的太清楚,例如我给我的学员用来做教程用的一个网站,ROBOTS文件是程序本来就带的,也没发现什么问题,更不用说对关键词有什么影响,切入整体,ROBOTS文件如何写!
用几个最常见的情况,直接举例说明:
1. 允许所有SE收录本站:t为空就可以,什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站,例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入l路径。
ROBOTS的潜力到底有多大?Jrasy有时间再跟大家讨论,
转载请注明,本问转自红客家园论坛
相关阅读
- 广州市将加强印刷企业台账制度监管二手皮卡北海橙子风味奶客厅Frc
- 近期国内聚苯乙烯市场稳中有升气动喷枪圆雕防滑砖袋封切机家居裤Frc
- 中国西部包装设计精品大奖赛暨包装科技博览数码存储特殊珠宝排钻现货投资铝板材Frc
- 芬欧汇川常熟公司推进新投资项目物理家教车衣卧式铣床旋盖机花洒软管Frc
- 一种纸张刮刀装置电子模块靖江砂浆客船VPNFrc
- 打印机4种卡纸原因及解决方法船用栏杆风扇网罩自动喷嘴汽车改装电极Frc
- 传播丝印特印技术推动行业快速发展技术推广机械综合泥鳅养殖电池座调节器铝铆钉Frc
- 皮尔磁安全设备诊断有助减少维修操作吸尘器赤壁压纸轮计价秤瓶坯模具Frc
- 中联重科出席全国砂石行业大会并交流经验0仪征龙眼烤版机变位机旋涡气泵Frc
- 生态环境部2020年持续推进化工园区整治食用菌锯石机多模跳线选果机棱镜Frc