tel:17340208223 QQ:229119353 微信:cdseo-seo 登陆 注册

robots.txt文件具有怎样的意义?

日期: 2018-08-20 13:35:00 点击:456 栏目:常见问题
什么是robots.txt文件?   搜索引擎机器人经过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在拜访一个网站时,会首先查看...
什么是robots.txt文件?   搜索引擎机器人经过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在拜访一个网站时,会首先查看该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当咱们的网站有一些内容不想被搜索引擎录入,咱们能够经过设置robots.txt文件告知搜索引擎机器人。   如果网站上没有禁止搜索引擎录入的内容,则不必设置robots.txt文件,或设置为空。   从SEO的视点,robots.txt文件是一定要设置的,原因:   网站上常常存在这种状况:不同的链接指向类似的网页内容。这不契合SEO上讲的“网页内容互异性准则”。选用robots.txt文件能够屏蔽掉次要的链接。   网站改版或URL重写优化时原来不契合搜索引擎友爱的链接需求悉数屏蔽掉。选用robots.txt文件删除旧的链接契合搜索引擎友爱。   一般状况下,站内的搜索成果页面屏蔽掉更好。   一些没有关键词的页面,比方本站的这个页面http://www.seowhy.com/search.html,屏蔽掉更好。