tel:17340208223 QQ:229119353 微信:cdseo-seo 登陆 注册

关于Googlebot的分类有哪些?

日期: 2018-08-20 12:00:00 点击:467 栏目:常见问题
Googlebot 咱们一般称为Google 机器人或Google 探测器。   Google “差遣”了不同的Googlebot 对网页内容进行获取。首要包含:   ...
Googlebot 咱们一般称为Google 机器人或Google 探测器。   Google “差遣”了不同的Googlebot 对网页内容进行获取。首要包含:   Googlebot:抓取网页中的文字内容。获取的内容保存于Google 网页查找和新闻查找的数据库。咱们一般谈的Google 机器人首要指这个。   Googlebot-Mobile:抓取网页中的文字内容,用于Google 手机查找。   Googlebot-Image:抓取网页内的图片内容,保存入Google 图片查找数据库。   Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense 剖析关键词。只要投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。   Googlebot 和Mediapartners-Google 是十分勤勉的机器人,如果他们影响到你服务器的承受力,你能够经过 robots.txt 文件加以阻止。   Adsbot-Google:抓取网页中的文字内容,用于为Google AdWords 供给参考。只要Google AdWords  的方针网页才会被 Adsbot-Google 探测器爬取。