苹果刚刚在网站上放出了传言已久的“AppleBot”的一些技术细节,证实了传闻已久的苹果有自己的网络信息抓取服务的确是真的。网络爬虫,或者叫网络信息抓取服务,是一种按照一定的规则,自动的抓取WWW网上信息的程序或者脚本
苹果刚刚在网站上放出了传言已久的“AppleBot”的一些技术细节,证实了传闻已久的苹果有自己的网络信息抓取服务的确是真的。
网络爬虫,或者叫网络信息抓取服务,是一种按照一定的规则,自动的抓取WWW网上信息的程序或者脚本。,是搜索引擎的关键组件。一直以来大家都认为苹果是利用了Bing或者Google等第三方搜索引擎来提供Siri、Spotlight等的搜索服务的。但是去年11月时开发者Jan Moesen发现了有大量的web信息被17.0.0.0/8地址段的爬虫抓取,根据对地址段归属的查询发现这是属于苹果的地址段,再加上苹果又终止了与Google就Safari默认搜索引擎的交易,从而引发了对苹果有自己网络爬虫的猜测。
现在苹果有限公布了这一名为“AppleBot”的网络爬虫的细节,相当于证实了之前的传言:
Applebot是苹果的网络爬虫,用于包括Siri、Spotlight Suggestions在内的产品上。它遵守通常的robots.txt规则并沿用相关元标签。所用地址段为17.0.0.0。可以看出,苹果的爬虫跟Google的运作方式类似。因为里面提到爬虫指令里面若没有提到Applebot的话将遵循Googlebot指令规则。
目前尚不清楚苹果的网络爬虫启用了多久。同时由于网络爬虫只是搜索引擎的一部分,未必就代表苹果在做自己的搜索引擎。
声明:本文内容来源自网络,文字、图片等素材版权属于原作者,平台转载素材出于传递更多信息,文章内容仅供参考与学习,切勿作为商业目的使用。如果侵害了您的合法权益,请您及时与我们联系,我们会在第一时间进行处理!我们尊重版权,也致力于保护版权,站搜网感谢您的分享!