摘要: 一名开发者汇报, 发现苹果在秘密使用网络爬虫抓取互联网上的 HTML 内容, 不过他不能确定苹果这么做的目的. 苹果的网络爬虫使用谷歌的 Go 语言编写, 最早可以追溯到 10 月 15 日. 其他开发者也纷纷报告, 发现了苹果的网络爬虫踪迹, 它只请求网站的 HTML 内容, 不访问 CSS, JavaScri ...
一名开发者汇报, 发现苹果在秘密使用网络爬虫抓取互联网上的 HTML 内容, 不过他不能确定苹果这么做的目的. 苹果的网络爬虫使用谷歌的 Go 语言编写, 最早可以追溯到 10 月 15 日. 其他开发者也纷纷报告, 发现了苹果的网络爬虫踪迹, 它只请求网站的 HTML 内容, 不访问 CSS, JavaScript 或者图片文件. 苹果的网络爬虫使用 Mozilla/5.0 (compatible; Fetcher/0.1) 的身份. 来自 17. 开头的 IP 地址, 而这正是苹果的服务器所在. 目前不能确定是苹果官方的行为, 还是员工自己写的一个测试软件. 如果是苹果官方的, 也许暗示苹果正在秘密改善 OS X 10.10 和 iOS 8 的 Spotlight 网络搜索功能, 该功能让用户不需要打开谷歌或 Bing 搜索网站, 虽然苹果不和谷歌, 微软竞争, 但是也在 Siri 里面提供了一定的信息, 这样就不需要显示 Bing 的搜索结果了.  网络爬虫是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理（分检整理下载的页面），而使得用户能更快的检索到他们需要的信息。 |
