网络爬虫活动增加,关于苹果将推出搜索引擎的猜测再现
IT之家8月28日消息多名开发者最近在他们的网站日志中看到苹果的网络爬虫Applebot的活动增加,这再次引发了苹果可能计划推出一个成熟的搜索引擎的猜测。然而,更有可能的是,这些爬虫活动应该与苹果改善Siri和Spotlight搜索结果的工作有关。
数字营销洞察公司Coywolf的创始人乔恩亨肖(JonHenshaw)本周在一篇博客文章中称,Applebot已经开始每天定时抓取他的网站,这是他之前没有注意到的。而在Twitter上,StackOverflow工程师NickCraver和数字营销顾问MichaelJamesField也注意到最近几天Applebot在他们所监管的网站上的抓取量激增。
和其他网络爬虫一样,Applebot也会扫描网络,根据几个因素来帮助确定搜索结果的排名,这些因素包括用户参与度、搜索词与网页主题和内容的相关性和匹配度、网页从其他网站获得的链接数量,以及网页的设计特点。
正如Henshaw所指出的那样,苹果在7月份更新了Applebot的支持文档,增加了新的细节。
增加了如何验证Applebot的流量
扩充了Applebot用户代理的细节,包括桌面版和移动版的区别
扩展的robots。txt规则
增加了一个部分,说明他们不仅仅是抓取HTML,还可以渲染类似于Google的页面。
增加了一个关于搜索排名和影响网络搜索结果排名的因素的部分。
鉴于苹果宣传自己是一家注重隐私的公司,没有像谷歌或Facebook那样的广告或数据驱动的商业模式,因此不确定它是否会想走推出一个成熟的搜索引擎的道路。
至少从2015年开始,苹果要推出搜索引擎的传闻就出现了,当时苹果首次确认了其Applebot,并发布了一系列与搜索相关的工作招聘。
目前,Applebot可能仍然致力于改善Siri和Spotlight的搜索结果,正如苹果在其支持文件中所说的那样。IT之家了解到,在6月份的WWDC主题演讲中,苹果表示,Siri可以提供的事实数量是三年前的20多倍。