大概这是七月初最重要的一条有关搜索引擎行业的新闻，Google公司，力推REP为互联网标准，并且把自己的robots。txt解析器在Github上开源了。
　　robots。txt，源自于1994年的时候，MartijnKoster（一个网站站长）在被蜘蛛过度抓取网站后，自行创建的一个初始标准，随着越来越多的网站站长的补充，追随，RebotsExclusionProtocol（REP），就诞生了，随着各大搜索引擎同站长们的良性互动，它们也都采用了这个标准。然而这个REP，始终没有成为一个互联网标准。
　　现在Google联合其他的几个巨头，力图把REP推动成为一个互联网标准。
　　在把REP作为标准的路上，其实还是同平时站长们的使用还是有一点小小变化的，具体的表现在robots。txt不止可以用于HTTP，还包括了FTP等基于URI的传输协议；解析器的开发者需要至少解析robots。txt的前500KB内容；还有缓存时间等等一些新的标准内容。
　　网站站长们如果对此有建议，有问题，等等，都可以到WebmasterCommunity或者twitter上联系。
　　就我个人的看法，这是推动站长以及搜索引擎规范化的进步，站长们有规范可遵循，搜索引擎也需要遵守，包括各种内容抓取者都需要遵守。
　　作者：DavidYin

三个节点，详解互联网简史虽然今天的人们已经习惯了互联网存在的生活，但要仔细追问下互联网的起源，大部分人估计会说你有病吧。这是好事，因为大家往往对一件东西的存在习以为常的时候，才证明这个东西是有多……100个自媒体平台推荐一，强推荐自媒体平台今日头条号流量大，容易上手，百家号背靠百度，大鱼号背靠阿里，微信公众平台不用我多说，你懂的。二，综合类自媒体平台三，新闻类自媒体平台……互联网下沉的匪徒们抢占下沉市场，要有野蛮的匪气，方能开疆扩土。283个地级市，1735个县，4。8万个镇，69万个村庄。在中国这片广袤的土地上，有10亿农村人口，逐渐替代一二线光鲜亮丽的白……日本版的今日头条，成了第一家媒体独角兽尽管早早地为今日头条下了这样的定义，张一鸣还是在2016年初邀请一众主流媒体和新闻学者开了一场未来媒体峰会，他也分享了自己对媒体发展史的看法：互联网时代，最重要的一点变化是信息……李彦宏这14年发行价27美元，开盘价66美元，IPO首日收盘于122。54美元，涨幅353。85，市值达39。58亿美元。这是14年前一只中概股赴美上市的情景，”这是一个奇迹“，当天不……Chrome地址栏默认不展示HTTPS和WWW从最近发布的Chrome69开始，桌面版和移动版的地址栏默认不再显示HTTPS和WWW。如果用户想要查看完整的网址，桌面版需要点击两次，移动版需要点击一次。Google此……马斯克几亿工资到账特斯拉史上最好季报下仍暗藏隐忧【智车派】近日，特斯拉的销售和公关都很忙。由于国内上海工厂产能的提升，Model3的交付量节节攀升。为了满足越来越多的顾客需求，特斯拉又开始大量招聘销售人员。除了产能和销量的不……字节的搜索，难跳动在官方确认将推出智能手机后，字节跳动继续搞事情。这一次是已经筹备两年的搜索引擎。7月31日，公众号字节跳动招聘发布招聘启事，搜索团队浮出水面，并披露其目标是打造一个用户体……微信终于把朋友圈开放给了电商！编者独家获悉，微信广告投放端已悄然接入有赞小程序，由有赞为广告主提供小程序落地页，以此达到降低广告主投放微信小程序的门槛。上述对接意味着，广告主可以直接在微信广告投放端创……Google开源robots。txt解析器大概这是七月初最重要的一条有关搜索引擎行业的新闻，Google公司，力推REP为互联网标准，并且把自己的robots。txt解析器在Github上开源了。robots。t……微信好物圈再进化，内容电商开启新玩法上周好物圈又经历了一次改版，logo图标变了，各种模块都发生了挪移，“点赞”变成“种草”。虽然都是细枝末节的变化，整个布局并没有大改，无疑腾讯的电商梦正在进行时。作者试着从好物……收不完的互联网智商税智商税由来已久，从早期的“神药”到后来的“假冒高科技产品”，再到互联网时代”贩卖焦虑型的知识付费”等，形式层出不穷。时至今日，虽然很多智商税已经被大众所熟知，但是随着互联……