网络爬虫是什么（爬虫怎么学）

　　网络爬虫是什么（爬虫怎么学）爬虫的起源
　　爬虫的起源可以追溯到万维网（互联网）诞生之初，一开始互联网还没有搜索。在搜索引擎没有被开发之前，互联网只是文件传输协议（FTP）站点的集合，用户可以在这些站点中导航以找到特定的共享文件。
　　为了查找和组合互联网上可用的分布式数据，人们创建了一个自动化程序，称为网络爬虫机器人，可以抓取互联网上的所有网页，然后将所有页面上的内容复制到数据库中制作索引。
　　爬虫的发展
　　随着互联网的发展，网络上的资源变得日益丰富但却驳杂不堪，信息的获取成本变得更高了。
　　相应地，也日渐发展出更加智能，且适用性更强的爬虫软件。
　　它们类似于蜘蛛通过辐射出去的蛛网来获取信息，继而从中捕获到它想要的猎物，所以爬虫也被称为网页蜘蛛，当然相较蛛网而言，爬虫软件更具主动性。另外，爬虫还有一些不常用的名字，像蚂蚁模拟程序蠕虫。
　　爬虫的工作流程大致如下：
　　通常，爬取网页数据时，只需要2个步骤：
　　打开网页将具体的数据从网页中复制并导出到表格或资源库中。
　　简单来说就是，抓取和复制。爬虫的君子协议
　　搜索引擎的爬虫是善意的，可以检索你的一切信息，并提供给其他用户访问，为此它们还专门定义了robots。txt文件，作为君子协议。
　　Robots协议（爬虫协议）的全称是网络爬虫排除标准（RobotsExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。该协议是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。
　　以淘宝网的robots。txt为例，
　　以Allow项的值开头的URL是允许robot访问的。例如，Allow：article允许百度爬虫引擎访问article。htm、articlehttp：12345。com等。
　　以Disallow项为开头的链接是不允许百度爬虫引擎访问的。例如，Disallow：product不允许百度爬虫引擎访问producthttp：12345。com等。
　　最后一行，Disallow：禁止百度爬虫访问除了Allow规定页面外的其他所有页面。
　　所以你是不能从百度上搜索到淘宝内部的产品信息的。
　　君子协议虽好，然而事情很快就被一些人破坏了，于是就有了反爬虫。爬虫与反爬虫
　　爬虫与反爬虫是矛与盾的攻守关系，有了爬虫自然也就有了反爬虫。
　　一些企业为了保证服务器的正常运转，降低服务器的运转压力与成本，不得不使出各种各样的手段来阻止爬虫工程师毫无节制地向服务器索取资源，这种行为我们称之为反爬虫。
　　在爬虫与反爬虫的较量上，一些反爬手段常常会让人津津乐道，比如，文本混淆反爬虫、动态渲染反爬虫、信息校验反爬虫、代码混淆反爬虫等等。
　　反爬虫技术是如何对爬虫进行防御的，其实现原理是什么？以下就以信息校验反爬为例，请《鹿鼎记》的韦香主给大家做一下演示。
　　假设天地会赤火堂香主派人从京城前往扬州将一封非常重要的密函交给青木堂香主韦小宝，我们可以将这件事抽象为下图：
　　这件事的核心是帮派成员甲将重要密函交给帮派成员乙。假设甲、乙双方互不相识亦从未有过会面，那帮派成员甲如何判断密函交给了帮派成员乙，而不是给错人给了其他帮派成员丁呢？
　　在历史实践中肯定吃过这样的亏，遂天地会采用了接头暗号这种方式来确保甲、乙双方是同一帮派成员，这才有了：
　　地镇高岗，一派溪山千古秀；
　　门朝大海，三河合水万年流。
　　暗号只有帮派成员才知道，且不可外泄。甲、乙双方见面时由帮派成员甲说出地镇高岗，一派溪山千古秀，帮派成员乙听到后必须接下一句门朝大海，三河合水万年流。如果帮派成员乙不知道下一句是什么，或者胡说一气，那么帮派成员甲就可以判定他不是接头人，而是冒充的。
　　同样的，帮派成员乙要听到帮派成员甲说出地镇高岗，一派溪山千古秀。否则帮派成员甲就是冒充的，很有可能会将假的密函交给青木堂韦小宝。
　　天地会接头人互相传递消息（密函）很像是我们在开发WEB应用时的Client和Server，抽象地看起来像这样：
　　那么问题来了，Client和Server之间需不需要天地会这样的暗号呢？
　　答案是需要！
　　Client就像帮派成员甲，Server就像帮派成员乙，而他们的密函很有可能会被其他帮派成员丁拿走或伪造。既然天地会有接头暗号，那么Client和Server之间用什么来保障传递消息是第一手发出，而不是被拦截伪造的呢？
　　没错，签名验证！
　　签名验证是目前IT技术领域应用广泛的API接口数据保护方式之一，它能够有效防止消息接收端将被篡改或伪造的消息当作正常消息处理。
　　要注意的是，它的作用是防止消息接收端将被篡改或伪造的消息当作正常消息处理，而不是防止消息接受端接收假消息，事实上接口在收到消息的那一刻无法判断消息的真假。这一点非常重要，千万不要混淆了。
　　假设Client要将下个月5号刺杀鳌拜这封重要密函交给Server，抽象图如下：
　　这时候如果发生冒充事件，会带来什么影响：
　　其他帮派成员丁从Client那里获得消息后进行了伪造，将刺杀鳌拜的时间从5号改为6号，导致Server收到的刺杀时间是6号。这么一来，里应外合刺杀鳌拜的事就会变成一方延迟动手，这次谋划已久的刺杀行动大概率会失败，而且会造成不小的损失。
　　我们使用签名验证来改善这个消息传递和验证的事。这里可以简单将签名验证理解为在原消息的基础上进行一定规则的运算和加密，最终将加密结果放到消息中一并发送，消息接收者拿到消息后按照相同的规则进行运算和加密，将自己运算得到的加密值和传递过来的加密值进行比对，如果两值相同则代表消息没有被拦截伪造，反之可以判定消息被拦截伪造。
　　签名验证被广泛应用，例如下载操作系统镜像文件时官方网站会提供文件的MD5值、阿里巴巴腾讯华为等企业对外开放的接口中鉴权部分的sign值等。
　　以上反爬方法选自《Python3反爬虫原理与绕过实战》
　　《Python3反爬虫原理与绕过实战》韦世东著
　　这本书是爬虫领域第一本专门介绍反爬虫的书，被誉为爬虫工程师不可错过的武功秘籍，腾讯、马蜂窝工程师倾力推荐。
　　知其然，知其所以然，文武兼备，本书从攻防两个角度进行解读，描述了爬虫技术与反爬虫技术的对抗过程，并详细介绍了这其中的原理和具体实现方法。
　　从本书中你将了解到以上文中提到的签名验证以及文本混淆、动态渲染、加密解密、代码混淆和行为验证码等反爬虫技术的成因和绕过方法。
　　爬虫技术是一把双刃剑，希望大家可以将学到的技术用于防护，提高应用防护等级，以剑养剑，攻守兼备才能够在技术的江湖上任逍遥写在最后
　　爬虫本身并未违反法律。但程序运行过程中可能对他人经营网站造成破坏，爬取的数据有可能涉及隐私或机密，数据本身也可能产生法律纠纷。