MapReduce是什么？大数据开发的学习之路必须缺它不可吗

　　今天我们开始学习新的篇章MapReduce系列知识，所以本期带来的是大数据开发MapReduce，MapReduce作为一种编程模型，它是如何将自己的功能发挥到极致，以此提高工作效率的呢？下面就一起来看。
　　一、MapReduce简介
　　MapReduce是一个高性能的分布式计算框架，用于大规模数据集（大于1TB）的并行运算。它极大的方便编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。MapReduce分为Map（映射）和Reduce（化简）两个阶段，是在HDFS存储数据的基础上，将一个较大的计算任务（job）分解成若干小任务（task），每个小任务都由一个Map任务（task）来计算（这个Map尽量在数据所在节点上完成计算），然后再将每个Map的计算结果由一个或多个Reduce任务（task）合并，得到最终的结果。它的火热发展也得感谢GOOGLE，当初GOOGLE将几篇关于MapReduce的文章发布出来之后，就一炮而红，Hadoop的思想源于Google的几篇论文，提出来分布式计算框架MapReduce。
　　二、MapReduce结构
　　MapReduce由Client、JobTracker、TaskTracker、Task组成
　　1。Client
　　用户编写的MapReduce程序通过Client提交到JobTracker端用户可通过Client提供的一些接口查看作业运行状态
　　2。JobTracker
　　JobTracker负责资源监控和作业调度JobTracker监控所有TaskTracker与Job的健康状况，一旦发现失败，就将相应的任务转移到其他节点JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler），而调度器会在资源出现空闲时，选择合适的任务去使用这些资源
　　3。TaskTracker
　　TaskTracker会周期性地通过心跳将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker发送过来的命令并执行相应的操作，TaskTracker使用slot等量划分本节点上的资源量（CPU、内存等）。一个Task获取到一个slot后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Mapslot和Reduceslot两种，分别供MapTask和ReduceTask使用
　　4。Task
　　Task分为MapTask和ReduceTask两种，均由TaskTracker启动
　　说完了结构那我们就仔细看看它是怎么进行操作过程的。
　　三、MapReduce的执行流程
　　通过将输入数据划分为M个分片，map函数的调用分布在多台机器上，这些分片可与不同的机器并行地处理。通过将中间结果的键空间划分为R个分片，reduce函数的调用分布在多台机器上。
　　下图展示了MapReduce操作的整个流程。
　　1。客户程序中的MapReduce库首先将输入文件分成M个大小通常为16MB或者64MB的分片。然后开始在集群上的机器复制客户程序
　　2。其中有一个程序的备份是特殊的，它就是主节点。其它的是由主节点分配任务的从节点。主节点有M个map任务和R个reduce任务要分配给那些空闲的从节点。
　　3。一个被分配了map任务的从节点从输入分片中读取内容，然后从输入中解析出键值对被传递给用户定义的map函数，由它来产生中间结果的键值对并缓存在内存中。
　　4。在内存中的键值对被周期性地写入到本地磁盘，通过分片函数被分成R个分片。这些分片的位置被回传给主节点，由主节点告诉reduce从节点它们的位置。
　　5。当reduce从节点被主节点告知分片的位置时，它从使用RPC（remoteprocedurecall）去读取那些缓存数据，当读完后，它会按键值进行排序，然后将有相同键值的键值对组合在一起，形成键值列表。
　　6。reduce从节点遍历已经排序合并好了的中间数据，将每一个键值列表对传递给客户定义的reduce函数。reduce函数返回的结果被添加到这个reduce从节点的结果文件中。
　　7。当所有map从节点和reduce从节点完成后，主节点唤醒客户程序。如果MapReduce程序成功完成，结果文件被存储在R个输出文件中。
　　以上就是本期的内容了，Hadoop系列知识之前说过会占很多，今天MapReduce也是属于Hadoop的知识体系，希望大家能好好理解。
　　希望大家点个关注，及时收取最新文章推送，想了解更多敬请咨询加米谷大数据。
　　有问题的欢迎在评论区留言，如有侵权请告知。