游戏电视苹果数码历史美丽
投稿投诉
美丽时装
彩妆资讯
历史明星
乐活安卓
数码常识
驾车健康
苹果问答
网络发型
电视车载
室内电影
游戏科学
音乐整形

2020年了,你还没有掌握分布式?浅谈分布式系统之理论知识

  1。为什么要学分布式
  作为后端从业人员,我们在找工作写简历的时候除了高并发经验,一般还会写上自己熟悉了解掌握精通分布式系统,所以高并发和分布式大多是成对出现的。
  在拉勾上搜了个后端岗位:
  分布式系统是个多金的知识点,那还不抓紧行动!
  2。熵增的分布式系统
  关于什么是分布式系统,有很多文章介绍,其实这个并不难理解,大白话讲就是:工厂活多了一个人撑不住,那就多找些工人一起干,要让这么多人为了一个目标干得快干得好,就需要一些规矩和套路,否则就乱了。
  从实践来看分布式系统属于重要的架构模式,对于互联网工程架构的演进,简单提一下为什么会出现分布式系统以及什么是分布式系统:
  业务量的迅速增大,普通的单机系统无法满足要求,要么垂直扩展升级机器硬件,要么水平扩展堆廉价服务器,这也是主流可以想到的解决方法,目前来看互联网领域选择了后者水平扩展。水平扩展机器多机房部署升级服务集群规模来应对业务的增长,也就出现了分布式系统,这些分布式系统中的物理节点可能是多机房多网络场景部署的,相互之间通过网络进行通信和协作。
  分布式系统就是为了解决巨大业务量和数据量而生的,但是庞大数量的节点来一起正确有序的完成共同的目标是需要理论和实践来锤打的,这也是分布式系统的重点内容。
  一般我们常接触的分布式系统包括两大类:分布式存储和分布式计算。
  分布式系统那么多机器要一起协调去完成任务也不是一件容易的事情,所以我们通常认为分布式系统是个熵增过程。熵是描述一个系统内在混乱程度的物理量,对于一个宏观熵看孤立的系统来说,在没有外力干预做功的前提下,系统内在混乱程度是会不断增加的,也就是熵是增加的。
  为了让系统保持有序就必须对其进行外力干涉,对于分布式系统而言,我们必须使用相应的策略和算法使整个系统保持有序和正确,所以认为分布式系统是个熵增过程。
  这个并不难理解,就像我们为了保持房屋整洁,定期必须打扫,要不然就乱成一锅粥了。
  如果对于系统不加以控制和干预,系统将自主走向混乱和无序。3。分布式一致性问题的理解
  分布式一致性到底是什么一致?
  分布式的一致性可以表现在很多方面,这些都是个性问题,然而无论这些个性问题有多少,任何行为和状态的展示必然是以数据为基础的,所以这些个性的一致性问题最终都会映射到一个共性问题分布式数据的一致性。
  分布式系统中拥有很多独立的节点,这些节点一般来说可以独立进行存储和计算任务,这两项是最主要的任务类型,本质上计算和存储的过程仍然是围绕数据展开的,所以最终还是数据一致性。
  在中心化结构中,存在管理节点和任务节点的区别,也就是每个节点的权利和义务是不一样的,管理节点可能负责分配任务给下属节点和收集计算结果等,总体承担协调者的角色,任务节点主要是承接任务,这样容易出现管理节点的单点问题。
  在去中心化的结构中,各个节点的权利和义务是相同的,尽管没有单独指定领导者,在实际的运行中仍然会选举出领导者和failover动态更新领导者的问题,完全的去中心化系统并不多,相比中心化系统来说,去中心系统更加扁平也更加稳定,像Redis官方集群就是去中心化的实现,任何一个节点的故障都不会带来特别大的问题,因为节点是平等的。
  无论在中心化还是去中心化的分布式系统中,任何一个节点的计算和存储结果都会对其他节点产生影响,这些独立的节点通过基础和特定的网络协议进行协作,从而形成一个整体。
  4。严格意义的数据一致性
  经过前面的一些铺垫,我们开始重点部分的学习分布式系统数据一致性问题。
  我们必须要有个共识:严格意义上的分布式数据一致性是不存在的。
  为啥不存在呢?
  在分布式系统中数据存储是多节点主从备份的,一般做成读写分离,当客户端将数据通过主库的代理写入之后,在极其短暂的瞬间,主节点的数据是无法复制到从节点的,这个瞬间其他客户端读取到的从库数据都是旧数据。
  聪明的读者盆友们可以体会一下瞬间这个词,当然你可以认为这是相对论的范畴,从物理角度去看可能更能体会。
  我们以redis主从节点之间的数据复制来看同步复制和异步复制场景下的数据一致性问题:
  一般来说,为了保证服务的高可用,主从节点的数据复制是异步的,因为同步复制延时无法保证,当然有的场景也是同步复制的,这样整体延时是无法保证的,假如是一主多从就更无法保证了同步复制的延时了。
  所以我们不讨论严苛意义上的数据一致性,而是研究在我们认为可以接受的时间长度下的数据一致性问题,也就是在自身环境约束下的数据一致性。
  单机系统的一致性和事务都是比较容易达到的,在分布式系统中由于所有节点的交互都要通过网络来实现,网络必然存在不稳定并且庞大系统中的单节点稳定性也是需要考虑的。
  前面这段话,读起来云里雾里,我想表达的意思是:不要过分把对单机系统中的数据一致性要求照搬到分布式系统中,因为两者的约束不一样,我们要合理分析从而让分布式系统的一致性尽量接近单机系统。
  solo和团战毕竟是不一样的,典型的《倚天屠龙记》中张无忌要去少林寺救谢逊,但是遇上的少林三位神僧渡厄、渡难、渡劫已经坐禅几十年,三人合一登峰造极,实在太难了,这也是优秀分布式系统的顶峰吧。。。5。CAP理论和PACELC理论
  我们知道cap理论描述了一致性、可用性、分区容忍性的关系。
  在分布式系统中,由于节点物理分布和网络稳定性等原因,分区容忍性P是必然存在的,因此分布式系统必然要建立在分布式网络存在分区P的前提下。
  在P的基础上我们对于C和A进行选择,当然并不是说在任何时刻我们都必须C和A二选一,在网络正常的情况下C和A我们也是可以都有的,并且每个系统设计目标也不一样,需要更加实际要求来进行选择。
  分布式系统中P是必然存在的,我们在设计系统之初就要对C和A做平衡和选择,在正常的情况下跑出正确的结果是基本要求,在异常情况下仍然可以正常运行是设计重点。
  在分布式系统中,我们使用PACELC理论比CAP理论更加合适,因为PACELC理论是CAP理论的扩展,简单来说PACELC理论的表述是这样的:
  如果分区partition(P)存在,分布式系统就必须在availability(A)和consistency(C)之间取得平衡作出选择,否则else(E)当系统运行在无分区P情况下,系统需要在latency(L)和consistency(C)之间取得平衡。
  PACELC理论比CAP理论更适合分布式系统,它完全展现了出现网络分区和正常情况下的取舍平衡问题,特别地引入了L时延因素,来对一致性C进行说明,也就是我们常说的强一致性和弱一致性。
  强一致性不必多说,对主从数据的一致性要求很高,一般会牺牲可用性来保证,弱一致性又可以分为最终一致性会话一致性单调读一致性单调写一致性等情况,从实用的角度来说我们重点关注弱一致性的最终一致性情况即可。
  6。分布式和BASE理论
  我们知道由于网络稳定性原因,分布式系统出现网络分区是必须要考虑的问题,在一般的互联网场景中我们选择最终一致性来保证服务的高可用,也就是允许一段时间L的数据不一致,经过数据复制和同步后最终达到一致。
  我们看下BASE理论,这是我们理解分布式系统一致性的重要理论基础:BASE是基本可用(BasicallyAvailable)、软状态(Softstate)和最终一致性(Eventuallyconsistent)三个短语的缩写。
  BA基本可用是指:系统在绝大部分时间应处于可用状态,允许出现故障损失部分可用性,但保证核心可用。
  S软状态是指:数据状态不要求在任何时刻都保持一致,允许存在中间状态,而该状态不影响系统可用性。
  E最终一致性是指:软状态前提下,经过一定时间后,这些数据最终能达到一致性状态。7。CAPBASEACID的关系
  CAP理论说明了分布式系统中一致性C、可用性A、分区容错性P之间的制约关系。
  BASE理论和ACID理论可以看做是对CAP理论中三要素进行取舍后的某种情况,也是在单机系统和分布式系统中适用的情况,三者的关系如图:
  8。小结
  本文还是偏理论,在下一篇文章中会重点介绍2PC3PC、Paoxs、Raft协议、拜占庭将军问题等,敬请期待,感谢诸位本次的阅读。
  作者:后端技术指南针
  链接:https:juejin。impost5ec897a151882543372d934f

新白娘子传奇火热收官廖鹏飞最帅跟班称号收入囊中星关系5月5日讯由于朦胧、鞠婧祎、肖燕等人气演员主演的电视剧《新白娘子传奇》在近日迎来收官。大结局里,许仙和白娘子终于得以重逢,小青也展露了自己真龙的身份。不过看到这一幕还有不……人世间六君子掀桌告别过去,宫宏佳吕川也是时代的先行者《人世间》六君子掀桌告别过去,宫宏佳:吕川也是时代的先行者近日,当代现实题材大剧《人世间》在央视频道黄金档热播,这部剧改编自矛盾文学获奖小说,汇集了雷佳音、辛柏青、殷桃、……云顶天宫爆发打脸能量彭禺厶圈粉爆火!本来是冲着主角团去看的,没想到最后却被顺子圈了粉。这是很多在最近观看过腾讯热播剧《云顶天宫》的小伙伴经常会说的一句话。真香定律是件很神奇的事情,通常很可能越是充满争议,不……不怕书荒,还能听书看漫画,安卓阅读有它足矣有很多朋友都喜欢阅读电子书,但是却越来越无奈地发现,现在好用的电子书App越来越少。曾经老牌的几个精品应用早就成了明日黄花,新的软件比如番茄、七猫等等也是名为免费,实则满是套路……张淼怡我凭本事进冷宫杀青冷宫钉子户欢脱惹人爱7月5日,由李宏宇执导,张淼怡、金贤正主演的古装甜宠剧《我凭本事进冷宫》在宁波象山正式杀青。《我凭本事进冷宫》改编自同名网络小说。张淼怡饰演女一号颜一一,一位活泼开朗,神……ITX机箱中的细节狂魔迎广A1Lite在我看来,近两年间ITX机箱的装机玩儿法似乎陷入了一个死胡同,不论是商家还是玩家,大部分人对于ITX机箱的认同点只有一项极致小巧便是ITX装机精髓。于是乎打开各视频网站,一搜I……说唱听我的2火热播出中吴克群走心呈现全新说唱舞台芒果TV自制说唱音乐综艺《说唱听我的2》已于7月18日火热上线,与第一季不同,这一季采用了说唱选手流行歌手的双子星赛制,力求呈现一场奇妙的跨界实验。目前节目已经播出至第四期,两……史上最具性价比神经网络计算棒来了,只要139,性能比肩Int不久之前,小月月给大家介绍了Intel的二代神经网络计算棒,相比较一代:它更智能、更高效,能满足新一代智能设备的需求。但就是价格太贵,京东售价749,让很多开发者直呼买不……幸福还会来敲门接档爱之初聂远吴谨言幸福二重奏星关系8月12日讯由俞飞鸿、姜武、李乃文、颜丙燕、王一楠、陈亦飞领衔主演的电视剧《爱之初》于昨日在浙江卫视中国蓝剧场圆满收官。《爱之初》凭借其立体的人物形象塑造及丰富的情节设置……空调常见故障小知识,人人都能用上空调的假故障空调已成为千家万户的必需品,随着生活品质的提高,家用空调也成了普通大众生活常用的家电家器,空调作为特殊的家用电器,一年的使用时间往往集中在夏天的那三到四个月的……结爱千岁大人的初恋今晚甜宠来袭宋茜黄景瑜迎千年一吻《结爱千岁大人的初恋》今晚甜宠来袭宋茜黄景瑜迎千年一吻本周三、四,由企鹅影视、芒果影视、北京造梦机影视传媒有限公司联合出品,陈正道、许肇任联合执导、方芳任总制片人,楚飞担……网剧结爱千岁大人的初恋看贺兰大人黄景瑜跨越时空的爱恋网剧《结爱千岁大人的初恋》已于5月9日在腾讯视频上独家播出,该剧主要讲述了狐族右祭司贺兰静霆(黄景瑜饰)与报社实习生关皮皮(宋茜饰)邂逅之后几生几世的爱恨纠葛。该剧自播出几集以……
各种要求公职人员安装的APP要读取用户通讯录个人信息安全开始受到重视了,但一些企业开发的APP在安装的时候要询问一下,是否可以读取用户的电通讯录,而公职人员安装的大量APP却偷着读取用户通讯录,有的只是微信的小程序,却要……父亲意外去世,三姐妹自愿放弃股份让他做最大股东,今成马云学生马云的湖畔大学又开学了,这是第五届了,总共1400多名企业家报名,马云收了41名,录取率2。9,竞争非常激烈。这份名单中,有新能源汽车领域的企业家李想,洗脑广告代表优信创始人戴……腾讯视频崩了,热搜排名第二工作、学习一天后,回到住所打开手机看视频、看电视是很多人喜欢的休闲娱乐方式。随着网络覆盖率不断增长,我国网民数量也超过了10亿人次,各类视频、短视频APP数量也在不断增加……宇泛成功入选人工智能最具商业价值排行榜智能安防与城市TOP1近日,铅笔道揭晓了2021真榜人工智能应用最具商业价值排行榜,宇泛凭借着自主研发的创新实力和快速增长的业务能力,成功入选2021真榜人工智能应用最具商业价值排行榜智能安防与城市……比亚迪专题研究产品周期叠加电池加速外供,迈上新台阶(报告出品方作者:招商证券,汪刘胜)一、内燃机余辉之下,插混或将迸发耀眼光芒能源汽车技术路线螺旋式交替前进,动力形态之争并未尘埃落定。我们认为汽车动力形态总体趋势取决于车……为什么苏炳添签约了小米,而不是华为?任正非这次说了实话在中国的企业家当中,雷军算是一个特殊的存在,特殊就在于他与大众的互动频率非常高,雷军在各大平台都有自己的账号,而且每天都有动态更新,恐怕国内再没有哪个企业家可以像雷军一样做到这……讲诚信守承诺诚信建设让企业发展越来越好九江新闻网讯(九江日报全媒记者吴金阳)江西康特新能源科技有限公司成立于2015年12月,专注于IDC数据中心机房领域,主要经营智能供配电、机房制冷管理、动力环境监控、机房运维、……给美团代言美团早已从外卖平台升级为含订餐、订酒店、订门票、订机票、打车、订KTV和买鲜花等为一体的生活服务平台。作为一款国民级应用,美团需要影响到年轻人之外的更大圈层。而国民度更高……跨境日报shopee回款加速亚马逊AWS再次宕机PART1今日头条01hr12月27日开始!shopee回款加速从内部人员获悉,自2021年12月27日开始,Shopee墨西哥、智利、哥伦比亚站点打款周期将由每月……人工智能领域创业,普通人要注意什么?有哪些机会?人类发展至今经历了蒸汽技术革命、电力技术革命、计算机及信息技术革命、以及及人工智能、虚拟现实、可控核聚变为代表技术的第四次工业革命,无一例外的验证:技术在一步一步的推动着整个社……腾讯软件测试岗二面web测试问题被虐哭了,直到看到这些知识点web测试一直是大厂软件测试问到的一个重点,下面给大家展示下大厂关于web测试经常会问到的一些问题,以及解析。看当面试官问到你这些问题的时候,你是否也能够对答如流。注意,……IPhoneSe3曝光,A15120Hz,价格真香要说iphone13系列的发布等等,党最期待的新苹果机器不是iphone14,也不是iPad,而是iphonese系列!虽然iPhoneSe系列不是苹果的主要机型,但它也……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网