背景 随着大数据技术在各行各业的深入应用，对于海量数据的分析需求也愈加凸显，OLAP技术也逐渐走入人们的视野，OLTP和OLAP看起来相似，但指的是不同类型的数据库系统。它们都是在线处理系统。本文将介绍一下二者的区别OLTP 介绍 OLTP，也叫联机事务处理（OnlineTransactionProcessing），表示事务性非常高的系统，一般都是高可用的在线系统，以小的事务以及小的查询为主，评估其系统的时候，一般看其每秒执行的Transaction以及ExecuteSQL的数量。在这样的系统中，单个数据库每秒处理的Transaction往往超过几百个，或者是几千个，Select语句的执行量每秒几千甚至几万个。典型的OLTP系统有电子商务系统、银行、证券等，如美国eBay的业务数据库，关系型数据库（mysql、PostgreSQL、DB2、Oracle。。。）就是很典型的OLTP数据库。 特点支持大量并发用户定期添加和修改数据。反映随时变化的单位状态，但不保存其历史记录。包含大量数据，其中包括用于验证事务的大量数据。可以进行优化以对事务活动做出响应。提供用于支持单位日常运营的技术基础结构。个别事务能够很快地完成，并且只需访问相对较少的数据。实时性要求高。交易一般是确定的，所以OLTP是对确定性的数据进行存取。并发性要求高并且严格的要求事务的完整、安全性。 OLTP系统 数据库设计要求良好的数据存储：对于OLTP系统，输入输出瓶颈是一个尤为关心的问题，原因在于修改整个数据库中数据的用户很多。确定数据的可能访问模式，并将经常访问的数据放在一起。在此过程中，可辅以文件组和RAID系统支持高并发：在事务期间，避免用户交互。无论何时，只要有可能，就通过执行单个存储过程来处理整个事务。在事务内对表的引用顺序可能会影响并发性。将对经常访问的表的引用置于事务的末尾，以便将控制锁的持续时间减至最短。数据备份：OLTP系统一般要求故障率要极地，为达到此目的，停机时间要保持最小。尽管MicrosoftSQLServer2000可以在数据库正在使用时对其进行备份，但是应将备份过程安排在活动不频繁时进行，以使对用户的影响减至最小。数据库高度规范化：尽可能减少冗余信息以提高更新的速度，从而提高并发性。减少数据还可以提高备份的速度，因为只需要备份更少的数据。减少历史或聚合数据：可以将很少引用的数据归档到单独的数据库中，或者从经常更新的表中移出，这将保持表尽可能地小，从而缩短备份时间，改善查询性能。合理利用索引：避免对经常更新的表进行过多的索引，应该保持索引范围应较窄。 OLAP 介绍 OLAP（OnlineAnalyticalProcessing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合，60年代，关系数据库之父E。F。Codd提出了关系模型，促进了联机事务处理（OLTP）的发展（数据以表格的形式而非文件方式存储）。1993年，E。F。Codd提出了OLAP概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储，以及多维模型多视角多层次的数据组织形式，如果脱离了这两点，OLAP将不复存在，也就没有优势可言。在实际的商业分析中，OLAP联机分析更多的是指对数据分析的一种解决方案。目前大数据业内非常流行的开源OLAP引擎Hive、SparkSQL、FlinkSQL、Clickhouse、Elasticsearch、Druid、Kylin、Presto、Impala分等，但是可以说目前没有一个引擎能在数据量，灵活程度和性能上做到完美，用户需要根据自己的需求进行选型。 特点快速性：用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。可分析性：OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。多维性：多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析，包括对层次维和多重层次维的完全支持。信息性：不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。 分类 OLAP是一种让用户可以从不同视角方便快捷地分析数据的计算方法。主流的OLAP可以分为3类：多维OLAP（MultidimensionalOLAP）、关系型OLAP（RelationalOLAP）和混合OLAP（HybridOLAP）三大类。多维OLAP（MOLAP，MultidimensionalOLAP）：MOLAP基于直接支持多维数据和操作的本机逻辑模型。数据物理上存储在多维数组中，并且使用定位技术来访问它们。MOLAP的典型代表是：Druid和Kylin。MOLAP一般会根据用户定义的数据维度、度量（也可以叫指标）在数据写入时生成预聚合数据；Query查询到来时，实际上查询的是预聚合的数据而不是原始明细数据，在查询模式相对固定的场景中，这种优化提速很明显。优点性能高，支持复杂的跨维计算与多用户读写，缺点：难以达到TB级，缺乏数据模型和数据访问的标准关系型OLAP（ROLAP，RelationalOLAP）：关系OLAP（ROLAP）是中间服务器，它们位于关系后端服务器和用户前端工具之间，其使用关系或扩展关系DBMS来保存和处理仓库数据，并使用OLAP中间件来提供丢失的数据。ROLAP的典型代表是：Presto，Impala，GreenPlum，Clickhouse，Elasticsearch，Hive，SparkSQL，FlinkSQL。优点：没有大小限制，可以通过SQL实现详细数据与概要数据的存储，缺点：不支持有关预计算的读写操作，无法完成维之间的计算。混合OLAP（HOLAP，HybridOLAP）：混合OLAP，是MOLAP和ROLAP的一种融合。当查询聚合性数据的时候，使用MOLAP技术；当查询明细数据时，使用ROLAP技术。在给定使用场景的前提下，以达到查询性能的最优化，混合OLAP的优势在于其很好的结合了MOLAP和ROLAP的优势之处，劣势恰恰在于其由于集成了MOLAP和ROLAP，本身的体系结构会非常复杂 OLAP系统 OLAP数据层次划分维度（Dimension）：是用户观察数据的特定角度，是问题的一类属性，属性集合构成一个维度（时间维、地理维等）维度的层次（Level）：用户观察数据的某个特定角度（即某个维度）还可能存在细节程度不同的各个描述方面（时间维包括日期、月份、季度、年）维度的成员（Member）：即维度的一个取值，是数据项在某个维度中位置的描述，如某年某月某日是在时间维度上的位置描述度量（Measure）：多维数组的取值。 OLAP多维数据结构超立方结构（Hypercube）：超立方结构指用三维或更多的维数来描述一个对象，每个维彼此垂直。数据的测量值发生在维的交叉点上，数据空间的各个部分都有相同的维属性。（收缩超立方结构。这种结构的数据密度更大，数据的维数更少，并可加入额外的分析维）。多立方结构（Multicube）：即将超立方结构变为子立方结构。面向某一特定应用对维进行分割，它具有很强的灵活性，提高了数据（特别是稀疏数据）的分析效率。 OLAP多维数据分析切片和切块（SliceandDice）：在多维数据结构中，按二维进行切片，按三维进行切块，可得到所需要的数据。如在城市、产品、时间三维立方体中进行切块和切片，可得到各城市、各产品的销售情况。钻取（Drill）：钻取包含向下钻取（Drilldown）和向上钻取（Drillup）上卷（Rollup）操作，钻取的深度与维所划分的层次相对应。旋转（Rotate）转轴（Pivot）：通过旋转可以得到不同视角的数据。 总结 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作；OLAP系统则强调数据分析，强调SQL执行市场，强调磁盘IO，强调分区等。OLTP系统最容易出现瓶颈的地方就是CPU与磁盘。OLTP适用于数据量少，DML频繁，并行事务处理多的场景。OLAP适用数据量大，DML少。 OLTP OLAP 用户 操作人员，低层管理人员 决策人员，高级管理人员 功能 日常操作处理 数据分析、挖掘、机器学习 DB设计 面向应用，事务驱动 面向主题，分析驱动 数据 当前的，最新的细节的，二维的分立的 历史的，聚集的，多维的集成的，统一的 DB大小 100MBGB 100GBTB 时间要求 具有实时性 对时间的要求不严格 主要应用 关系型数据库 数据仓库 并发要求 高并发 低并发
藏玩阁冲云霄新成员公布，竟连脚板也能变形？之前一直以为藏玩阁大比例的冲云霄是六合体，后来才知道这次直接搞了个八合体，连脚底板都是成员变的，实在是太颠覆了，今天跟兄弟们简单分享一下！图片转自微博用户藏玩阁CA……快乐滑行好玩伴mcro迈古儿童平衡车体验评测每一代人都有自己童年时期美好的回忆，作为一个90后，童年时期玩玩弹弓和泥巴，在田野里追逐打闹，无拘无束非常快乐。但是如今科技虽然改变了我们的生活，但也带来了很多副作用，现在的小……你戴的是降噪耳机吗？我戴的是华为FreeBuds4降噪耳机在这个手机不离手的时代可以说是人手一个了，而随着科技的进步降噪耳机更是受到了追捧，而耳机的佩戴舒适度也日渐成为很多用户衡量一款耳机是否值得购买的重要指标了，因此更加贴合……苹果专利霸主？痛斥三星剽窃，吃掉高通数十亿！却离不开华为专利苹果作为全球最大的科技公司之一，在日益增长的营收中，总是离不开别人家的专利。但是在两年前，高通和苹果两家却因为专利打得不可开交，最后甚至到了国内禁售苹果的地步。在最开始，……十大致命毒蜂1、非洲劲蜂即是臭名昭著的非洲杀人蜂，是一种因为人为事故而繁育出的杂交蜂种，该种昆虫毒性剧烈，可以短时间内致人死命，每年都有成千上万人因此受害。据不完全统计，在短短……边牧作为智力排名第一的狗，为什么很多人还是不愿意养？图片来自网络，侵删最大的伤害不是伤害，而是侮辱即所谓伤害性不大，侮辱性很强。最大的侮辱是对智商的侮辱，很多人不愿意养边牧，可能就是不想自己在智商上被它侮辱。不……2020年中国中小学教师信息化教学行为洞察希沃数据篇核心摘要：宏观背景：随着国家教育信息化战略的推进，我国中小学信息化教学环境得到显著改善，逐渐从传统的粉笔黑板课堂向交互式多媒体课堂转变。在政策与技术的驱动下，教师成为全面……中国式撤侨令全球惊艳，外国人叹息这哪是撤离，更像是阅兵如今的中国早已改变当初贫穷落后的局面，人民生活水平也得到极大的提高，为此出国留学、旅游已成为很多人的追求之一。不过国外的局势并没有国内的稳定安全，战争也在国外时刻上演，为此遇到……LTPO不仅省电，还是未来风向口，一加这次选对了手机行业近几年的屏幕形态演变是越发的多姿多彩，小屏到大屏，大屏到全面屏，全面屏到折叠屏，而屏幕材质也出现了诸多选择，LCD屏、AMOLED屏、再到如今的LTPO屏，可谓是种类繁……工作也有性价比？有人0。8分，有人自称3分，差距究竟在哪儿？评估一份工作的好坏能用指标来衡量吗？对于咱打工人而言，想要评判一份工作的好坏，往往需要多种因素综合考量，而且更多凭感觉而非量化。但最近码君看到一则公式，据说可以合理……华为FreeBuds4降噪耳机，让你收获不一样的欧洲杯居家观7月最引人注目的事件一定是欧洲杯，经过一个月的激烈角逐，意大利、英格兰两支欧洲传统劲旅突围成功，7月12日凌晨3点将会迎来最终的决赛，球迷朋友们将会和温布利一起见证冠军的诞生。……360网安黑科技为用户安全保驾护航转载：信鸽传说近年来我国涌现了一大波从事AI研究的企业，除了新兴企业之外，也包括许多互联网企业，360在中国成立了安全公司，也在人工智能领域投入了大量精力，就在2021年……