hive之核心知识点
hive的语法和sql语法大部分是是相同的,下面我们来挨个写出来:
1,简单介绍存储原理:
hive和hdfs交互,以及和本地linux交互,分为本地文件和hdfs文件,要说他们的区别,底层都是存在磁盘上,要说区别的话,hdfs分布式文件管理系统,有它独有的文件存储结构也即是能够和分布式文件进行交互的独有存储方式,Linux本地文件存储知识单纯的在Linux操作系统存储的文件,所以hive的作用就是和linux本地以及linux上hdfs文件两者进行交互,我可以把本地的文件上传到hive文件中,当然hive只是处理hdfs上文件的一个工具,但是hive也有自己独有的文件存储,表的结构信息,创建的表信息,都在hive文件夹中当然是存储在hdfs上的。
2,语法:
1,把本地的文件加载到hive创建的表中(比如:createtabletbuser(idint,namestring);)在hive中创建的是有结构的表,然后通过命令:loaddatalocalinpath路径intotable创建的表名;
2,加载hdfs上的文件到hive中:loaddatainpathhdfs上的路径intotable创建的表
3,导出hive表到hdfs上:exporttable表名tohdfs路径;
4,把hdfs上的表导入到hive表中:importtable(hive表)from(hdfs上的表);(importtabletbkkfromdataa)当导入的表不存在会自动创建这张表,用于备份,或者数据转移,表的字段名和导入的字段名一样。
5,通过查询hive表中的数据并把查询的数据导出到本地:insertoverwritelocaldirectory本地路径selectfromstudent;
6。通过查询hive表中的数据并把查询的数据导出到hdfs上:insertoverwritedirectoryhdfs上的路径
selectfromstudent;
7,把查询的结果插入到当前的hive表中:insertoverwritetablestudentpartition(month201708)selectid,namefromstudentwheremonth201709;
8,创建表并加载查询到的数据:createtableifnotexiststbtextasselectfromtbtext;(as关键字同样)
9,创建表时通过Location指定加载数据路径:createtabletbtext(idint,namestring)rowformatdelimitedfieldsterminatedby‘,’locationhdfs上的目录,(记住是目录)。
10,创建分区表,分区表就是能够把不同的数据分开来存放,在查询的时候只需要查询指定的分区就行,这样子能够加快查询效率:createtabletbtext(idint,namestring)partitionedby(monthstring)(这里我用month来作为分区条件,分区字段不能是表中已经存在的字段,可以将分区字段看成表的伪列,不参与真实字段的)rowformatdelimitedfieldsterminatedby,;看一下加载数据到分区表的列子,更好地理解一下,loaddatalocalinpathoptmoduledatasdept。txtintotabledefault。deptpartitionpartition(month201709);最后就是给伪列字段赋予分区值,也就是分区的文件名。
11,查看表结构,这个需要了解清楚:desctbtext查看基本表信息,descformattedtbtext,查看详细信息。
12,当数据库存在数据强制删除时可以用:dropdatabasedbhivecascade;
13,当数据库不存在数据:dropdatabasedbhive;
14,默认创建的表为管理表,也称之为内部表,数据和表结构是在一起的,也就是说,当我删除表的时候,底层数据也会跟着一起删除,设计成这样要求一张表代表一份数据,保证数据的安全性。
15,外部表为只存储表的元数据和结构信息,存储的是表的路径,删除外部表不会删除内部数据,只会把表的元数据信息删除了,不影响数据本身,通常用作共享数据,设计外部表的语法为:createexternaltabletbtext(idint,namestring);
16,创建表的时候复制表结构:createtabletbtextliketbtext01;
3,外部表和内部表的转化:
1,修改内部表为外部表:altertabletbtextsettblproperties(EXTERNALTRUE);
2,修改外部表为内部表:altertabletbtextsettblproperties(EXTERNALFALSE);要求KV的大小写,(EXTERNALTRUE)和(EXTERNALFALSE)为固定写法,区分大小写!
升到蓝牙5。0,拆一把主流无线机械键盘不少玩家都知道,GANSS的C系列(GS87C104C)在更换代工厂并同时升级之后,手感上带来了极大的改善,解决了过去手感表现不稳定的问题,加上本身配置高、价格低,让它在300……
每日看点特斯拉发布新家用充电桩等7条快讯1、特斯拉发布新家用充电桩,可为其他品牌汽车充电11月3日,特斯拉发布了全新的家用壁挂式电动汽车充电桩,与前代产品不同的是,新的设备并非只能给特斯拉电动汽车充电,全新的J……
大数据培训是真的吗?之前有人问小编,现在大数据这么火,看着网上那么多宣传大数据培训的培训机构,那么大数据培训是真的吗?随着大数据行业的发展,很多打着培训大数据的培训机构也如春笋雨后般的冒了出……
颜值出众性能强劲,首发麒麟8205GSoC的荣耀30S体验究3月30日,荣耀30S正式发布。光是首发麒麟8205GSoC,便已然让刚刚发布的荣耀30S成为智能手机圈的明星产品。更不用说,荣耀30S还是荣耀数字系列首款5G手机,搭载有升级……
网上兜售低价手机卡套餐靠谱吗?网上兜售低价手机卡套餐靠谱吗?建议消费者看清套餐规则、归属地避免被物联网卡忽悠近日不少网友反映,在朋友圈、抖音、闲鱼等渠道,常常可以看到低价的手机卡套餐广告,29元……
美国大规模印发美元不怕美元成废纸吗?本质上是害怕的,因为美元全球结算体系在最近这几年一直承受着货币全球多元化趋势的冲击,美元全球外汇储备的所占比例已经由70多一度下跌至到2020年的60。紧随其后的欧元占比提高到……
央视315晚会曝光的这个SDK,到底在偷偷干什么?本文内容来自公号:一个数据玩家的自我修养315晚会推迟了这么久,终于在7月16日播出,话不多说,直接进入正题。先说下移动端SDK采集数据的行业生态。这个行业最初的玩……
设计影像再升级,OPPOReno5提前锁定历史销量王?12月10日,OPPO新一代王牌机型Reno5系列正式发布,并迅速在各大媒体、平台引发热议。同日,OPPOReno5系列在全渠道正式开启预售。12月15日,《新潮电子》执行主编……
TRUEMOVECORE引擎,赛睿RIVAL3精准度测试在之前的GWT报告61,放出了SENSEI310的精准度测试结果之后,不少读者希望看看发布不久的RIVAL3的TRUEMOVECORE引擎的表现,在放出拆解之后,现在对RIVA……
为什么第一个提出元宇宙的人是脸书?而不是中国企业?非死不可的目的是形成媒体垄断。连特朗普都能禁言的平台,媒体垄断已经实锤了。如今,它更贪婪,他要做众人的感官垄断,在它主导的世界里,它可以为所欲为,它的自由就是你的监狱。别上当,……
传统家谱升级,修谱费用反而大大降低祖宗名位修过家谱的人都知道,以前修家谱,都是由宗亲族老牵头,然后搭建修谱班子。再根据家族的血缘支系,每家每户按生丁收费。费用到位后,启动修谱,再由专业的修谱师每家每户的拜……
这里是最后的人民公社,村民挣工分劳作,10分为一个工春回大地,万物复苏,4月15日,河北省石家庄市周家庄乡万亩氧吧花开正盛,7名社员正在忙着打理集体果园。他们所在周家庄乡,至今仍保留着人民公社制度,被称为中国最后的人民公社。69……
发电机物理问题教案2篇发电机物理:发电机与物理问题1。(2014汕尾)如图所示的实验装置中,用来探究电磁感应现象的是A导体在磁场中运动B奥斯特实验C摩擦使气球带电D同名磁极互相排斥2。(……
断案如何造句断案拼音【注音】:duanan断案解释【意思】:审判诉讼案件。断案造句1、同样,一名侦探断案时或许可以从罪犯承认犯罪事实入手,即使其中涉及到的人和……
小学一年级语文上册雨点儿教学设计教材分析:《雨点儿》一文是人教版语文实验教材第一册第五单元的一篇科学童话。课文用拟人的手法,通过大雨点和小雨点儿的对话,告诉学生雨点是从云彩飘落下来的,有了雨点儿的滋润,……
黄河的主人优秀教学设计范文一、导入:1、今天我们继续学习第17课:《黄河的主人》。2、通过上节课的学习,我们知道了黄河的主人是艄公。艄公是谁的主人?(黄河)二、感悟黄河的汹涌激荡:……
十年之后,数字孪生将这样改变我们的工作与生活资本实验室今日创新观察聚焦前沿科技创新与传统产业升级齐达数字孪生是近几年兴起的非常前沿的新技术,简单说就是利用物理模型,使用传感器获取数据的仿真过程,在虚拟空……
蓝牙耳机不香了,来看看这款WGT2有线耳机蓝牙耳机不香了,来看看这款WG有线耳机在最近几年真无线蓝牙耳机大热的趋势下,也入手了不少蓝牙耳机,作为一个严格的音乐爱好者,我最大的感受就是:无线耳机虽然很方便,但是无线……
精选大班摇篮说课稿一、教材分析我今天说课的内容是大班诗歌摇篮,这首诗具有奇妙别致的想象,将大海、天空、花园、妈妈的手这些美好的景色比喻成摇篮,描写出了小宝宝们分别在不同的摇篮里睡着了的那种……
黑人非洲音乐教学设计课时:一课时教学目标:1、通过听赏与学唱体会非洲黑人不同地域的风土人情与音乐风格,体会非洲黑人音乐浓郁的地方特色。2、体验非洲特有的节奏型,学唱《达姆、达姆》……
泉城教学反思范文《泉城》是一篇写景状物的散文,介绍了泉城济南最具特色的自然景观。文章是很典型的总分总结构的课文。这篇课文景美,语言美黄老师在教学中的优点主要表现在以下这些方面:注重朗读的……
二年级语文最大的书教学反思范文新课程人民教育出版社出版的小学二年级语文下册的《最大的书》这篇文章的表现形式是人物对话。叙述了川川与爸爸在登山过程中跟地质勘探员交流的见闻,揭示了神奇的自然界可以说是一座巨大的……
尽管可是的造句(精选40句)造句子是低年级比较基础的,那应该怎么造句呢?下面是小编为你准备的尽管可是的造句(精选40句),希望对你有帮助!1、尽管学习很累,可是我仍旧坚持着。2、尽管我走的很快……
用尽忠怎么造句【注音】:jinzhong尽忠解释【意思】:()竭尽忠诚。()指竭尽忠诚而牺牲生命。尽忠造句:1、我的仆人摩西不是这样。他是在我全家尽忠的。2、他……