轻量级日志分析平台Loki实战
简介:
Loki的第一个稳定版本于2019年11月19日发布,是GrafanaLabs团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。Loki是专门用于聚集日志数据,重点是高可用性和可伸缩性。与竞争对手不同的是,它确实易于安装且资源效率极高。特点:
优点:
1、Loki的架构非常简单,使用了和prometheus一样的标签来作为索引,通过这些标签既可以查询日志的内容也可以查询到监控的数据,不但减少了两种查询之间的切换成本,也极大地降低了日志索引的存储。
2、与ELK相比,消耗的成本更低,具有成本效益。
3、在日志的收集以及可视化上可以连用grafana,实现在日志上的筛选以及查看上下行的功能。缺点:
1、技术比较新颖,相对应的论坛不是非常活跃。
2、功能单一,只针对日志的查看,筛选有好的表现,对于数据的处理以及清洗没有ELK强大,同时与ELK相比,对于后期,ELK可以连用各种技术进行日志的大数据处理,但是loki不行。组成1。loki是主服务器,负责存储日志和处理查询。2。promtail是代理,负责收集日志并将其发送给loki。3。Grafana用于UI展示。
本次安装使用docker部署1。0安装dockercomposecurlLhttps:github。comdockercomposereleasesdownload1。28。3dockercompose(unames)(unamem)ousrlocalbindockercomposechmodxusrlocalbindockercompose2。0下载yaml文件wgethttps:raw。githubusercontent。comgrafanalokiv2。2。0productiondockercompose。yamlOdockercompose。yamlversion:3networks:loki:services:loki:image:grafanaloki:2。0。0ports:3100:3100command:config。fileetclokilocalconfig。yamlnetworks:lokipromtail:image:grafanapromtail:2。0。0volumes:varlog:varlogcommand:config。fileetcpromtailconfig。ymlnetworks:lokigrafana:image:grafanagrafana:latestports:3000:3000networks:loki3。0启动服务dockercomposefdockercompose。yamlup4。0检查服务
5。0配置服务
http:192。168。106。202:3000
默认granfna密码adminadmin5。1配置数据源
配置ip和默认数据源,配置完成点击测试保存
5。2配置数据源
explore查询样例
5。3输出匹配日志信息
至此一次样例日志查询完成6。0promtail配置详解
promtail容器为日志采集容器,配置文件在promtail容器etcpromtailconfig。yml,将该容器部署在需要采集日志的服务器上就能正常采集日志传回loki服务收集整理root2a0cc144dd58:catetcpromtailconfig。ymlserver:httplistenport:9080grpclistenport:0positions:filename:tmppositions。yamlclients:url:http:loki:3100lokiapiv1push这里配置的地址为loki服务器日志收集的信息scrapeconfigs:jobname:systemstaticconfigs:targets:localhostlabels:job:varlogs这里为刚才选择job下子标签path:varloglog将采集的日志放在varloglog下自动发现7。0增加一台服务器日志采集7。1编写promtail的配置文件config。ymlmkdirrootpromtailcdrootpromtail〔rootnode2promtail〕catconfig。ymlserver:httplistenport:9080grpclistenport:0positions:filename:tmppositions。yamlclients:url:http:192。168。106。202:3100lokiapiv1push这里配置的地址为loki服务器日志收集的信息scrapeconfigs:jobname:mysqlstaticconfigs:targets:localhostlabels:job:mysql这里为刚才选择job下子标签path:varloglog将采集的日志放在varloglog下自动发现7。2编写dockercompose。yaml配置文件〔rootnode2promtail〕catdockercompose。yamlversion:v1services:promtail:image:grafanapromtail:2。0。0拉去镜像containername:promtailnode镜像名称volumes:rootpromtailconfig。yml:etcpromtailconfig。yml挂载目录varlog:varlognetworkmode:host7。3启动dockercomposeupd8。0去loki上查看检索
可以根据数据查询到相应日志信息。
后面会分享更多运维方面的内容,感兴趣的朋友可以关注下!
特别声明:本文为【奋斗的小白】投稿,仅代表作者观点。马哥教育仅提供信息发布平台。
ienglish学英语,2年初中,4年本科,销售顶着传销的壳一种全新的学习英语方式来了!这种方式学习效果足以让新东方犯难、VIP羞愧,甚至考试神器、学科教学大神学而思可能都要反思。每天使用半小时,小白两年达到初中水平,四年达……
五一小长假箭在弦上,苏宁牵手同程旅行狂发省钱卡今天五一长达5天,很多人恐怕已经心都飞出了工作岗位,早已计划好了怎么跟家人们逛吃疯玩一路。专家表示今年五一将迎来一场报复性的出游,出游人次甚至将突破2019年同期并冲击2亿人次……
庄周梦蝶的故事庄周梦蝶的故事体现的道理:众生平等,人与物合。庄子通过对梦中变化为蝴蝶和梦醒后蝴蝶复化为己的事件的描述与探讨,提出了人不可能确切的区分真实与虚幻和生死物化的观点。表现了一……
携独立驱动强势杀入百元级市场,微星DS102游戏鼠标开箱前阵子朋友让我给他推荐个一百块左右的鼠标,就平时偶尔玩玩CS:GO,更多的时间是休闲和办公用。于是我给他推荐了罗技G102、赛睿Rival106,和雷蛇炼狱蝰蛇,三款都算是大品……
越来越多的农民走出农村,以后谁来种地呢?未来农业发展会有怎样光靠种地活不下去,不走出农村打工,或另谋出路怎么办?什么时候国家意识到农民种粮的重要性,政策向农民,农村倾斜一些,什么时候像领导人所说的让农民成为人民羡慕的职业时,农业,农村,……
为啥没人开发特斯拉新能源三轮车?中国己经步入老龄社会,老年人工作了一辈子,操劳了一辈子,如今大部分人都己退休或将要退休,回家后,接孙子做家务之余,也想四处去转转,散散心,到处去旅游一下。坐火车虽然省心,但自由……
互联网从业人员应该知道的法规GBT376682019信息技术互联网内容无障碍可访问性技术要求与测试方法。txtGBT377292019信息技术智能移动终端应用软件(APP)技术要求。txtGB……
抓好新基建投资,助力数字经济发展来源:中国经济网前不久,国务院印发《十四五数字经济发展规划》,新基建投资迎来新一轮热潮。从有关媒体报道和地方两会陆续发布的政府工作报告看,新基建是各地2022年项目投资热……
华为招光刻工艺工程师,挺近芯片生产核心,要成为业界的雅马哈吗前段时间我在网上看到了一个消息说,雅马哈是一个最不务正业的企业了,从早期音乐器材到后来的众多设备,而且每一个产业都打造的有声有色,这就不得不让人佩服了,雅马哈产品从钢琴、电子琴……
红米Note10Pro到底值不值得入手?有喜欢小米手机的朋友问我,最近刚发布的红米Note10Pro,这款全新的小金刚到底怎么样?到底值不值得入手呢?今天我们就来全方位地分析一下。外观Note10Pro的……
苹果手机的优点和缺点汇总优点:1、耐用,品控好,售后服务完善2、操作流畅,响应快,部分操作逻辑设计较好3、封闭系统对于初级用户来说更为友好4、系统中的一部分应用质量更好5……
助听器的效果会越来越好吗?发现有听力损失,要及时干预,佩戴合适的助听器,这样可以减少听力损失对我们的言语识别能力的影响!等到下降到影响正常交流时,再想恢复就不是很容易解决的问题了!即使佩戴了合适的助听器……