ELK=Elasticsearch+ Logstash + Kibana
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据等功能。它的特点有:分布式、零配置、自动发现、索引自动分片、索引副本机制、Restful风格接口、多数据源、自动搜索负载等。
Logstash主要是用来日志的搜集、分析、过滤日志的工具,支持多种多样的数据获取方式。一般工作方式为c/s架构,Client端安装在需要收集日志的服务器上,Server端负责将收到的各节点日志进行过滤、修改等操作,再一并发往Elasticsearch上去。
Kibana可以为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面,可以帮助汇总、分析和搜索重要数据日志。
下载:https://www.elastic.co/cn/downloads/
首先我从这个官网,下载了ELK三个工具。
注意:后续新版的下载界面可能有变化,下载后安装过程可参考本文
下载解压,统一放在了一个叫ELK的文件夹下。
注意: ELK三个工具版本保持一致
注意要求配置了JDK8的环境变量!否则会报错(补充: 后面的高级版本使用了内置的jdk,不需要专门配置jdk了)
1、elasticsearch安装
1.1)、elasticsearch配置启动
cmd进入到elasticsearch的bin目录下,输入elasticsearch,或者直接进bin目录下双击elasticsearch.bat
修改 config/elasticsearch.yml 文件,修改以下几个部分,改成如下图所示,分别是免密登录,去除ssl验证,设置访问ip为127.0.0.1
修改好后启动如下
可以看到启动日志有两个主要端口9200和9300
9200作为Http协议,主要用于外部通讯
9300作为Tcp协议,jar之间就是通过tcp协议通讯
ES集群之间是通过9300进行通讯
浏览器访问 127.0.0.1:9200,返回json串,启动成功
至此elasticsearch启动成功。
启动es.bat时,出现中文乱码的解决方法
解决方法:找到conf目录下的jvm.options文件,添加 -Dfile.encoding=GBK
1.2 下载ik分词器
下载地址:https://github.com/infinilabs/analysis-ik/releases/tag/v8.12.2
将ik分词器解压放到es的plugin中
重新启动es.bat。
重启成功后,刷新kibana,配置DSL查询语句,可看到分词效果
1.3、安装elasticsearch-head插件
head插件可以很方便的操作es,head插件与es的关系就像navicat与MySQL数据库的关系,不过head插件的界面也是通过访问网址浏览的。
1.3.1.下载插件 https://github.com/mobz/elasticsearch-head
下载好并解压。
1.3.2.安装node.js https://nodejs.org/en
head插件需要node.js的支持,所以要安装它。
安装一路next即可。输入node -v若出现node.js的版本信息,则安装成功。
1.3.3.在cmd命令窗口进入head插件解压后的根目录,然后执行npm install
1.3.4连接es: 在es的安装根目录的config目录下有elasticsearch.yml,在此文件中添加如下内容:
1.3.5运行head: 在cmd命令窗口进入head插件解压后的根目录,然后执行npm run start,如下图就启动成功。
浏览器打开http://127.0.0.1:9100/,如下图
2、kibana安装
2.1)、kibana配置启动
然后是kibana,直接cmd进入bin目录下,执行kibana.bat
然后浏览器打开 127.0.0.1:5601
至此kibana启动完毕。
2.2)、开启中文语言
Kibana在6.7以后的版本,支持了多种语言。并且自带在安装包里。
开启方式:
1.找到 Kibana 配置文件所在:config/kibana.yml
2.找到配置: i18n.locale: "en" 并将en修改为 zh-CN (简体中文)。
3.重启即可
3、logstash安装
logstash配置启动(用于同步mysql和es的数据)
最后是logstash,首先找到config文件夹下logstash-sample.conf文件
修改添加配置
cmd进入logstash下的bin目录,执行以下命令启动服务:
按照自己的配置路径来
logstash.bat -f D:\elk\logstash-8.12.2\config\logstash-sample.conf
浏览器访问 127.0.0.1:9600
至此logstash启动成功!
参考:
本文为崔凯原创文章,转载无需和我联系,但请注明来自冷暖自知一抹茶ckhttp://www.cksite.cn