## 一、Docker安装ELK
### 1. 使用docker运行elasticsearch
#### 1.1 修改环境变量(永久生效)
```shell
vi   /etc/sysctl.conf
         vm.max_map_count=262144
#(vm.max_map_count是限制一个进程可以拥有的VMA(虚拟内存区域)的数量)

sysctl -p    #使修改生效
```
#### 1.2 修改环境变量(临时生效)
```shell
sysctl -w vm.max_map_count=262144
```
#### 1.3 运行elasticsearch
```shell
docker run 
-d                                            #容器后台运行
--name elasticsearch                    #容器名字为elasticsearch
-p 9200:9200                                  #暴露9200端口
-p 9300:9300                                  #暴露9300端口
-e "discovery.type=single-node"               #单节点模式
-e ES_JAVA_OPTS="-Xms512m -Xmx512m"           #限制堆内存大小
-v ~/esdatadir:/usr/share/elasticsearch/data  #挂载数据目录
elasticsearch:7.9.0
```
### 2. 使用docker运行kibana
```shell
docker run -d --name kibana --link elasticsearch:elasticsearch -p 5601:5601 kibana:7.9.0
```
使用link参数，会在kibana容器hosts文件中加入elasticsearch ip地址，这样我们就直接通过定义的name来访问es服务了。
### 3. 使用docker运行logstash
```shell
docker run -d --name logstash --link elasticsearch:elasticsearch -v ~/logstash.conf:/usr/share/logstash/pipeline/logstash.conf  logstash:7.9.0
```
-v 在logstash.conf中添加日志采集规则并替换到容器中。

## 二、Docker-compose安装ELK
### 1. 创建ELK的docker-compose.yml
```yaml
version: '3'
services:
	elasticsearch:
		image: elasticsearch:7.9.0
		restart: on-failure:5
		container_name: elasticsearch
		environment:
			- discovery.type=single-node
			- bootstrap.memory_lock=true
			- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
			- TZ=Asia/Shanghai
		ulimits:
			memlock:
				soft: -1
				hard: -1
		ports:
			- 9200:9200
			- 9300:9300
		volumes:
			- "~/esdatadir:/usr/share/elasticsearch/data"
		networks:
			- "elk-net"

logstash:
		image: logstash:7.9.0
		restart: on-failure:5
		container_name: logstash
		environment:
			- TZ=Asia/Shanghai
		depends_on:
			- elasticsearch
		volumes:
			- "~/pipeline:/usr/share/logstash/pipeline"
		networks:
			- "elk-net"

kibana:
		image: kibana:7.9.0
		restart: on-failure:5
		container_name: kibana
		environment:
			- TZ=Asia/Shanghai
		ports:
			- 5601:5601
		depends_on:
			- elasticsearch
		networks:
			- "elk-net"

networks:
	elk-net:
```
### 2. 后台启动
```shell
docker-compose  up  -d
```
### 3. 查看所有容器日志信息
```shell
docker-compose  logs -f
```
### 4. 重新构建容器使修改生效
```shell
docker-compose up -d --build 容器名
```
## 三、容器时区设置
### 1. 运行时指定时区
```shell
-e TZ=Asia/Shanghai
```
### 2. 共享主机的localtime
```shell
-v /etc/timezone:/etc/timezone:ro -v /etc/localtime:/etc/localtime:ro
```
### 3. 复制主机的localtime
```shell
docker cp /etc/localtime 【容器ID或者NAME】:/etc/localtime
```
## 四、ElasticSearch之CURL操作
| 描述  |  命令 |
| ------------ | ------------ |
| 查看集群统计信息 | `curl -XGET http://ES_IP地址:9200/_cluster/stats?pretty` |
| 查看集群支持的命令 | `curl -XGET 'http://ES_IP地址:9200/_cat'` |
| 查看集群节点信息 | `curl -XGET 'http://ES_IP地址:9200/_cat/nodes?v'` |
| 查看节点状态 | `curl -XGET 'http://ES_IP地址:9200/_nodes/stats?pretty'` |
| 查看集群健康情况 | `curl -XGET 'http://ES_IP地址:9200/_cat/health?v'` |
| 查看各个索引库信息 | `curl  'http://ES_IP地址:9200/_cat/indices?v'` |
| 查看具体情况 | `curl -XGET http://10.11.66.82:9200/_cat/segments?v` |
| 查看集群文档数量 | `curl -XGET http://ES_IP地址:9200/_count?pretty` |
| 查询整个索引库 | `curl -XGET http://ES_IP地址:9200/filebeat-6.4.3-2021.01.19/_search?pretty` |
| 查询某一个type | `curl -XGET http://ES_IP地址:9200/bigdata_p/product/_search?pretty` |
| 查询具体的一条记录 | `curl -XGET http://ES_IP地址:9200/bigdata_p/product/1?pretty` |
| 查询一条索引文档中的具体的字段 | `curl -XGET http://ES_IP地址:9200/bigdata_p/product/1?_source=name&pretty` |
| 如果要查询多个字段，使用","进行隔开 | `curl -XGET http://ES_IP地址:9200/bigdata_p/product/1?_source=name,author&pretty` |
| 获取source所有数据 | `curl -XGET http://ES_IP地址:9200/bigdata_p/product/1?_source&pretty` |
| 根据条件进行查询 | `curl -XGET http://ES_IP地址:9200/bigdata_p/product/_search?q=name:hbase,hive&prett` |
| 删除索引及数据 | `curl  -XDELETE 'http://ES_IP地址:9200/filebeat-6.4.3-2021.01.19'` |
| 上传文件 | `curl -v --user '用户名:密码' --upload-file file.tar.gz http://上传主机IP:8081/file_dir/file.tar.gz` |
**在url后面加上一个pretty则会对返回结果进行格式化**
## 五、logstash 插件安装
### 1. 在线安装
#### 1.1 修改source源
```shell
cd /usr/share/logstash
vi Gemfile
	source "http://源IP:8081/repository/gemrepo/" 
```
#### 1.2 执行Logstash Plugin Install命令
```shell
logstash-plugin install --no-verify logstash-core-event-java
```
### 2. 离线安装
#### 2.1 生成离线包
```shell
logstash-plugin prepare-offline-pack --overwrite --output logstash-core-event-java.zip logstash-core-event-java
```
#### 2.2 安装离线包
```shell
logstash-plugin install --local --no-verify file:///opt/logstash/logstash-core-event-java.zip
#格式：file:// + zip文件路径
```

使用Docker或Docker-compose安装部署ELK

总共已有 0 条评论