部署ES集群及kafka环境用于日志收集

博主： Kevin
发布时间：2023 年 06 月 01 日
181 次浏览
暂无评论
1265字数
分类：学习笔记

系统环境

ubuntu 22.04 LTS
elasticsearch Version 7.12.1
kibana Versiob 7.12.1
kafka Version 2.13-2.6.2
es-kafka-1：192.168.60.163
es-kafka-2：192.168.60.164
es-kafka-3：192.168.60.165

elasticsearch软件下载地址：https://www.elastic.co/cn/downloads/elasticsearch
kafka下载地址：https://shackles.cn/Software/kafka_2.13-2.6.2.tgz
zookeeper下载地址：https://shackles.cn/Software/apache-zookeeper-3.7.1-bin.tar.gz

安装ES（所有节点执行）：

dpkg -i elasticsearch-7.12.1-amd64.deb

配置elasticsearch配置文件：

cat <<EOF> /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es
node.name: node3
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.60.165
discovery.seed_hosts: ["192.168.60.163", "192.168.60.164","192.168.60.165"]
cluster.initial_master_nodes: ["192.168.60.163", "192.168.60.164","192.168.60.165"]
action.destructive_requires_name: true
EOF

cluster.name：集群名称
node.name: 节点名称。一般配置为本节点的IP地址也可自定义名字。
path.data: 数据存放目录。
path.logs: 日志存放目录。
network.host: 本节点的网络IP地址
discovery.seed_hosts: 单节点安装时，设置为本节点的网络IP地址；多节点安装时，需要设置为多节点的IP地址
cluster.initial_master_nodes: 在启动时，Elasticsearch将会选择这三个节点中的一个作为主节点，并在之后的运行时维护这个列表来确保主节点总是可用。这个列表不一定需要包含所有节点，但必须至少包含一个活动节点才能初始化主节点。

安装kibana：

dpkg -i kibana-7.12.1-amd64.deb

配置kibana配置文件：

cat <<EOF> /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
server.name: "kibana"
elasticsearch.hosts: ["http://192.168.60.163:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
EOF

server.port：指定Kibana服务器运行的端口号，这里设置为5601。
server.host：指定Kibana服务器监听的地址，这里设置为0.0.0.0，表示监听所有的IP地址。
server.name：指定Kibana服务器的名称，这里设置为"kibana"。
elasticsearch.hosts：指定连接的Elasticsearch实例的地址，这里设置为"http://192.168.60.163:9200"，表示连接到IP地址为192.168.60.163、端口号为9200的Elasticsearch实例。
kibana.index：指定Kibana使用的索引名称，这里设置为".kibana"。
i18n.locale：指定使用的语言环境，这里设置为"zh-CN"，表示使用中文语言环境。

安装JDK8:

apt install openjdk-8-jdk

部署zookeeper：

mkdir /apps && cd /apps
#安装包放到/apps下
tar xvf apache-zookeeper-3.7.1-bin.tar.gz
ln -sf apache-zookeeper-3.7.1-bin zookeeper && cd /apps/zookeepr/conf && cp zoo_sample.cfg zoo.cfg

cat <<EOF> /apps/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181

server.1=192.168.60.163:2888:3888
server.2=192.168.60.164:2888:3888
server.3=192.168.60.165:2888:3888
EOF

tickTime：Zookeeper中使用的基本时间单位，以毫秒为单位。这里设置为2000ms。
initLimit：用于限制Zookeeper服务器启动时连接到Zookeeper集合中的follower最长时间限制。这里设置为10。
syncLimit：用于限制Zookeeper服务器之间保持同步的领导选举时间。这里设置为5。
dataDir：Zookeeper存储数据的目录，这里设置为/data/zookeeper。
clientPort：Zookeeper客户端连接服务器使用的端口号，这里设置为2181。

Zookeeper服务的服务器列表：
server.1=192.168.60.163:2888:3888`：表示第一个Zookeeper服务器的IP地址为192.168.60.163，使用2888端口进行连接和通信，使用3888端口进行领导选举。
server.2=192.168.60.164:2888:3888`：表示第二个Zookeeper服务器的IP地址为192.168.60.164，使用2888端口进行连接和通信，使用3888端口进行领导选举。
server.3=192.168.60.165:2888:3888`：表示第三个Zookeeper服务器的IP地址为192.168.60.165，使用2888端口进行连接和通信，使用3888端口进行领导选举。

注意：/data/zookeeper需要手动创建，server.1、server.2、server.3要和集群中的IP地址一一对应，三台的zookeeper配置文件一样可scp到其他节点。

mkdir -p /data/zookeeper

创建集群中唯一标识符：

在集群es-kafka-1创建标识符：

echo 1 > /data/zookeeper/myid

在集群es-kafka-2创建标识符：

echo 2 > /data/zookeeper/myid

在集群es-kafka-3创建标识符：

echo 3 > /data/zookeeper/myid

myid：ZooKeeper的一个文件，用于存储该 ZooKeeper 实例的唯一标识符（即 myid）

启动zookeeper（所有节点）：

/apps/zookeepr/bin/zkServer.sh start
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /apps/zookeepr/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

验证zookeeper是否启动（所有节点）：

root@@es-kafka-1:~#/apps/zookeepr/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /apps/zookeepr/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

mode：是follower和leader都证明node在集群中是正常的

部署kafka：

cd /apps && tar xvf kafka_2.13-2.6.2.tgz && ln -sf kafka_2.13-2.6.2 kafka

es-kafka-1配置文件：

cat <<EOF> /apps/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://192.168.60.163:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.60.163:2181,192.168.60.164:2181,192.168.60.165:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
EOF

es-kafka-2配置文件：

cat <<EOF> /apps/kafka/config/server.properties
broker.id=2
listeners=PLAINTEXT://192.168.60.164:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.60.163:2181,192.168.60.164:2181,192.168.60.165:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
EOF

es-kafka-3配置文件：

cat <<EOF> /apps/kafka/config/server.properties
broker.id=3
listeners=PLAINTEXT://192.168.60.165:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.60.163:2181,192.168.60.164:2181,192.168.60.165:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
EOF

broker.id：指定当前Kafka Broker的唯一标识符，这里设置为1。
listeners：指定Kafka Broker监听的地址和端口号，这里指定监听在IP地址为192.168.60.163、端口号为9092的地址上。
num.network.threads：指定Kafka Broker用于处理网络I/O的线程数，这里设置为3。
num.io.threads：指定Kafka Broker用于处理磁盘I/O的线程数，这里设置为8。
socket.send.buffer.bytes：设置Kafka Broker用于网络传输中的Socket发送缓冲区大小，这里设置为102400。
socket.receive.buffer.bytes：设置Kafka Broker用于网络传输中的Socket接收缓冲区大小，这里设置为102400。
socket.request.max.bytes：设置在Kafka Broker上发送或接收任何单个请求时所允许的最大字节数，这里设置为104857600字节。
log.dirs：指定Kafka Broker用于存储日志文件的目录，这里设置为/data/kafka-logs。
num.partitions：指定创建新主题时每个默认分区的数量，这里设置为1。
num.recovery.threads.per.data.dir：指定每个数据目录中日志恢复线程的数量，这里设置为1。
offsets.topic.replication.factor：指定储存消费者组和偏移量信息的内部主题的副本数量，这里设置为1。
transaction.state.log.replication.factor：指定事务状态日志内部主题的副本数量，这里设置为1。
transaction.state.log.min.isr：指定一个副本集合中必须确认事务状态的最小数量，这里设置为1。
log.retention.hours：指定日志文件在自动删除之前保留的时间，这里设置为168小时（即7天）。
log.segment.bytes：指定日志文件的最大大小，当文件达到此大小时，将创建一个新的日志段，这里设置为1073741824字节（即1GB）。
log.retention.check.interval.ms：指定删除旧日志文件任务之间的时间间隔，这里设置为300000ms（即5分钟）。
zookeeper.connect：指定Zookeeper的连接地址（所有Kafka Broker都将向此地址注册）。这里设置为多个Zookeeper实例的地址，用逗号分隔。
zookeeper.connection.timeout.ms：指定连接Zookeeper服务器的最长时间，这里设置为18000ms（即18秒）。
group.initial.rebalance.delay.ms：当新的消费者加入消费者组时，指定延迟重新平衡的时间。这里设置为0表示立即开始重新平衡。

启动kafka:

/apps/kafka/bin/kafka-server-start.sh -daemon /apps/kafka/config/server.properties

验证是否启动成功：

netstat -ntpl | grep 9092
tcp6       0      0 192.168.60.163:9092     :::*                    LISTEN      10604/java

下载官方kafka工具连接查看kafka状态：

官方下载地址：https://www.kafkatool.com/download.html

kafka-tools-1

kafka-tools-2

kafka-tools-3

最后修改：2023 年 06 月 01 日

如果觉得我的文章对你有用，请随意赞赏

仅登录用户可评论，点击登录

部署ES集群及kafka环境用于日志收集

Kevin • 2023 年 06 月 01 日

<h3>系统环境</h3><pre><code>ubuntu 22.04 LTS
elasticsearch Version 7.12.1
kibana Versiob 7.12.1
kafka Version 2.13-2.6.2
es-kafka-1：192.168.60.163
es-kafka-2：192.168.60.164
es-kafka-3：192.168.60.165</code></pre><p>elasticsearch软件下载地址：<span class="external-link"><a class="no-external-link" href="https://www.elastic.co/cn/downloads/elasticsearch" target="_blank"><i data-feather="external-link"></i>https://www.elastic.co/cn/downloads/elasticsearch</a></span><br>kafka下载地址：<a href="https://shackles.cn/Software/kafka_2.13-2.6.2.tgz">https://shackles.cn/Software/kafka_2.13-2.6.2.tgz</a><br>zookeeper下载地址：<a href="https://shackles.cn/Software/apache-zookeeper-3.7.1-bin.tar.gz">https://shackles.cn/Software/apache-zookeeper-3.7.1-bin.tar.gz</a></p><h3>安装ES（所有节点执行）：</h3><pre><code>dpkg -i elasticsearch-7.12.1-amd64.deb</code></pre><h3>配置elasticsearch配置文件：</h3><pre><code>cat &lt;&lt;EOF&gt; /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es
node.name: node3
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.60.165
discovery.seed_hosts: [&quot;192.168.60.163&quot;, &quot;192.168.60.164&quot;,&quot;192.168.60.165&quot;]
cluster.initial_master_nodes: [&quot;192.168.60.163&quot;, &quot;192.168.60.164&quot;,&quot;192.168.60.165&quot;]
action.destructive_requires_name: true
EOF</code></pre><p>cluster.name：集群名称<br>node.name:    节点名称。一般配置为本节点的IP地址也可自定义名字。<br>path.data:    数据存放目录。<br>path.logs:    日志存放目录。<br>network.host: 本节点的网络IP地址<br>discovery.seed_hosts: 单节点安装时，设置为本节点的网络IP地址；多节点安装时，需要设置为多节点的IP地址<br>cluster.initial_master_nodes: 在启动时，Elasticsearch将会选择这三个节点中的一个作为主节点，并在之后的运行时维护这个列表来确保主节点总是可用。这个列表不一定需要包含所有节点，但必须至少包含一个活动节点才能初始化主节点。</p><h3>安装kibana：</h3><pre><code>dpkg -i kibana-7.12.1-amd64.deb</code></pre><h3>配置kibana配置文件：</h3><pre><code>cat &lt;&lt;EOF&gt; /etc/kibana/kibana.yml
server.port: 5601
server.host: &quot;0.0.0.0&quot;
server.name: &quot;kibana&quot;
elasticsearch.hosts: [&quot;http://192.168.60.163:9200&quot;]
kibana.index: &quot;.kibana&quot;
i18n.locale: &quot;zh-CN&quot;
EOF</code></pre><p>server.port：指定Kibana服务器运行的端口号，这里设置为5601。<br>server.host：指定Kibana服务器监听的地址，这里设置为0.0.0.0，表示监听所有的IP地址。<br>server.name：指定Kibana服务器的名称，这里设置为"kibana"。<br>elasticsearch.hosts：指定连接的Elasticsearch实例的地址，这里设置为"http://192.168.60.163:9200"，表示连接到IP地址为192.168.60.163、端口号为9200的Elasticsearch实例。<br>kibana.index：指定Kibana使用的索引名称，这里设置为".kibana"。<br>i18n.locale：指定使用的语言环境，这里设置为"zh-CN"，表示使用中文语言环境。</p><h3>安装JDK8:</h3><pre><code>apt install openjdk-8-jdk</code></pre><h3>部署zookeeper：</h3><pre><code>mkdir /apps &amp;&amp; cd /apps
#安装包放到/apps下
tar xvf apache-zookeeper-3.7.1-bin.tar.gz
ln -sf apache-zookeeper-3.7.1-bin zookeeper &amp;&amp; cd /apps/zookeepr/conf &amp;&amp; cp zoo_sample.cfg zoo.cfg

cat &lt;&lt;EOF&gt; /apps/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181

server.1=192.168.60.163:2888:3888
server.2=192.168.60.164:2888:3888
server.3=192.168.60.165:2888:3888
EOF</code></pre><p>tickTime：Zookeeper中使用的基本时间单位，以毫秒为单位。这里设置为2000ms。<br>initLimit：用于限制Zookeeper服务器启动时连接到Zookeeper集合中的follower最长时间限制。这里设置为10。<br>syncLimit：用于限制Zookeeper服务器之间保持同步的领导选举时间。这里设置为5。<br>dataDir：Zookeeper存储数据的目录，这里设置为/data/zookeeper。<br>clientPort：Zookeeper客户端连接服务器使用的端口号，这里设置为2181。</p><p>Zookeeper服务的服务器列表：<br>server.1=192.168.60.163:2888:3888`：表示第一个Zookeeper服务器的IP地址为192.168.60.163，使用2888端口进行连接和通信，使用3888端口进行领导选举。<br>server.2=192.168.60.164:2888:3888`：表示第二个Zookeeper服务器的IP地址为192.168.60.164，使用2888端口进行连接和通信，使用3888端口进行领导选举。<br>server.3=192.168.60.165:2888:3888`：表示第三个Zookeeper服务器的IP地址为192.168.60.165，使用2888端口进行连接和通信，使用3888端口进行领导选举。</p><p>注意：/data/zookeeper需要手动创建，server.1、server.2、server.3要和集群中的IP地址一一对应，三台的zookeeper配置文件一样可scp到其他节点。</p><pre><code>mkdir -p /data/zookeeper</code></pre><h4>创建集群中唯一标识符：</h4><h5>在集群es-kafka-1创建标识符：</h5><pre><code>echo 1 &gt; /data/zookeeper/myid</code></pre><h5>在集群es-kafka-2创建标识符：</h5><pre><code>echo 2 &gt; /data/zookeeper/myid</code></pre><h5>在集群es-kafka-3创建标识符：</h5><pre><code>echo 3 &gt; /data/zookeeper/myid</code></pre><p>myid：ZooKeeper的一个文件，用于存储该 ZooKeeper 实例的唯一标识符（即 myid）</p><h4>启动zookeeper（所有节点）：</h4><pre><code>/apps/zookeepr/bin/zkServer.sh start
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /apps/zookeepr/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED</code></pre><h4>验证zookeeper是否启动（所有节点）：</h4><pre><code>root@@es-kafka-1:~#/apps/zookeepr/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /apps/zookeepr/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower</code></pre><p>mode：是follower和leader都证明node在集群中是正常的</p><h3>部署kafka：</h3><pre><code>cd /apps &amp;&amp; tar xvf kafka_2.13-2.6.2.tgz &amp;&amp; ln -sf kafka_2.13-2.6.2 kafka</code></pre><h4>es-kafka-1配置文件：</h4><pre><code>cat &lt;&lt;EOF&gt; /apps/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://192.168.60.163:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.60.163:2181,192.168.60.164:2181,192.168.60.165:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
EOF</code></pre><h4>es-kafka-2配置文件：</h4><pre><code>cat &lt;&lt;EOF&gt; /apps/kafka/config/server.properties
broker.id=2
listeners=PLAINTEXT://192.168.60.164:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.60.163:2181,192.168.60.164:2181,192.168.60.165:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
EOF</code></pre><h4>es-kafka-3配置文件：</h4><pre><code>cat &lt;&lt;EOF&gt; /apps/kafka/config/server.properties
broker.id=3
listeners=PLAINTEXT://192.168.60.165:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.60.163:2181,192.168.60.164:2181,192.168.60.165:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
EOF</code></pre><p>broker.id：指定当前Kafka Broker的唯一标识符，这里设置为1。<br>listeners：指定Kafka Broker监听的地址和端口号，这里指定监听在IP地址为192.168.60.163、端口号为9092的地址上。<br>num.network.threads：指定Kafka Broker用于处理网络I/O的线程数，这里设置为3。<br>num.io.threads：指定Kafka Broker用于处理磁盘I/O的线程数，这里设置为8。<br>socket.send.buffer.bytes：设置Kafka Broker用于网络传输中的Socket发送缓冲区大小，这里设置为102400。<br>socket.receive.buffer.bytes：设置Kafka Broker用于网络传输中的Socket接收缓冲区大小，这里设置为102400。<br>socket.request.max.bytes：设置在Kafka Broker上发送或接收任何单个请求时所允许的最大字节数，这里设置为104857600字节。<br>log.dirs：指定Kafka Broker用于存储日志文件的目录，这里设置为/data/kafka-logs。<br>num.partitions：指定创建新主题时每个默认分区的数量，这里设置为1。<br>num.recovery.threads.per.data.dir：指定每个数据目录中日志恢复线程的数量，这里设置为1。<br>offsets.topic.replication.factor：指定储存消费者组和偏移量信息的内部主题的副本数量，这里设置为1。<br>transaction.state.log.replication.factor：指定事务状态日志内部主题的副本数量，这里设置为1。<br>transaction.state.log.min.isr：指定一个副本集合中必须确认事务状态的最小数量，这里设置为1。<br>log.retention.hours：指定日志文件在自动删除之前保留的时间，这里设置为168小时（即7天）。<br>log.segment.bytes：指定日志文件的最大大小，当文件达到此大小时，将创建一个新的日志段，这里设置为1073741824字节（即1GB）。<br>log.retention.check.interval.ms：指定删除旧日志文件任务之间的时间间隔，这里设置为300000ms（即5分钟）。<br>zookeeper.connect：指定Zookeeper的连接地址（所有Kafka Broker都将向此地址注册）。这里设置为多个Zookeeper实例的地址，用逗号分隔。<br>zookeeper.connection.timeout.ms：指定连接Zookeeper服务器的最长时间，这里设置为18000ms（即18秒）。<br>group.initial.rebalance.delay.ms：当新的消费者加入消费者组时，指定延迟重新平衡的时间。这里设置为0表示立即开始重新平衡。</p><h4>启动kafka:</h4><pre><code>/apps/kafka/bin/kafka-server-start.sh -daemon /apps/kafka/config/server.properties</code></pre><h4>验证是否启动成功：</h4><pre><code>netstat -ntpl | grep 9092
tcp6       0      0 192.168.60.163:9092     :::*                    LISTEN      10604/java</code></pre><h4>下载官方kafka工具连接查看kafka状态：</h4><pre><code>官方下载地址：https://www.kafkatool.com/download.html</code></pre><p><img src="https://shackles.cn/Learning_pictures/kafka/kafka_tools-1.png" alt="kafka-tools-1" title="kafka-tools-1" style=""></p><p><img src="https://shackles.cn/Learning_pictures/kafka/kafka_tools-2.png" alt="kafka-tools-2" title="kafka-tools-2" style=""></p><p><img src="https://shackles.cn/Learning_pictures/kafka/kafka_tools-3.png" alt="kafka-tools-3" title="kafka-tools-3" style=""></p>

部署ES集群及kafka环境用于日志收集

系统环境

安装ES（所有节点执行）：

配置elasticsearch配置文件：

安装kibana：

配置kibana配置文件：

安装JDK8:

部署zookeeper：

创建集群中唯一标识符：

在集群es-kafka-1创建标识符：

在集群es-kafka-2创建标识符：

在集群es-kafka-3创建标识符：

启动zookeeper（所有节点）：

验证zookeeper是否启动（所有节点）：

部署kafka：

es-kafka-1配置文件：

es-kafka-2配置文件：

es-kafka-3配置文件：

启动kafka:

验证是否启动成功：

下载官方kafka工具连接查看kafka状态：

Elasticsearch、Logstash、Kibana添加密码设置

K8S

基于canel的网络策略

K8S dashboard认证及分级授权

调度器、预选策略及优选函数

SkyWalking-java（halo）博客追踪案例

Prometheus 服务发现

Elasticsearch、Logstash、Kibana添加密码设置

RBAC

Kubernetes基于ELK日志收集方式

部署ES集群及kafka环境用于日志收集