Elasticsearch对接MinIO存储Snapshot快照

发布时间 2024-01-04 18:12:28作者: 付同學

服务器配置

MinIO集群节点(4节点) IP
节点1 miniotest1.ip.tp-link.com 172.29.145.80
生产环境需要增加一个Nginx负载均衡前端用于ELK对接,此处直接对接节点1

ELK集群(3节点)

Elasticsearch版本为7.17.12
iamdemo1
iamdemo2
iamdemo3
在MINIO的管理UI界面上,创建一个es-bucket桶,同时创建一个elasticsearch用户,配置ReadWrite权限,记住username和password,在elasticsearch对接的时候当access_key和secret_key用

image

在Elasticsearch官网离线下载Repository-s3包

官网离线包下载地址
https://www.elastic.co/guide/en/elasticsearch/plugins/7.17/repository-s3.html

image

小版本不同可以直接修改下载包的url即可直接下载,例如版本为7.17.12,直接输入
https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-s3/repository-s3-7.17.12.zip 即可下载

安装离线包

使用elasticsearch-plugin工具进行离线包的安装,通常位于/usr/share/elasticsearch/bin下
./elasticsearch-plugin install file:/root/repository-s3-7.17.12.zip

然后使用elasticsearch-keystore存储对接minio的access_key和secret_key

依次输入即可
./elasticsearch-keystore add s3.client.default.access_key
./elasticsearch-keystore add s3.client.default.secret_key
可以使用elasticsearch-keystore show查看参数的值是否正确

修改/etc/elasticsearch/elasticsearch.yml文件

增加如下MINIO参数,http需要指定
s3.client.default.endpoint: 172.29.145.80:9001 (必须是ip,不能是域名)
s3.client.default.protocol: http

所有节点均需做以上操作,做完这步之后依次重启所有Elasticsearch节点

在Elasticsearch集群增加s3存储库

PUT _snapshot/es-repository
{
  "type": "s3",
  "settings": {
  "bucket": "es-bucket"
  }
}

image

设置备份策略

image
image
最后可以在MINIO的管理界面上看到备份的文件
image