快照elasticsearch snapshot minio
使用minio进行文件存储
一. Docker拉取镜像（确保自己的服务器已经安装Docker） docker pull minio/minio 二. 启动一个miniio容器 docker run --name minio -p 9090:9000 -p 9999:9999 -d \ --restart=always -e \ ......
docker 安装elasticsearch7.9 和 SkyWalkin
1、相关地址： 官网：https://skywalking.apache.org/下载：https://skywalking.apache.org/downloads/Github：https://github.com/apache/skywalking文档：https://skywalking.a ......
Linux离线安装 Elasticsearch-head插件
1.安装node.js 下载地址：https://nodejs.org/en/download 最好不要下载最新的。可能有问题，本人下载的是v10.24.1。 参考下载地址：https://nodejs.org/download/release/latest-v10.x/ 上传服务器usr/loca ......
elasticsearch2
##### 聚合查询（aggs） ``` #用于进行聚合的字段必须是exact value，分词字段不可进行聚合，对于text字段如果需要使用聚合，需要开启fielddata，但是通常不建议； #聚合查询分类 #1.分桶聚合（Bucket agregations）：类比SQL中的group by的作 ......
Elasticsearch 之 join 关联查询及使用场景
在Elasticsearch这样的分布式系统中执行类似SQL的join连接是代价是比较大的，然而，Elasticsearch却给我们提供了基于水平扩展的两种连接形式 ......
使用canal同步mysql数据到elasticsearch
官方去下载canal包 https://github.com/alibaba/canal/releases/tag/canal-1.1.6 分为deployer、admin、adapter三个模块。deployer是数据库数据同步服务端。adapter是适配同步到不同终端,可以是es，hbase，r ......
Django自定义storage上传文件到Minio
首先新建一个MyStorage.py，自定义Storage类 from io import BytesIO from django.core.files.storage import Storage from django.conf import settings from utils.minioC ......
Linux下Elasticsearch集群搭建
在每台服务器上安装ES，此处略过，如需要请查看过往文章。 集群的搭建主要是修改每个节点的配置文件（elastic search.yml） # 集群名称 cluster.name: veolia-es-cluster # 节点名称 node.name: es02 # 是否作为主节点（每个节点都配置tr ......
java将wkt面数据转geojson和elasticsearch的shape数据
wkt面数据转geojson import com.alibaba.fastjson.JSONException; import com.alibaba.fastjson.JSONObject; import org.locationtech.jts.geom.Coordinate; import ......
docker安装minio
docker run -d -p 9000:9000 -p 9090:9090 --name myminio -e "MINIO_ROOT_USER=minioadmin" -e "MINIO_ROOT_PASSWORD=minioadmin" -v /g/miniO/data:/data mini ......
Elasticsearch与Clickhouse数据存储对比
Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库天然适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行引擎技术大幅缩减计算耗时。所以做此对比，进行Elasticsearc... ......
ElasticSearch搜索引擎
为什么要用elasticsearch?作用是什么？ https://blog.csdn.net/bugeiban001/article/details/126652894 安装及使用 https://elasticstack.blog.csdn.net/article/details/1027286 ......
java.lang.IllegalStateException: failed to obtain node locks, tried [[/usr/local/elasticsearch/data/]] with lock id [0]
## 原因 如果你是更改了elasticsearch的配置，有可能是新旧缓存数据冲突 ## 解决办法 删除es根路径下data文件夹 PS：经测试不影响生成的索引数据，如果数据重要，请谨慎操作，暂未知道原理。 ......
如何在EasyCVR视频融合平台通过接口获取告警的录像以及快照？
EasyCVR可在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，平台可提供视频监控直播、云端录像、云存储、录像检索与回看、智能告警、平台级联、集群、电子地图、H.265视频自动转码、智能分析等视频能力与服务。感兴趣的用户可以前往演示平台进行体验或部署测试。 ......
论elasticsearch在Windows环境的安装
# 前置需求 一台电脑（我用的是Windows），有网 # 第一步：下载并安装 去java官网下载开发版java（考虑到可能有小白，我暂且这么说） java官网下载链接：https://www.oracle.com/java/technologies/downloads/ 写随笔时间为2023、05 ......
docker部署分布式minio集群文件服务器
1. 环境准备 准备4台服务器，3台服务器做minio集群，一台服务器做minio的nginx 入口服务器 IP 服务 操作系统 192.168.0.165 Minio-Nginx CentOS 7.9 192.168.0.109 Minio-1 CentOS 7.9 192.168.0.114 M ......
rocky Elasticsearch 8.7.1集群 x-spack 安全验证 及 集群内部TLS加密传输 （ca）
目录 简介 环境准备 安装 配置 hostname 解析 安装 systemd 脚本 ca证书 配置 给所有 ES 配置相同的用户密码 启动查看 简介 常规部署 Elasticsearch 集群时，不管是集群之间的数据传输，或者是 Client 访问Elasticsearch 集群时 均不需要相关验 ......
Minio预览图片报错：The Access Key Id you provided does not exist in our records.
一、错误信息 <Error> <Code>InvalidAccessKeyId</Code> <Message>The Access Key Id you provided does not exist in our records.</Message> <Key>34e20ef0681345c1b ......
Elasticsearch搜索引擎之kibana安装部署
Kibana 是 Elasticsearch 可视化工具，为 Elasticsearch 中索引的数据提供搜索和数据可视化功能 一、解压安装包 tar -xzvf kibana-7.10.2-linux-x86_64.tar.gz 二、重命名 mv kibana-7.10.2-linux-x86_6 ......
elasticsearch 启动报错 SearchPhaseExecutionException[Failed to execute phase [query], all shards failed]
Elasticsearch 启动报错： [2023-05-19T22:39:32,161][DEBUG][o.e.a.s.TransportSearchAction] [X-111.ecs] All shards failed for phase: [query] [2020-05-19T22:39 ......
Unable to retrieve version information from Elasticsearch nodes
问题描述 es启动正常；但当kibana时，报了如下错误 Unable to retrieve version information from Elasticsearch nodes. connect ECONNREFUSED XXX.X.X.X:9200 解决方法 网上大多是将配置文件中的相关地 ......
minio 客户端使用
直接用Aws python (S3 SDK) import boto3 def backup_s3(filepath, s3_bucket, s3key, s3_access_key=None, s3_secret_key=None,endpoint_url=None): s3 = None if ......
视频汇聚融合平台EasyCVR视频快照增加设备和通道信息的实现过程分享
EasyCVR平台丰富强大的能力可应用在多样化的场景中，例如，当前各大城市正在积极推行“一网统管”的城市治理与服务模式，EasyCVR平台的视频汇聚能力，可将城市治理中各个业务场景下的视频源设备进行统一集中接入，实现视频大数据的集中管理、数据共享、数据处理与分析、业务对接应用等。 ......
Centos7使用s3fs-fuse挂载minio对象存储实践
Centos7使用s3fs-fuse挂载minio对象存储实践 事前准备 主机可以访问到对象存储API、例如minio默认的9000端口 主机安装好s3fs软件 已在minio上创建存储桶 安装s3fs（本文使用centos发行版） 其他发行版本教程请参考Github官网 Github: https ......
linux-elasticsearch（基础）
elasticsearch（基础） 一、创建postman项目 1.创建空间 2.新建测试项目 GET http://10.0.0.101:9200/_cat/nodes 二、ES的常见术语 索引(index)： 用户写入ES集群的逻辑单元。 分片(shard): 一个索引最少一个分片。 将索引的数 ......
linux-elasticsearch（存储与检索）
elasticsearch（存储与检索） 一、部署elasticsearch 1.rpm单点部署 1.1 下载ES软件包 https://www.elastic.co/cn/downloads 1.2 安装es [root@elk101.com ~]# ll total 301028 -rw . 1 ......
使用java restclient连接elasticsearch
java连接es方式有transport、rest client、java client方式。官方最新标的transport和rest client方式都已经过时了，这里用的es7 还是以rest client方式进行连接测试。java client 是es7.15之后推出的。下面开始使用High ......
EasyPlayer播放H.265视频，播放器快照时间显示的问题优化
EasyPlayer属于高可靠、高可用、高稳定性的流媒体播放器。为了满足用户的多样化需求，我们也基于EasyPlayer推出了多种版本，包括EasyPlayer-RTSP、EasyPlayer.js、EasyPlayerPro等，EasyPlayer还能支持网页实时视频录像以及在iOS上实现低延时的... ......
Centos7搭建Minio环境（配置开机自启）
Minio 添加环境变量 # 设置控制台账号 最少3位 export MINIO_ACCESS_KEY=admin # 设置密码 最少8位 export MINIO_SECRET_KEY=12345678 为启动程序授权 chmod +x minio 执行启动 ./minio server /mnt ......
Elasticsearch在linux服务器部署后，java项目启动报错，windows服务器正常运行，如何避坑？
1、问题描述 之前在windows服务器上部署了java项目（springboot）,ES安装版本7.13.1，正常运行。后因特殊要求迁移到linux服务器上，按照windows服务器版本依然安装7.13.1的ES，启动java项目报错，错误信息如下： org.springframework.bea ......