快照elasticsearch snapshot minio
whindows minio config.json是文件夹的情况下修改后台管理员账号和密码
> 1.创建系统环境变量  在环境变量中添加“MINIO_ACCESS_KEY”和“MINIO_SECR ......
ElasticSearch安装
# 一、ES对应JDK版本 我们在安装ElasticSearch的时候一定要注意ElasticSearch当前版本所支持的JDK版本，免得白安装了。 ElasticSearch与JDK对应的版本查看网址：[https://www.elastic.co/cn/support/matrix#matrix ......
电商类面试问题--01Elasticsearch与Mysql数据同步问题
在实现基于关键字的搜索时，首先需要确保MySQL数据库和ES库中的数据是同步的。为了解决这个问题，可以考虑两层方案。 1. 全量同步：全量同步是在服务初始化阶段将MySQL中的数据与ES库中的数据进行全量同步。可以在服务启动时，对ES库进行全量数据同步操作，以确保数据的一致性。而在停止服务时，可以清 ......
基于velero及minio实现etcd数据备份与恢复
Velero 是vmware开源的一个云原生的灾难恢复和迁移工具，它本身也是开源的,采用Go语言编写，可以安全的备份、恢复和迁移Kubernetes集群资源数据；官网https://velero.io/。Velero 是西班牙语意思是帆船，非常符合Kubernetes社区的命名风格，Velero的开... ......
向量搜索技术：基于Elasticsearch/PostgreSQL/Redis扩展的向量搜索数据库或独立向量搜索引擎方案参考
理论基础与研究 向量数据库用于非结构化文本、图片、音频、视频搜索、推荐，将他们转换为数字向量表示来进行相似性(ANN)搜索。存储和搜索高维向量是其特征之一，通常采用高级索引技术和算法如HNSW, Annoy, 或Faiss来实现。不同于SQL数据库，向量数据库更像nosql，用户接受使用sdk/AP ......
docker安装elasticsearch8.8.1+kibana，并用java连接
安装es 1，下载镜像 docker pull elasticsearch:8.8.1 查询是否下载成功 docker images 2，创建es网络 docker network create elastic 3，这里不挂载目录，单例模式，先后台启动 启动后可查看日志信息 docker logs ......
ElasticSearch的基础概念介绍
# 一、概述 ## 1.1 简介 > 官网：[https://www.elastic.co/](https://www.elastic.co/) `Elasticsearch`(简称`ES`)是一个基于`Apache Lucene`构建的开源、分布式、`RESTful`接口的全文搜索引擎，`Elas ......
【升职加薪秘籍】我在服务监控方面的实践(8)-elasticsearch 性能监控与分析手段
> 大家好，我是蓝胖子，之前讲了mysql，redis中间件的监控，今天我们再来看看另一个基础组件elasticsearch，如何对它进行监控，当你思考如何对一个组件进行监控时，四大黄金指标会告诉你答案，我们同样会从四大黄金指标给出的维度进行分析。 针对es做的性能分析，用四大黄金指标原则，我们可以 ......
ElasticSearch 重建索引 _reindex
前言何为重建索引在原index的基础上copy一份数据在新index（字段相同，类型可不相同）。 为什么有重建索引的需求当分词插件变更，数据类型改变等等。（当然也可以直接重跑一份数据） 如何重建索引请借步参阅官网文档https://www.elastic.co/guide/en/elasticsea ......
ElasticSearch玩耍
现在是大数据的时代，大家对于ElasticSearch 简称 es这块应该并不陌生，但是说到es就要讲讲 Lucene 和 es 的前世今生 了。 Lucene 和 es 的前世今生 Elasticsearch 是基于 Lucene 实现的。Lucene 是一个开源的全文检索引擎库，它可以用于构建各 ......
Elasticsearch，Logstash和Kibana安装部署（ELK Stack）
前言 当今数字化时代，信息的快速增长使得各类组织和企业面临着海量数据的处理和分析挑战。在这样的背景下，ELK Stack（Elasticsearch、Logstash 和 Kibana）作为一套强大的开源工具组合，成为了解决数据管理、搜索和可视化的首选方案。无论是监控日志、实时数据分析，还是构建仪表 ......
安防视频监控汇聚平台EasyCVR视频监控综合管理平台接入Ehome告警，公网快照不显示的问题解决步骤
智能视频监控汇聚平台TSINGSEE青犀视频EasyCVR可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等，视频监控管理平台TSINGSEE青犀EasyCVR能 ......
minio 使用（Win）
下载：https://www.minio.org.cn/download.shtml #### 基本使用 设置密码（设置环境变量）： ```bat setx MINIO_ROOT_USER admin setx MINIO_ROOT_PASSWORD password ``` 启动（先切换到 min ......
elasticsearch-dump使用指南
# 文档 镜像地址：https://hub.docker.com/r/elasticdump/elasticsearch-dump/ # 数据在线导出导入 ```css docker run --rm -ti elasticdump/elasticsearch-dump \ --input=http ......
Elasticsearch性能优化
```bash GET _search { "query": { "match_all": {} } } GET _cat/indices GET _cat/shards PUT /server-2023.02.09/_settings { "number_of_replicas": 0 } PUT ......
Elasticsearch 保姆级入门篇
Elasticsearch 是一个分布式的、面向生产规模工作负载优化的搜索引擎。 Kibana 可以将 Elasticsearch 中的数据转化为直观的图表、图形和仪表盘。 这篇文章，您将学习本地安装 Elasticsearch 和 Kibana，以及使用开发工具/ Java SDK 创建索引和搜索 ......
国标视频云服务EasyGBS国标视频平台视频快照无法显示的问题解决步骤
国标视频云服务EasyGBS支持设备/平台通过国标GB28181协议注册接入，并能实现视频的实时监控直播、录像、检索与回看、语音对讲、云存储、告警、平台级联等功能。平台部署简单、可拓展性强，支持将接入的视频流进行全终端、全平台分发，分发的视频流包括RTSP、RTMP、FLV、HLS、WebRTC等格 ......
VictoriaLogs：一款超低占用的 ElasticSearch 替代方案
 # 背景 前段时间我们想实现 `Pulsar` 消息的追踪流程，追踪实现的效果图如下： ![image.png](https://s2.loli.net/2023/08/ ......
docker安装elasticsearch和kibana
下载镜像和启动镜像： docker search elasticsearch docker pull nshou/elasticsearch-kibana docker run -d -p 9200:9200 -p 9300:9300 -p 5601:5601 --name eskibana nsh ......
Elasticsearch Mapping类型修改
## 背景 通常数据库进行分库分表后，目前比较常规的作法，是通过将数据异构到Elasticsearch来提供分页列表查询服务；在创建Elasticsearch索引时，基本都是会参考目前的业务需求、关系数据库中的类型以及对数据的相关规划来定义相关字段mapping的类型. 在Elasticsearch ......
elasticsearch from + size must be less than or equal to: [10000] but was [100000]
说明:当分页查询时，默认最大总数是10000（from+size<=10000），当我现在业务需要查询最大100000条时，就报错了。 方案1：可以为某个es放开到指定的返回总数，也可以对整个es的索引做设置。但这样对内存消耗很大, 可能导致内存溢出，elasticsearch重启又会恢复默认100 ......
elasticsearch 主要配置参数解释
主要解释下面3个常用的参数： 1. index 参数 2. store 与 _source 参数 3. doc_value 参数 ## 1、index 参数 默认为true。当设置为true时，代表需要对该字段进行检索，也即倒排查询，根据 query 条件 查询 doc_id ## 2、store ......
elasticsearch创建索引带mappings和settings
## 一、通过kabana控制台创建 我们在kabana控制台创建一个record_feature_tag的索引，对应的mapping配置如下 ```js PUT /record_feature_tag { "mappings": { "properties" : { "_class" : { "t ......
Elasticsearch查询更新
Elasticsearch支持多种查询和更新操作。以下是一些常见的查询和更新操作示例： 查询所有文档： 根据条件查询文档： GET /index_name/_search{ "query": { "match": { "field_name": "search_term" } } } 更新文档： P ......
minio给予用户指定桶权限
需求：新建个用户，给与指定桶(tmp)的读写权限 登录管理账号的权限，然后再 Administrator--> Policies中新建， Raw Policy如下 ``` { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", " ......
Elasticsearch详细笔记
Elasticsearch详细笔记 一、Elasticsearch概述 1.1 开篇 结构化数据 非结构化数据 半结构化数据 1.2 技术选型 Elasticsearch 是什么 The Elastic Stack, 包括 Elasticsearch、 Kibana、 Beats 和 Logstas ......
elasticsearch
最典型的是两个应用场景：全文检索 和 复杂查询。 正排索引，也叫正向索引（Forward Index），是通过文档ID去查找关键词（文档内容）。倒排索引，也叫反向索引（Inverted Index），是通过关键词查找文档ID。 must：其查询子句必须全部被满足，逻辑相当于 and ，并且会计算分数 ......
tidb快照备份并发送企业微信机器人通知
tidb备份使用的是br进行快照备份 + 日志备份具体代码如下 #qiyewx.pyimport json from datetime import datetime import requests from config import * # 可以把机器人的配置信息写到一个单独的config里面 ......
docker-compose快速部署elasticsearch-8.x集群+kibana
### 欢迎访问我的GitHub > 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) ### 本篇概览 - 前文[《Docker下elasticse ......
DDD实践：实现基于快照机制的变更追踪
大家好，我是王有志。今天我们来一起实现《阿里技术专家详解DDD系列 第三讲 - Repository模式》中提到了一项技术--变更追踪。 ......