集群elasticsearch
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
mariadb集群切换成mysql5.7集群
mariadb集群安装 yum list | grep galera yum install galera mariadb-server-galera rsync systemctl start mariadb 仓库源查看可以安装的包 添加yum源 [galera] name = Galera ba ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
Kubernetes高可用集群二进制部署v1.28.0版本
一、集群环境准备 1.1 主机规划 主机IP地址 主机名 主机配置 主机角色 软件列表 192.168.198.144 k8s-master1 2C4G master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubectl ......
修改Zabbix源码实现监控数据同时写入数据库和ES集群
写在开篇 玩过 Zabbix 的朋友都了解，Zabbix 提供了与 Elasticsearch（ES）的集成，允许用户将历史数据存储在 Elasticsearch 中，而无需使用传统数据库。在高监控负载的生产环境中，这种架构带来了多重好处。首先，它有效减轻了数据库的负担，从而提高了整体性能。其次，通 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......
rabbitmq 集群docker玩法
属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
2.elasticsearch中的mapping
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系 为什么要了解mapping 虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格 ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题，因此出现了分片集群。 分片集群 （1）集群中有多个master，每个master保存不同的数据。【可以解决数据海亮的问题】 （2）每个master也可以有多个slave节点。 （3）master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
集群渲染是？渲染农场是？两者与云渲染关联是什么
在数字化浪潮不断推进的当下，渲染技术在多个行业中发挥着至关重要的作用，尤其体现在电影制作、建筑可视化以及电子游戏开发等领域。在众多渲染技术中，集群渲染、渲染农场以及云渲染特别受到业界的重视。本文旨在阐述这些概念的含义以及它们之间的相互联系。 一、集群渲染的概念与应用 集群渲染是借助计算机网络的力量， ......
Elasticsearch对接MinIO存储Snapshot快照
服务器配置 MinIO集群节点(4节点) IP 节点1 miniotest1.ip.tp-link.com 172.29.145.80 生产环境需要增加一个Nginx负载均衡前端用于ELK对接，此处直接对接节点1 ELK集群（3节点） Elasticsearch版本为7.17.12 iamdemo1 ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
Elasticsearch监控
Kibana集群监控 https://www.cnblogs.com/h--d/p/13192992.html 监控elasticsearch集群方案 https://www.cnblogs.com/1zhangwenjing/p/12312142.html#_label4 MetricBeat + ......
数据高速公路：详解数仓集群通信技术
本文分享自华为云社区《直播回顾 | 数据高速公路—数仓集群通信技术详解》，作者： 胡辣汤。 大数据时代，集群规模越来越大，业务并发越来越高，数据库集群各节点间的通信压力也越来越大。在本期《数据高速公路—数仓集群通信技术详解》的主题直播中，我们邀请到华为云GaussDB(DWS)技术布道师魏登老师，深 ......
Elasticsearch使用系列-ES简介和环境搭建
Elasticsearch使用系列-ES简介和环境搭建 目录 一、简介 二、Windows搭建ES 三、Linux搭建ES 四、Docker搭建ES Elasticsearch使用系列-ES简介和环境搭建 Elasticsearch使用系列-ES增删查改基本操作+ik分词 Elasticsearch ......
elasticsearch activemq 进程
[root@mvp1 ~]# ps -ef | grep elaes 23985 1 0 2023 ? 01:02:42 /opt/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networ ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版，使用户能够像使用个人电脑一样简单地使用云。 与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还 ......
【ElasticSearch】Scroll滚动查询
REST API Java Client BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); boolQueryBuilder.must(QueryBuilders.termQuery("enable", 1)); final ......
开启安全功能 ES 集群就安全了吗？
背景 经常跟 ES 打交道的朋友都知道，现在主流的 ES 集群安全方案是：RBAC + TLS for Internal + HTTPS 。 作为终端用户一般只需要关心用户名和密码就行了。作为管理和运维 ES 的人员来说，可能希望 ES 能提供密码策略来强制密码强度和密码使用周期。遗憾的是 ES 对 ......
建设本地私有集群kubesphere+kubernetes高可用集群服务器
一、资源需求主机名 cpu(vCPUs) 内存(GB) 磁盘 ipk8s-master01 8 32 40G+500G 192.168.1.180k8s-master02 8 32 40G+500G 192.168.1.53k8s-master03 8 32 40G+500G 192.168.1.1 ......
云原生周刊：2024 扩展 K8s 集群指南 | 2024.1.2
开源项目推荐 Jib Jib 无需 Docker 守护进程，也无需深入掌握 Docker 最佳实践，即可为您的 Java 应用程序构建优化的 Docker 和 OCI 映像。它可作为 Maven 和 Gradle 的插件以及 Java 库使用。 Docketeer Docketeer 提供了一个简单 ......
尚硅谷-xsync集群分发脚本
1.安装 rsync远程同步工具 apt install -y rsync 2.配置host映射【略】 vi /etc/hosts 3.配置SSH免密登录 使用SSH远程登陆Linux 4.编写xsync集群分发脚本 vi /usr/bin/xsync #! /bin/bash #1 获取输入参数个 ......
Zookeeper集群一键启停脚本
1.创建脚本 vi /bin/zk.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ......