节点 集群elasticsearch7 elasticsearch
apisix etcd集群数据备份恢复
#etcd数据备份 /home/apisix-etcd-backup.sh #!/bin/bash #创建备份目录 mkdir -p /data/{apisix-etcd-0,apisix-etcd-1,apisix-etcd-2} #apisix etcd数据备份 ETCDCTL_API=3 /o ......
Elasticsearch数据类型
Elasticserach数据类型 基本数据类型 keyword keyword类型是不进行切分的字符串类型。这里的“不进行切分”指的是：在索引时对keyword类型的数据不进行切分，直接构建倒排索引；在搜索时，对该类型的查询字符串不进行切分后的模糊匹配。keyword类型数据一般用于对文档的过滤、 ......
Zookeeper 创建6种的节点实例（转）
原文：https://blog.csdn.net/pengweismile/article/details/115444734 作者：伟娃娃 Zookeeper是Apache Hadoop的一个子项目，它主要用来解决分布式系统中经常遇到的一些数据管理问题，例如，统一命名，状态同步，集群管理，分布式应 ......
大数据HDFS集群相关概念
一、Zookeeper服务 端口 描述 配置路径 2181 主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 ......
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
ElasticSearch安装、插件介绍及Kibana的安装与使用详解 1.安装 ElasticSearch 1.1 安装 JDK 环境 因为 ElasticSearch 是用 Java 语言编写的，所以必须安装 JDK 的环境，并且是 JDK 1.8 以上，具体操作步骤自行百度 安装完成查看 ja ......
logstash 与ElasticSearch：从CSV文件到搜索宝库的导入指南
logstash 与ElasticSearch：从CSV文件到搜索宝库的导入指南 使用 logstash 导入数据到 ES 时，由三个步骤组成：input、filter、output。整个导入过程可视为：unix 管道操作，而管道中的每一步操作都是由 "插件" 实现的。使用 ./bin/logsta ......
删除 Elasticsearch 中指定日期前的数据
之前已搭建一个ELK+Filebeat 的集群，并收集了 Nginx 的日志信息。在 Elasticsearch 中索引的名字是：nginx-access-log-*，后面的*代表的是日期。 假如，需要删除7天前的数据，可以执行通过以下方法： curl -u elastic:****** -H'Co ......
k3d创建k3s集群
安装go wget https://golang.google.cn/dl/go1.21.3.linux-amd64.tar.gz tar zxvf go1.15.3.linux-amd64.tar.gz mv go /usr/local/ vim /etc/profile在最结尾添加 export ......
聊聊多个节点实例数据同步如何触发
前言 之前写过一篇文章聊聊在集群环境中本地缓存如何进行同步，今天聊的话题看着和那篇文章有点雷同，不过我们今天重点会放在方法论上，也不会拘泥于具体实现。在聊这个话题之前，大家可以思考一下，如果要实现多个实例数据同步触发，大家会怎么做？脑海里，是会浮现，我可以用消息队列或者定时器来实现？这种已经具象化的 ......
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
ETCD集群key超出200w给etcd压力太大，导致集群调度器延迟
背景： 业务在做测试的时候，突然集群不可用了，无法做出变更了，找到我们平台侧，经过排查，发现controller-manager调度器出现问题，经过查看，调度器不可使用， 处理 方案： 删除etcd集群的key 查询etcd集群中的key的数量： #etcd的命令行 etcdctl="/opt/et ......
利用kubeadm创建高可用集群
前言 本页的高可用是控制平面组件的高可用部署，同时还分为2种情况：堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便，大体是3个步骤：使用init参数初始化好第一个master节点，然后其余的master节点使用join命令加入到master集群中，形成一个高可用的maste ......
使用kubeadm创建集群
前言 k8s集群在Node节点数量少的情况下，逐台去维护是可行的，但是如果Node节点数量多的情况下，再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来，一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
大规模集群的注意事项
简介 一提到大规模这三个字，就联想到数据中心机房中一排排的物理服务器，在早期还是购买物理机找托管机房的年代，很多时间都在机房中维护服务器，那声音吵得耳朵疼，现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点，每个节点Pod数量不超过110，pod总数不超 ......
R : 网络图统计每个节点在V1和V2中出现的次数
# 读取txt文件 data <- read.table("your_input_file.txt", header = TRUE, stringsAsFactors = FALSE) # 统计每个节点在V1和V2中的出现次数 V1_counts <- table(data$V1) V2_count ......
【解决】elasticsearch：Could not parse aggregation keyed as [%s]问题
背景 在做elasticsearch集群从原来的2.x版本升级到更新版本如6.x过程中，由于需要在原来的应用中，同时连接2.x的集群以及6.x的集群来做在线动态灰度切流量，保证流量平滑切换，有问题可随时回切；一般在应用侧比较常规的做法是使用elasticsearch提供rest的sdk:Java H ......
Elasticsearch_exporter + Prometheus + Grafana监控之搭建梳理
一、安装elasticsearch_exporter并启动 1.1 官网下载elasticsearch_exporter的安装包，地址如下： 如果是Linux系统，建议安装此版本：elasticsearch_exporter-1.3.0.linux-amd64.tar.gz https://gith ......
K8S集群搭建
集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件，手动部署，比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点： IP：10. ......
MongoDB分片+副本集高可用集群的启停步骤
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
倾斜摄影三维模型根节点合并技术方法探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
掌握 Kubernetes 故障排除：有效维护集群的最佳实践和工具
Kubernetes 是一款管理容器化应用程序的强大工具。然而，与任何复杂的系统一样，使用它时也可能出错。当问题出现时， 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤，助您了解事件收集的入门知识： 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
从基础到实践，回顾Elasticsearch 向量检索发展史
本文将回顾 Elasticsearch 向量检索的发展历史，重点介绍各个阶段的特点和进展。以史为鉴，方便大家建立起 Elasticsearch 向量检索的全量认知。 ......
处理高版本的ssh无法登陆低版本的节点
现象：高版本的ssh登陆低版本操作系统时，会提示：Unable to negotiate with x.x.x.x port xxx: no matching host key type found. Their offer: ssh-rsa,ssh-dss ssh-keygen vim .ssh/ ......
通过 docker-compose 快速部署 Elasticsearch-Cerebro 保姆级教程
目录一、概述二、开始编排部署 Elasticsearch-Cerebro1）部署 docker2）部署 docker-compose3）创建网络4）构建镜像5）编排 docker-compose.yaml 部署6）测试验证 一、概述 Elasticsearch-Cerebro（也称为 Cerebro ......
两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
安装Ubuntu Linux元信息 两台机器，每台机器两台Ubuntu Ubuntu版本：ubuntu-22.04.3-desktop-amd64.iso 处理器数量2，每个处理器的核心数量2，总处理器核心数量4 单个虚拟机内存8192MB（8G），最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
k8s-节点标签label
查看节点标签信息： kubectl get node --show-labels 设置节点标签信息： kubectl label node 节点名 标签值 kubectl label node node2 region=huanai zone=A env=test bussiness=game 显示 ......
02、NATS单节点部署
接下来，我们一起看看如何部署一个单节点的 nats 服务器，这样后续学习 nats 的功能和特性的时候，会更加的清晰，那我们一起看看如何部署单节点的nats服务，后面在学习如何部署集群版的 nats。 1、二进制方式部署 先说下这里使用的环境是： cat /etc/centos-release Ce ......
商超外卖搜索基于Elasticsearch的优化实践
业务背景 我们是外卖搜索系统，在传统的外卖的基础上，推出了便利超市的功能。但是与外卖商家不同的是，我们有很多大型的商超，每个商超的商品数量会非常多，导致线上调用ES大量超时且ES负载较重。 由于我们是多国家业务当前是根据国家拆分所以，以情况最为严重的泰国为例，有数万家商家，和几千万商品，尤其是一些超 ......
ElasticSearch 拼音分词和自动补全
在搜索过程中，大部分情况下会有智能提示功能，也就是开头匹配的自动补全功能，这就需要用到 ElasticSearch 的 Suggest 查询功能。用户也可能输入拼音或者查询关键字的首字母简写，比如我想查询华为手机，我可以输入 hwsj 进行查询，这就需要用到拼音分词器。本篇博客将介绍如何安装拼音分词 ......