集群elasticsearch策略
开源大数据集群部署（一）集群实施规划
作者：櫰木 本次集群规划信息 本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。 主机操作系统要求 软件信息 参数 配置 8C16G 操作系统版本 CentOS Linux release 7.8.2003 (Core) java版本 java ve ......
K8S集群搭建
K8S各节点环境准备 1 虚拟机操作系统环境准备 参考链接: https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ 2 关闭swap分区 2.1临时关闭 swapoff -a ......
k8s集群证书过期怎么办
记录一次集群更新证书过程，因为集群证书已经更新了，以下只记录操作过程了。 参考：https://blog.csdn.net/Harry_z666/article/details/128015175 1、集群情况 版本：v1.23.6 部署方式：kubeadm部署 由于使用kubeadm部署，证书有效 ......
k8s集群搭建1.22.x (centos)
版本 1.22.xx 版本兼容 集群搭建指导 https://www.cnblogs.com/Sunzz/p/15184167.html 【1.18】 https://blog.csdn.net/qq_34629877/article/details/120234616 【1.22】 升级cento ......
重新认识Elasticsearch-一体化矢量搜索引擎
前言 2023 哪个网络词最热？我投“生成式人工智能”一票。过去一年大家都在拥抱大模型，所有的行业都在做自己的大模型。就像冬日里不来件美拉德色系的服饰就会跟不上时代一样。这不前段时间接入JES，用上好久为碰的RestHighLevelClient包。心血来潮再次访问Elasticsearch官网，发 ......
创建单机 PolarDB-X 集群
https://doc.polardbx.com/quickstart/topics/quickstart-pxd-cluster.html #安装 docker curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh ......
Elasticsearch分片大小设定和集群容量规划
本文以 Elasticsearch 7.9.2 为准。 分片大小 日志类：单个分片不超过 50G 搜索类：单个分片不超过 20G 先估算总数据量，再根据分片大小，确定分片数。 容量规划 容量规划时要考虑的因素： 机器的软硬件配置 单个文档的尺寸，文档总数，索引大小，分片个数，副本个数 文档写入方式（ ......
关于AWS-跨账号进行-CMDB资源信息的收集-服务端与客户端-Role及策略的创建
对于-AWS-客户端账号而言： 1、创建一个Role ， 其权限要求，可以只要ReadOnlyAccess这一个即可，这是一个【亚马逊云科技 托管 - 工作职能】类型的策略 ReadOnlyAccess 2、其Role，需要建议信任关系，即要信任于AWS-服务端那边，这里笔者选择信任AWS-服务端那 ......
Mysql数据同步至Elasticsearch
方案对比 鉴于Canal是一个基于MySQL二进制日志的高性能数据同步系统， go-mysql-elasticsearch 是一个第三方插件的，虽然都可以同步mysql数据到es，由于es官方文档推荐使用canal工具来同步数据，因此主要将Canal的使用方式提供给用户。 核心概念 名词 解释 my ......
redis 高可用 二 （主从复制、哨兵和集群Cluster）
高可用 分类 主从复制 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 哨兵 在主从复制的基础上，哨兵实现了自动化的故障恢 ......
elasticSearch java API及基本的nested结构使用
1、创建索引：PUT fmmallproductsindex，所有单词要求小写 CreateIndexRequest fmmallProductsIndex = new CreateIndexRequest("fmmallproductsindex"); CreateIndexResponse cr ......
elasticSearch索引模板的基本使用
创建索引模板：所有以fmmall和bar开头的索引将使用如下的模板创建索引 PUT _template/template_1?order=0 { "index_patterns": [ "fmmall*", "bar*" ], "settings": { "number_of_shards": 1 ......
ElasticSearch
基础概念 elasticsearch是一个分布式搜索引擎，主要用于数据的存储、计算、分析； Windows环境下安装es 1、ElasticSearch启动(安装目录bin下) 2、kibana启动（安装目录bin下） 注：默认配置即可连接到本地的ES。 ......
内容分发策略与 SEO 优化指南
内容分发 内容分发是指通过各种媒介分享、发布或传播内容给受众的过程。这些媒介可以包括不同的渠道，例如社交媒体平台（Facebook、Twitter、LinkedIn、朋友圈、微博、小红书、B 站、抖音、公众号等）、电子邮件新闻稿、博客、播客、网站，甚至杂志和报纸等线下场所。内容分发的性质可以涵盖从博 ......
C++设计模式03 —— 策略模式
策略模式 当面对大量相似的具有不同实现逻辑的业务，为了使代码具有很好的复用性，我们使用策略模式。 我们以税法为例，多国的税法具有相似的功能，但是具体的计算方式差别很大。为了能快速地扩展其他国家的税法代码，满足设计模式要求，我们先创建一个纯虚的税法基类，里面包含了税法功能的纯虚函数。而后，不同国家的税 ......
redis的主从复制、哨兵、集群
主从复制： 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 作用： 数据冗余：主从复制实现了数据的热备份，是持久化之外的一 ......
最优cache策略
问题描述 假设我们有一个大小为m的缓存，能够容纳m个entry，初始为空。同时我们在内存中有一段包含n个entry的数据D，编号从0到n-1。现在给定一个对数据D的访问序列，每次访问一个entry。希望你能够得到一个最佳的缓存置换策略，使“缓存未命中”最少。 聪明的你不难发现，如果我们提前缓存未来将 ......
实验 23：策略模式
[实验任务一]：旅行方式的选择 旅游的出行方式有乘坐飞机旅行、乘火车旅行和自行车游，不同的旅游方式有不同的实现过程，客户可以根据自己的需要选择一种合适的旅行方式。 实验要求： 1. 提交源代码； package test23; public class AirplaneStrategy implem ......
请注意，你的 Pulsar 集群可能有删除数据的风险
在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 ......
es集群无缝迁移扩容
新节点加入老集群 cluster.name: soc-cluster node.name: node-2test path.data: /home/secure/elastic/data path.logs: /home/secure/elastic/logs network.host: 0.0.0 ......
ElasticSearch
狂神聊ElasticSearch 版本：ElasticSearch 7.6.1（全网最新了）！ 6.X 和7.X的区别十分大，6.X的API（原生API，RestFul高级！） 我们要讲解什么？ SQL：like%狂神说%，如果是大数据，就十分慢！索引！ ElasticSearch：搜索！（百度、g ......
docker安装elasticsearch
docker安装elasticsearch 启动前配置linux的jvm最大映射内存 sudo sysctl -w vm.max_map_count=262144 1. 创建名为elastic的网络环境 docker network create elastic 2. 获取elasticsearch ......
记录socket-io注册到nacos后，nacos默认轮询策略会导致服务请求失败
问题： socket-io服务注册到nacos, 出现多个socket-io实例。此时前端发送请求，nginx请求gateway地址，gateway根据url寻找注册到nacos上的服务名，服务名有多个实例，nacos默认的轮询策略会出现服务连接失败。因为有的socket-io服务里面没有需要的na ......
二进制包部署elasticsearch+kibana
二进制包部署elasticsearch+kibana 一、下载二进制包 1、根据需求下载，版本号最好是一样，这里使用8.0.0版本。 ES：https://elastic.co/downloads/elasticsearch kibana：https://elastic.co/downloads/k ......
Oracle11 集群（一）
集群安装准备2019年7月18日15:29https://www.cnblogs.com/xshrim/p/5952211.html #参考文章rac环境节点1节点2ip10.56.85.23510.56.85.236hostnamerac1rac2hosts10.56.85.235 rac110. ......
Oracle11 集群（二）
集群grid软件安装2019年7月19日10:30grid安装需要登录到grid用户下进行，绝大多数操作仅需在节点1上执行即可。解压安装介质：#仅节点1执行[grid@rac1 u01]$unzip p13390677_112040_Linux-x86-64_1of7.zip[grid@rac1 u ......
Oracle11 集群（三）
集群oracle软件安装2019年7月19日15:31ORACLE软件安装集群框架GRID安装完成并开启后，剩下的所有操作均只需在节点1执行即可，其余节点会自动完成配置同步。接下来登入节点1的oracle账户，开始oracle数据库软件的安装。如同验证grid先决条件一样，先运行runcluvfy. ......
Oracle11 集群（四）
集群建库2019年7月17日17:23开始实例和数据库的创建，以oracle用户登录节点1，开启数据库配置助手开始创建：#仅节点1执行[oracle@rac1 u01]$ export LANG=en_US[oracle@rac1 u01]$ dbca弹出配置界面：1, 创建集群数据库2, 创建单节 ......
Elasticsearch存储目录结构深入详解
在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path.home：运行Elast ......
Elasticsearch底层系列之Shard Allocation机制（转）
转自：https://cloud.tencent.com/developer/article/1361266 背景 Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多 ......