管理心得 集群elasticsearch大规模
k8s集群证书过期怎么办
记录一次集群更新证书过程，因为集群证书已经更新了，以下只记录操作过程了。 参考：https://blog.csdn.net/Harry_z666/article/details/128015175 1、集群情况 版本：v1.23.6 部署方式：kubeadm部署 由于使用kubeadm部署，证书有效 ......
怎么判断一个项目的规模大小
综合考虑以下几点: 1 功能需求： 大规模项目通常具有复杂的功能需求，涉及多个模块和子系统的开发和集成。中规模项目可能涉及一些核心功能和模块的开发，而小规模项目通常只涉及简单的功能需求。 2 数据量： 数据量是评估项目规模的重要指标之一。大规模项目通常涉及海量的数据处理和存储，可能需要设计复杂的数据 ......
Salesforce管理员必看！带你全方位了解 ⌈字段⌋
Salesforce字段虽然很简单，但对于Salesforce配置来说至关重要。每个字段都包含单独的数据片段，允许跟踪和报告与标准或自定义对象相关的信息。 标准字段 vs 自定义字段 标准字段是Salesforce开箱即用的字段。标准对象（如Account、Opportunity或Product）中 ......
k8s集群搭建1.22.x (centos)
版本 1.22.xx 版本兼容 集群搭建指导 https://www.cnblogs.com/Sunzz/p/15184167.html 【1.18】 https://blog.csdn.net/qq_34629877/article/details/120234616 【1.22】 升级cento ......
重新认识Elasticsearch-一体化矢量搜索引擎
前言 2023 哪个网络词最热？我投“生成式人工智能”一票。过去一年大家都在拥抱大模型，所有的行业都在做自己的大模型。就像冬日里不来件美拉德色系的服饰就会跟不上时代一样。这不前段时间接入JES，用上好久为碰的RestHighLevelClient包。心血来潮再次访问Elasticsearch官网，发 ......
创建单机 PolarDB-X 集群
https://doc.polardbx.com/quickstart/topics/quickstart-pxd-cluster.html #安装 docker curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh ......
04_进程管理
0. 写在前面 进程与线程的关系 Linux如何存放和表示进程（tast_struct、thread_info） 如何创建进程（fork()、最终调用clone()） 如何把新的执行映像装入到地址空间（exec()族） 如何表示进程的层次关系，父进程如何收集后代信息（wait()系统调用族） 进程是 ......
HarmonyOS (ArkTS)状态管理
一、状态管理分为： 页面级变量的状态管理 (主要用于单页面，同一个页面内不同组件之间的状态管理。) 应用级变量的状态管理 （主要用于多页面，同一个应用内，不同页面之间的状态管理。例如：A页面和B页面实现数据共享） 1、页面级变量的状态管理 @State、@Prop、@Link、@Provide、@C ......
Elasticsearch分片大小设定和集群容量规划
本文以 Elasticsearch 7.9.2 为准。 分片大小 日志类：单个分片不超过 50G 搜索类：单个分片不超过 20G 先估算总数据量，再根据分片大小，确定分片数。 容量规划 容量规划时要考虑的因素： 机器的软硬件配置 单个文档的尺寸，文档总数，索引大小，分片个数，副本个数 文档写入方式（ ......
Mac M2 Java 多版本管理
安装jenv brew install jenv // 也可以直接下载 效果一样的 git clone https://github.com/jenv/jenv.git ~/.jenv 设置环境变量 echo 'export PATH="$HOME/.jenv/bin:$PATH"' >> ~/.b ......
统一搜索管理系统的一些思考
产品背景 市场分析 目前搜索类产品多集中在阿里云、腾讯云等大型云厂商手中，主要提供公有云服务的能力，而提供私有化部署，产品功能齐全，支持跨系统查询的智能搜索服务产品市场上较少。嘉诚统一搜索管理系统支持多数据源接入，支持跨系统统一搜索，支持私有化部署，能很好解决以上问题。 用户痛点 在复杂系统中，存在 ......
Mysql数据同步至Elasticsearch
方案对比 鉴于Canal是一个基于MySQL二进制日志的高性能数据同步系统， go-mysql-elasticsearch 是一个第三方插件的，虽然都可以同步mysql数据到es，由于es官方文档推荐使用canal工具来同步数据，因此主要将Canal的使用方式提供给用户。 核心概念 名词 解释 my ......
Nacos配置管理（七）
1 统一配置管理 2 微服务配置拉取 获取配置的步骤如下： 将配置交给Nacos管理的步骤： 在Nacos中添加配置文件；（控制台添加按钮+实现可视化实现） 在微服务中引入Nacos的配置管理客户端（config）依赖； <dependency> <groupId>com.alibaba.cloud ......
redis 高可用 二 （主从复制、哨兵和集群Cluster）
高可用 分类 主从复制 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 哨兵 在主从复制的基础上，哨兵实现了自动化的故障恢 ......
【开源项目】轻量元数据管理解决方案——Marquez
大家好，我是独孤风。 又到了本周的开源项目推荐。最近推荐的元数据管理项目很多，但是很多元数据管理平台的功能复杂难用。 那么有没有轻量一点的元数据管理项目呢？ 今天为大家推荐的开源项目，就是一个轻量级的元数据管理工具。虽然轻量，但是元数据的收集、展示、数据血缘等功能都是支持的。 让我们一起来看看吧~ ......
Nginx日志管理大揭秘：logrotate工具与配置，日志按日期精准分割
要让Nginx日志文件以日期为单位每天生成一个，你可以使用logrotate工具结合Nginx的配置。首先，确保你的系统上已经安装了logrotate。然后，按照下面的步骤修改Nginx的配置文件。 以下是一个简单的Nginx配置文件示例，假设Nginx版本为1.13.6。请注意，这只是一个基本示例 ......
elasticSearch java API及基本的nested结构使用
1、创建索引：PUT fmmallproductsindex，所有单词要求小写 CreateIndexRequest fmmallProductsIndex = new CreateIndexRequest("fmmallproductsindex"); CreateIndexResponse cr ......
elasticSearch索引模板的基本使用
创建索引模板：所有以fmmall和bar开头的索引将使用如下的模板创建索引 PUT _template/template_1?order=0 { "index_patterns": [ "fmmall*", "bar*" ], "settings": { "number_of_shards": 1 ......
ElasticSearch
基础概念 elasticsearch是一个分布式搜索引擎，主要用于数据的存储、计算、分析； Windows环境下安装es 1、ElasticSearch启动(安装目录bin下) 2、kibana启动（安装目录bin下） 注：默认配置即可连接到本地的ES。 ......
7系统管理
系统管理 概念 进程 服务 守护进程 查看有哪些服务 命令 systemctl 用法：systemctl start|stop|restart|status 服务名 案例： systemctl stop NetworkManger # 关闭网络服务 运行级别 centos7的运行级别 查看当前的系统 ......
ubuntu frame 个人开发心得
引言 有一次我在树莓派上安装 Ubuntu Core 我给创新创业项目开发一个可视化 gui 看板，用于展示数据。 然后我就找到了我需要的工具 Ubuntu Frame 初次尝试使用 Ubuntu Frame 在 ubuntu22.04 系统上安装了 Ubuntu Frame 的测试环境 sudo ......
python项目依赖管理之poetry
poetry，是一个强大的Python项目依赖管理工具，旨在简化和优化项目的依赖管理过程。它提供了一种简单且一致的方式来定义、安装和管理项目所需的依赖项。本文将详细介绍poetry库的安装方法、使用方法、优缺点、应用场景和总结。 安装 在开始使用poetry库之前，您需要进行一些安装准备。以下是安装 ......
redis的主从复制、哨兵、集群
主从复制： 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 作用： 数据冗余：主从复制实现了数据的热备份，是持久化之外的一 ......
安防视频智能分析/云存储平台EasyCVR分组管理新增搜索功能
安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力，也具备接入AI... ......
PM-数据治理-数据资产管理
在组织中，并非所有的数据都构成数据资产，数据资产是能够为组织产生价值的数据，数据资产的形成需要对数据进行主动管理并形成有效控制。 数据资产管理是规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行、监控和共享数据资产（元数据、指标、维度、数据服务接口、标签、文件以及业务术语等）的方法和程序， ......
请注意，你的 Pulsar 集群可能有删除数据的风险
在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 ......
Node.js开发：如何实现用户权限管理功能
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
NVM管理多个Node版本
在项目中，我们常常会遇到node版本问题的一些报错，像是vue 3需要node10以上版本，不同的 node-sass 版本需要安装不同的 node.js 版本,为了统一管理node版本，我们需要用到nvm工具。 1.nvm简介 nvm是node版本管理工具，可以简单操作node版本安装、切换、浏 ......
es集群无缝迁移扩容
新节点加入老集群 cluster.name: soc-cluster node.name: node-2test path.data: /home/secure/elastic/data path.logs: /home/secure/elastic/logs network.host: 0.0.0 ......