elasticsearch kubernetes kibana helm
02-高屋建瓴：Kubernete 的架构为什么是这样的？
通过上一课时的学习，我们已经对 Kubernetes 的前世今生有所了解。接下来，我们开始具体学习如何将 Kubernetes 应用到自己的项目中，首先就需要了解 Kubernetes 的架构。所以，在本节课程中，我们会一起学习 Kubernetes 的架构设计，以及背后的设计哲学。 Google ......
前世今生：Kubernete 是如何火起来的？
本课时，我们就开始正式进入 Kubernetes 的学习，或许你已经听过或简单了解过 Kubernetes，它是一款由 Google 开源的容器编排管理工具，而我们想要深入地掌握 Kubernetes 框架，就不得不先了解 Kubernetes 的前世今生，而这一切都要从“云计算”的兴起开始讲起。 ......
Kubernetes Multi-Master Node Cluster
https://medium.com/@lubomir-tobek/kubernetes-multi-master-node-cluster-f2081e504983 Lubomir Tobek · Follow 10 min read · Dec 14, 2023 2 Creating and o ......
elasticsearch linux 上安装
1、下载安装包，放到服务器指定目录下： 2、解压，到指定文件夹 命令 tar -xzf elasticsearch-8.11.3-linux-x86_64.tar.gz 3、创建用户并授权： sudo useradd es sudo passwd es 用户授权指定目录权限： chown -R es ......
kubernetes安装nfs动态存储类
之前用的https://github.com/kubernetes-retired/external-storage/tree/master/nfs-client已经不再更新，新集群使用时会出现创建了pvc 不能自动创建pv的情况。 现在使用的是nfs-subdir-external-provisi ......
重新认识Elasticsearch-一体化矢量搜索引擎
前言 2023 哪个网络词最热？我投“生成式人工智能”一票。过去一年大家都在拥抱大模型，所有的行业都在做自己的大模型。就像冬日里不来件美拉德色系的服饰就会跟不上时代一样。这不前段时间接入JES，用上好久为碰的RestHighLevelClient包。心血来潮再次访问Elasticsearch官网，发 ......
Elasticsearch分片大小设定和集群容量规划
本文以 Elasticsearch 7.9.2 为准。 分片大小 日志类：单个分片不超过 50G 搜索类：单个分片不超过 20G 先估算总数据量，再根据分片大小，确定分片数。 容量规划 容量规划时要考虑的因素： 机器的软硬件配置 单个文档的尺寸，文档总数，索引大小，分片个数，副本个数 文档写入方式（ ......
当创建pvc后，kubernetes组件如何协作
本文分享自华为云社区《当创建一个pvc后，kubernetes会发生什么？》，作者：可以交个朋友。 一、背景 外部存储接入 Kubernetes 的方式主要有两种：In-Tree 和 Out-of-Tree： In-Tree 是指存储驱动的源码都在 Kubernetes 代码库中，与 Kuberne ......
如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 2
在 Part 1 中，我们一起了解了什么是 Prometheus 和 Grafana，以及使用这些工具的前提条件和优势。在本部分，将继续带您学习如何安装 Helm 以及如何使用 Prometheus Helm Charts。 开始使用 Helm 和 Helm Chart ArtifactHub 为 ......
Mysql数据同步至Elasticsearch
方案对比 鉴于Canal是一个基于MySQL二进制日志的高性能数据同步系统， go-mysql-elasticsearch 是一个第三方插件的，虽然都可以同步mysql数据到es，由于es官方文档推荐使用canal工具来同步数据，因此主要将Canal的使用方式提供给用户。 核心概念 名词 解释 my ......
elasticSearch java API及基本的nested结构使用
1、创建索引：PUT fmmallproductsindex，所有单词要求小写 CreateIndexRequest fmmallProductsIndex = new CreateIndexRequest("fmmallproductsindex"); CreateIndexResponse cr ......
elasticSearch索引模板的基本使用
创建索引模板：所有以fmmall和bar开头的索引将使用如下的模板创建索引 PUT _template/template_1?order=0 { "index_patterns": [ "fmmall*", "bar*" ], "settings": { "number_of_shards": 1 ......
ElasticSearch
基础概念 elasticsearch是一个分布式搜索引擎，主要用于数据的存储、计算、分析； Windows环境下安装es 1、ElasticSearch启动(安装目录bin下) 2、kibana启动（安装目录bin下） 注：默认配置即可连接到本地的ES。 ......
Kubernetes 网站汇总
本文整理一些 Kubernetes（Google 开源） 的网址，以便查阅。 更新历史： 2024-1-9 新建 状态：更新中... 官网 https://kubernetes.io Kubernetes, also known as K8s, is an open-source system fo ......
图解Kubernetes的服务（Service）
pod 准备： 不要直接使用和管理Pods： 当使用ReplicaSet水平扩展scale时，Pods可能被terminated 当使用Deployment时，去更新Docker Image Version，旧Pods会被terminated，然后创建新Pods 0 啥是服务（Service） Ku ......
使用Terraform部署华为云和kubernetes资源
本文分享自华为云社区《使用Terraform部署华为云和kubernetes资源》，作者： 可以交个朋友。 Terraform概述 Terraform 是由 HashiCorp 创建的开源“基础架构即代码”工具。 作为一种声明式编码工具，Terraform 使开发人员能够使用一种称为 HCL（Has ......
ElasticSearch
狂神聊ElasticSearch 版本：ElasticSearch 7.6.1（全网最新了）！ 6.X 和7.X的区别十分大，6.X的API（原生API，RestFul高级！） 我们要讲解什么？ SQL：like%狂神说%，如果是大数据，就十分慢！索引！ ElasticSearch：搜索！（百度、g ......
docker安装elasticsearch
docker安装elasticsearch 启动前配置linux的jvm最大映射内存 sudo sysctl -w vm.max_map_count=262144 1. 创建名为elastic的网络环境 docker network create elastic 2. 获取elasticsearch ......
二进制包部署elasticsearch+kibana
二进制包部署elasticsearch+kibana 一、下载二进制包 1、根据需求下载，版本号最好是一样，这里使用8.0.0版本。 ES：https://elastic.co/downloads/elasticsearch kibana：https://elastic.co/downloads/k ......
Kubernetes核心组件之kube-proxy实现原理
kube-proxy，负责为Service提供集群内部的服务发现和负载均衡。 1 介绍 了解不同网络组件的工作原理有助于正确设计和配置它们，以满足你的应用程序需求。 在Kubernetes网络的背后，有一个在幕后工作的组件。它将你的服务（Services）转化为一些可用的网络规则。这个组件被称为 K ......
什么是Helm？它是如何提升云原生应用私有化部署效率的
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享 试想一下，如果有一个项目有50 个微服务，每个微服务都有service、deployment、ingress、pvc等 yaml 文件，算下来大概有 200 个文件，然后这个项目需要基于k8s进行私有化交付，如果是你会怎么快 ......
Elasticsearch存储目录结构深入详解
在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path.home：运行Elast ......
Elasticsearch底层系列之Shard Allocation机制（转）
转自：https://cloud.tencent.com/developer/article/1361266 背景 Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多 ......
聚合查询越来越慢？——详解Elasticsearch的Global Ordinals与High Cardinality
转自：https://blog.csdn.net/zwgdft/article/details/83215977 Elasticsearch中的概念很多，本文将从笔者在实践过程中遇到的问题出发，逐步详细介绍 Global Ordinals 和 High Cardinality ，这也是笔者的认知过程 ......
Elasticsearch7.X Scripting脚本使用详解（转）
转自：https://cloud.tencent.com/developer/article/1507715 0、题记 除了官方文档，其他能找到的介绍Elasticsearch脚本（Scripting）的资料少之又少。 一方面：性能问题。 官方文档性能优化中明确指出使用脚本会导致性能低； 另一方面： ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
在 kubernetes 中自定义名字解析，通过名称访问局域网主机上的服务
在很多情况下，我们希望 kubernetes 中的软件通过名称来访问已经安装在物理服务器上的传统服务，而不是 IP 地址。有几个方法： 修改 kubernetes 的 DNS 解析，使用局域网 DNS 服务器作为上游解析器 如果局域网没有 DNS 服务器，可以在 kubernetes 中注册物理服务 ......
Kubernetes架构及安装
K8s架构 k8s内部是有几个组件的，分别是controller manager，api-server，scheduler，kubelet以及etcd，kube-proxy还有k8s客户端kubectl controller manage 首先介绍的是controller manager，他是相当于 ......
elasticsearch oom问题分析
背景 线上发现elasticsearch集群状态red，并且有个es节点jvm内存使用不断升高，直到gc后依然内存不够使用，服务停止。查看日志，elasticsearch出现OOM报错。 [2023-12-06T08:21:26,706][ERROR][o.e.b.ElasticsearchUnca ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......