集群elasticsearch专栏
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式）
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式） 1 Kubernetes简介（k8s） 传统部署：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配 ......
LVS负载均衡集群
一、集群概述 1. 什么是集群 Cluster:集群，同一个业务系统，部署在多台服务器上。集群中，每台服务器实现功能无差别，数据和代码都是一样的。 2. 为什么要使用集群 2.1 原因 互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及 ......
Kubernetes集群Kubernetes实战与源码剖析体系进阶
Kubernetes集群Kubernetes实战与源码剖析体系进阶 学习路线指南 欢迎大家来到jiangxl~的《Kubernetes集群方方面面进阶之路》专栏，本文给大家详细列出Kubernetes集群方方面面每一章节文章指南，大家可以根据自己的需求阅读想要学习的文章。 本专栏涵盖Kubernet ......
高效实现 MySQL 与 elasticsearch 的数据同步
注：本文转自：https://www.toutiao.com/article/7206119975793410615/?log_from=8164cd03bb377_1679446916178 MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 ......
HDP集群配置phoenix
1、说明 使用ambari+HDP集群安装的hbase，已经自带了phoenix，并已经做了集成； 这里需要修改/添加几个配置即可； 2、配置 #启用用户自定义函数(UDF) <property> <name>phoenix.functions.allowUserDefinedFunctions</ ......
elasticsearch7.x
相比6.x,去掉了type,默认都是_doc 参见https://www.bilibili.com/video/BV1pV4y1K7WL?p=8&vd_source=b879d4ff10c4ff63bbd44d7f0839ffa2 几个小知识: 1. filter会最先执行; 2.分配相当于分表,分 ......
大数据之—kafka集群环境
前言 参考：https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m ......
大数据之—HBase集群环境搭建
前言 参考：https://blog.csdn.net/huxili2020/article/details/120459471 前置条件：Hadoop、Zookeeper 均需要正常的集群环境 官网：https://hbase.apache.org/downloads.html 软件仓库：http ......
Predixy 代理 Redis Cluster 集群
1、环境 服务器名称 IP地址 备注 predixy-161-130 10.32.161.130 Predixy redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis-161-133 10.32.1 ......
Twemproxy（nutcracker）代理 Redis Cluster 集群
1、环境 服务名称 IP地址 备注 twemproxy-161-130 10.32.161.130 twemproxy (nutcracker) redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis ......
Zookeeper 3.8.0 集群安装及监控
Zookeeper 集群安装及监控 1. 前言 业务需要对Zookeeper集群进行监控，发现的方案有三种： JMX zookeeper exporter ZK Monitor(Since 3.6.0) 采用JMX 进行监控，可获取到的指标项不够丰富。Zookeeper Exporter监控可获得的 ......
使用kubeadm快速部署一个K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
使用kubeadm搭建高可用的K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
citus 11.2 更好的支持patroni 集群部署
citus 11.2 可以更好的支持基于patroni 的集群环境部署了，同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署，目前官方提供了类似的能力，可以省去我们不少时间 部署一些简单说明 参考 ......
KubeSphere Cloud 月刊｜灾备支持 K8s 1.22+，轻量集群支持安装灾备和巡检组件
功能升级 备份容灾服务支持 K8s v1.22+ 版本集群 随着 Kubernetes 近一年频繁的发版、升级，越来越多的用户开始部署并使用高版本的 Kubernetes 集群。备份容灾服务支持 Kubernetes v1.22+ 版本的集群后，能够尽可能地覆盖用户新版本集群上的容器化应用，为核心的 ......
mysql集群搭建docker-compose方案
MySQL集群搭建大致有两种方式，一种是单主/多从的主从复制方式，另一种是使用Galera Cluster高可用解决方案。 1、步骤 以下我们详细介绍一下单主/多从的主从复制方式： 确认服务器环境，采用官方支持的操作系统版本和MySQL版本，并保证主从服务器之间的网络连接能够正常通信。 安装MySQ ......
ElasticSearch 实现分词全文检索 - 经纬度定位商家距离查询
目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringBoot E ......
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringBoot E ......
【MySQL】通过xenon实现数据库高可用集群
[root@node01 ~]# yum install -y golang screen git[root@node01 ~]# which ip /usr/sbin/ip [root@node01 ~]# visudo mysql ALL=(ALL) NOPASSWD:/usr/sbin/ip ......
Kubernetes 学习总结（19）—— Kubernetes 集群管理平台如何选择？Rancher vs KubeSphere
Kubernetes 学习总结（19）—— Kubernetes 集群管理平台如何选择？Rancher vs KubeSphere 前言 Kubernetes（K8s）集群管理平台都是基于 Kubernetes 提供功能，可以说他们是在 K8s 的基础上封装了一层更为友好的操作方式。他们都是为了降低 ......
kubernetesk8s各个版本高可用集群灵活安装 掌握k8s日常运维
一、环境介绍 主机名称IP地址部署软件备注 k8s-master1 192.168.66.30 etcd+kube-apiserver+kube-controller-manager+kube-scheduler+Kubelet+docker+kube-proxy master k8s-master ......
2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建
去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。
这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。 ......
使用Docker部署Consul集群并由Ocelot调用
关于consul的介绍就不写了百度就行，我们直接开干。 一、部署consul集群 拉取consul的镜像 docker pull consul 然后部署consul容器 docker run --name consul1 -d -p 8500:8500 -p 8300:8300 -p 8301:83 ......
ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(Completion Suggest)
ES使用Completion Suggest 做关键字自动补全时，实际应用中搜索性能更加高效，建议多开一个子字段，如下示例，假设要根据title字段做关键字自动补全，不要改原字段的类型，多开一个子字段title.suggest，类型设置为completion，然后之后的suggest针对title.... ......
kafka的原理及集群部署详解
kafka原理详解 消息队列概述 消息队列分类 点对点 组成：消息队列（Queue）、发送者（Sender）、接收者（Receiver） 特点：一个生产者生产的消息只能被一个接受者接收，消息一旦被消费，消息就不在消息队列中了 发布/订阅 组成：消息队列（Queue）、发布者（Publisher）、订 ......
基于Kafka和Elasticsearch构建实时站内搜索功能的实践
目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。 ......
Nginx + Keepalived 高可用集群部署
负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。在使用 Nginx 做反向代理或者负载均衡的时候，都是以 Nginx 为入口，如果 Nginx 宕机了，那么所有的服务都无法正常提供，影响非常 ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
ElasticSearch 实现分词全文检索 - 概述
ES 是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于Restful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......