hadoop集群
网易Airtest全新推出：小型便携式集群解决方案！
它来了~它来了~网易Airtest全新版本的小型便携式集群方案它来啦！我们这次改进之后，便携式机柜更便捷~功能性更强啦！ ......
K8s 多集群实践思考和探索
本文主要讲述了一些对于k8s多集群管理的思考，包括为什么需要多集群、多集群的优势以及现有的一些基于Kubernetes衍生出的多集群管理架构实践。 ......
ElasticSearch系列——查询、Python使用、Django/Flask集成、集群搭建，数据分片、位置坐标实现附近的人搜索
@[toc] # Elasticsearch之-查询 ``` 查询分类： 基本查询：使用es内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询的同时，通过filter条件在不影响打分的情况下筛选数据 ``` ## 一 基本查询 ```python #添加映射 PUT lag ......
Hadoop学习
# Hadoop ## java环境安装 ## hadoop上传、解压 环境变量配置 ~~~bash JAVA_HOME=/usr/local/java/jdk1.8.0_161 CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin export P ......
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!问题的解决
# 问题描述 hive进行初始化时，出现这样的问题； # 问题解决 只要进入到我们的虚拟机安装配置的mysql里面，将我们hive-site.xml里面提及到的数据库删除，然后再进行初始化即可； 这次出错是因为，我之前已经初始化过，才出现了这个问题； ......
Hadoop的写流程(微观层面)
解释： 步骤1：客户端进行发送存储消息，FileSystem通过rpc调用NameNode的put方法,NameNode对文件的路径，大小以及权限进行校验， 步骤2：校验成功后，返回FSDateOutputStream对象给客户端进行使用 步骤3：客户端对文件进行划分，将划分信息返回给NameNod ......
Elasticsearch7.8集群实践记录之下线节点
1.背景：由于机房迁移需要将elasticsearch集群进行跨机房搬迁，采取先扩容再收缩的方式进行，已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤： 1.检查集群配置，保证主节点的可用性； # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
54-Kubernetes集群资源监控-监控指标和方案
集群资源监控 1.监控指标 集群监控 节点资源利用率（node1/2节点，每个节点cpu用了多少还剩多少） 节点数（3个在忙碌1个在空闲状态要考虑节点数的监控） 运行pods（1个节点运行了多少pod） Pod监控 容器指标（pod中运行了多少容器） 应用程序（看到当前集群的完整情况） 2.监控平台 ......
Elasticsearch7.8集群实践记录
1.背景：当需要开发团队搭建自有elasticsearch集群时候，需要先明确具体的应用场景，进而对可用性，性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询，并选择elasticsearch版本7.8.0，可用性要求三个9，每日数据量月1.5T，数据保存大约 ......
kubeadm快速构建K8S1.28.1高可用集群
kubeadm快速构建K8S1.28.1高可用集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ......
集群版 FastDFS 的部署和使用
生产环境中一般不可能将用户上传的文件存放在单机，绝大多数情况下会搭建文件服务器集群，确保文件的互相备份和高可用。上一篇博客已经对 FastDFS 分布式文件系统进行了介绍，这里不再赘述。由于我个人笔记本电脑性能有限，因此本篇博客将使用 2 台虚拟机搭建 FastDFS 集群，实现 2 台机器之间文件 ......
Hadoop环境安装与配置
1.基础操作系统环境安装（略） 2.JDK的安装与配置 当前各大数据软件如Hadoop等，仍然停留在Java 8上，在本实验选用的是Java 8。在自己的Linux系统中，jdk可以使用如下命令进行一键安装(需具备sudo权限)。 sudo yum install java-1.8.0-openjd ......
redis cluster集群安装（CentOS7 + redis 5.0.14）
Linux系统-部署-运维系列导航 redis cluster介绍 redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也 ......
kafka集群安装（CentOS7 + kafka 2.7.1）
Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......
zookeeper集群安装（CentOS7 + zookeeper 3.7.0）
Linux系统-部署-运维系列导航 zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、 ......
Redis安装与使用、redis主从复制、redis集群
# Redis 文章内容主要参考b站 运维实战课程 的redis视频：[redis的课程介绍_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1cP4y1D7yh?p=1) ## 简介 1.Redis是一个缓存数据库，主要是做缓存。什么是缓存？也就是缓 ......
ES集群搜索稳定性保障
如果将 Elasticsearch（ES）作为线上C端服务的查询引擎，那么 search query 的响应时间则至关重要。因为毕竟面向C端用户，如果一个搜索请求 1 秒内还未返回，那么用户将不可接受。 因此，C端服务对ES的性能稳定性做了许多工程上的优化，比如： 1. 强制将索引的段文件设置为1， ......
关于XXLJOB集群模式下调度失败的问题
xxljob在集群模式下调度高频任务时，有时会出现调度失败的问题，具体报错如下： java.io.EOFException: HttpConnectionOverHTTP@6be8bf0c(l:/10.48.2.64:38538 <-> r:/10.48.1.125:18989,closed=fal ......
Hadoop大数据平台搭建
# Hadoop平台搭建 ## 一、基础环境准备 ### 1.master、slave1、slave2三台主机上配置以下信息 ``` [root@localhost ~]# cd /etc/sysconfig/network-scripts [root@localhost network-scrip ......
MySQL MGR集群部署运维常用脚本
Linux系统-部署-运维系列导航 安装、初始化操作汇总 #初始化、重置mysql rm -rf /data/mysql/ ; mkdir -p /data/mysql/data /data/mysql/log ; chown -R mysql:mysql /data/mysql/ ; chmod ......
随笔（三十二）『Linux - es集群』
### 1、使用VMware安装虚拟机 ``` 参考： http://e.betheme.net/article/show-298568.html?action=onClick ``` ### 2、准备3台虚拟机 ``` IP分别为： vm_es_1：192.168.195.102 vm_es_2： ......
MySQL MGR集群搭建（CentOS7 + MySQL 5.7.35）
Linux系统-部署-运维系列导航 一、MGR架构的介绍 1、简介 MGR（MySQL Group Replication）是MySQL5.7.17版本引进来的一个数据库高可用架构，解决了传统异步复制和半同步复制的缺陷（主从数据一致性的问题），MGR依靠分布式一致性协议PAXOS，实现了主从数据库的 ......
Ubuntu部署Hadoop集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | ### JDK 安装 集群中每台机器都需要安装 J ......
Ubuntu部署Spark集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | | Spark | 2.2.0 | ### JDK ......
使用 Sealos 在离线环境中光速安装 K8s 集群
> 作者：尹珉。Sealos 开源社区 Ambassador，云原生爱好者。 ## 当容器化交付遇上离线环境 在当今快节奏的软件交付环境中，容器化交付已经成为许多企业选择的首选技术手段。在可以访问公网的环境下，容器化交付不仅能够提高软件开发和交付的效率，还能够帮助企业实现快速迭代和持续交付。 然而， ......
rocket集群环境搭建-主从集群
1.准备环境 搭建2主2从的异步刷盘的集群，使用conf/2m-2s-async下的配置文件。 机器 nameserver部署 broker部署 192.168.19.132 部署 192.168.19.133 部署 broker-a,broker-b-s 192.168.19.134 部署 bro ......
SpringBoot集成redis集群
1、添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> <exclusions> <!-- 过滤lettuce，使用 ......
K8S集群搭建流程
#### 1. 环境准备 - 三台Centos7主机(3G及以上RAM,2核CPU,40G硬盘空间) - 网络环境:要求主机之间能够互相通信 ``` k8s-node1 10.15.0.21 k8s-node2 10.15.0.22 k8s-node3 10.15.0.23 ``` #### 2. ......
Keepalived高可用集群、Keepalive+LVS
# Keepalived高可用集群 ## 高可用集群简介 **什么是高可用集群？** 高可用集群 (High Availability;Cluster，简称HA Cluster) ，是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因软件、硬件、人为造成的 ......
龙芯平台Hadoop集群搭建问题解决
这几天一直在困扰我 pycurl 版本和本机的版本不符合 他连接又连接的自己自带的版本 与系统不相同 低级也会报错 https://blog.csdn.net/u010910682/article/details/89496550/?ops_request_misc=&request_id=&biz ......