hadoop集群
使用mysql-proxy代理mysql集群
本文系统环境为：CentOS Linux release 7.9.2009 (Core) 安装 mysql-proxy下载地址：dev.mysql.com/downloads/m… 服务信息 markdown 复制代码 mysql-proxy： 192.168.1.113:4040 //目标配置信息 ......
IDEA连接Hadoop
因为一些学习的需要，用到了idea连接hadoop，并对它进行一些相关的读写操作，总结一下大概的流程。 一、使hadoop集群可以被远程访问，配置一些文件，可以参考一些其它博主的教程，记住配置的URL或者IP地址以及远程访问用到的端口号。 二、在idea中建一个连接，测试一下是否可以连接hadoop ......
Kubernetes集群调度（七）
Scheduler 是 kubernetes 的调度器，主要任务是把定义的 pod 分配到集群的节点上。有四点需要考虑： 公平：如何保证每个节点都能被分配资源 资源高效利用：集群所有资源最大化被使用 灵活：允许用户根据自己的需求控制调度的逻辑 效率：调度的性能要好，能够尽快地对大批量的 pod 完成 ......
Hadoop3.3.6 Shell命令操作
一、mkdir 创建文件夹通过命令hadoop fs -mkdir /cyw在hdfs中创建名为cyw的文件夹 二、moveFromLocal从本地剪切到hdfs中 这里将本地/home/input/movefromlocal文件剪切到hdfs的cyw文件夹下hadoop fs -moveFromL ......
redis集群
Redis集群 本章是基于CentOS7下的Redis集群教程，包括： 单机安装Redis Redis主从 Redis分片集群 1.单机安装Redis 首先需要安装Redis所需要的依赖： yum install -y gcc tcl 然后将课前资料提供的Redis安装包上传到虚拟机的任意目录： 例 ......
kubesphere 集群管理平台，prometheus数据修改问题
背景:kubesphere 修改完所有控制器资源会恢复回原来的配置，没法通过控制器去修改资源 1、登录ks-console 容器 kubectl exec -it ks-installer-7bb9b86d69-qlfvg -n kubesphere-system bash #prometheus ......
k8s集群在扩容的是某个节点出现 Error querying BIRD: unable to connect to BIRDv4 socket
k8s集群在扩容的是某个节点出现 Error querying BIRD: unable to connect to BIRDv4 socket 1、问题背景： 原因是因为新扩容的机器在扩容之前安装过docker切和当前的版本相差较大： 在k8s扩容的时候扩容完发现calico异常，describe ......
Elasticsearch 可视化集群工具 Cerebro
目录一、概述二、开始安装 Cerebro1）下载 Cerebro2）安装JDK113）部署 ElasticSearch4）启动服务5）Cerebro 功能讲解1、总览信息2、节点信息3、rest接口请求4、更多功能（创建索引、集群设置、snapshot信息等）5、如果索引的分片分布不均匀，可以选中某 ......
14、liunx环境下部署分布式压测集群
一、java环境安装与配置 官网下载jdk-15.0.1_linux-x64_bin.tar.gz，上传到liunx服务器（官网跳转） 解压文件：tar -xzf jdk-15.0.1_linux-x64_bin.tar.gz，生成文件夹jdk-15.0.1 在/usr/目录下创建java文件夹，将 ......
NAT模式LVS负载均衡集群
NAT模式LVS负载均衡集群 负载调度器：内网 网关 ens33：192.168.1.200，外网 网关 ens36：12.0.0.10 Web节点服务器1：192.168.1.100 Web节点服务器2：192.168.1.101 NFS服务器：192.168.1.102 客户端：12.0.0.1 ......
【k8s】k8s构建mysql双主集群
背景 当前很多开源系统都是基于k8s，而部署时会遇到组件包含mysql的情况。理想的情况下，是将mysql迁移到云上托管。但实际情况可能比较复杂，比如这个开源框架需要mysql的DML权限，但是公司DBA不提供； 而基于k8s部署mysql的问题是，这个mysql集群往往是单点的。一般mysql会依 ......
Hadoop3.3.6配置历史服务器和日志
一、配置历史服务器 1.增加配置属性 Hadoop部署模式主要有3种：本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name> ......
【8.0】Redis主从复制和哨兵集群
【一】主从复制 【1】引入 原因 ： redis 单实例 机器故障；容量瓶颈；QPS瓶颈 主从复制：一主一从，一主多从 做读写分离 做数据副本 扩展数据性能 一个master可以有多个slave 一个slave只能有一个master 数据流向是单向的，从master到slave 【2】主从原理 主从 ......
大数据hadoop学习总结
一、环境配置: 1、hadoop 2、zookeeper 3、hbase 4、phoenix 二、连接准备 hbase-site.xml 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xs ......
Hadoop基础学习1(SSHfinalshell、vim、别名、hadoop集群)
1.SSH协议 SSH协议为Secure Shell的缩写，是一种网络安全协议，转为远程的登录会话和其他网络服务提供安全性的协议。 在Linux中，SSH的主要用途有：用户加密实现远程登录，服务器之间的免密登录。 SSH协议默认采用RSA算法实现非对称加密，需要两个密钥：公开密钥和私有密钥。 公钥和 ......
1-centOS7搭建伪分布式Hadoop
前言：虚拟机快照的使用 VMware Workstation 软件可以用快照进行迅速的虚拟机状态的切换 ※. 类似于虚拟机备份， 可以使用备份进行快速恢复。 比如没安装jdk之前拍摄快照来备份 ※. 若jdk没安装好或者jdk环境变量配置的有问题， 可以用安装之前的快照快速恢复虚拟机 1.拍摄快照： ......
Ubuntu22系统部署Hadoop3.3.6环境
看boss有招大数据的讲师，好奇看了下，现在大学都讲大数据了，现在是越来越普及。昨天弄了一个云服务器部署了下Hadoop，虽然也是参考网上教程部署，但过程中还是出了不少问题。想着把部署过程完整记录下，所以我就把部署好的实例释放了又实例化了一台新的云服务器重新部署了下，如果是在我本地安装报错了还得重新 ......
初探redis集群
集群搭建（windows） 准备多个redis环境，修改各自的redis.windows.conf, 关注如下配置 a. port b. 打开注释cluster-config-file yes c. cluster-config-file 设置为不同的名字 d. cluster-node-timeo ......
部署K8S 1.28版本集群部署（基于Containerd容器运行）
1、主机配置 hostnamectl set-hostname k8s-masterecho "172.21.131.89 k8s-master" >> /etc/hostssystemctl stop firewalld && systemctl disable firewalldsetenfor ......
卸载Ceph集群中的OSD
# 卸载Ceph集群中的OSD ```sh 要卸载Ceph集群中的OSD（对象存储守护程序），您可以按照以下步骤执行。 请注意，在卸载OSD之前，请确保您已经安全备份了Ceph集群中的数据，因为卸载OSD将导致数据重新平衡和迁移。 ``` ## 1.**停用OSD** 在卸载OSD之前，您需要将它们 ......
habase2.5.5解决ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runnin
hbase的master和regionserver启动都正常但是出现错误 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runnin之后我翻阅logs里面的启动日志 解决方案 在hbase-site.x ......
静态搭建etcd集群(二进制安装)
| 软件 | 版本 | | | | | etcd | v3.5.9 | | cfssl | v1.6.4 | ### 一、下载文件 ![image](https://img2023.cnblogs.com/blog/2833167/202309/2833167-20230904174006126-3 ......