集群hadoop
解决集群下mp的雪花id重复问题
雪花算法的核心能影响到id生成的几个因素: 服务器时间 workId(机器 ID 部分) datacenterId(数据标识 ID 部分) 根据源码 public void init(GlobalConfig globalConfig) { // 初始化 Sequence //这里需要同时设置wor ......
Redis集群模式incr保证原子性的原理
1.主要是redis的key会解析到固定的主机上,比如集群上有host1,host2,host3;然后key1可能会解析后发现是要发到host2上,则在host2正常的情况下(有点像kafka rebalance;consumer处理哪些分区),key1会一直在host2上进行操作; 因此在redi ......
hadoop初体验1——官方案例pi值计算
1.执行命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar pi 2 2 hadoop jarHadoop jar命令 hadoop-mapreduce-examples-3.3.6.jar程序 ......
hadoop初体验2——官方案例wordcount
1.命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/input /wordcount/output 执行命令hadoop jar hadoop-ma ......
DHorse改用fabric8的SDK与k8s集群交互
现状 在dhorse 1.4.0版本之前,一直使用k8s官方提供的sdk与k8s集群交互,官方sdk的Maven坐标如下: <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <vers ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版,使用户能够像使用个人电脑一样简单地使用云。 与此同时,Sealos 还提供一套强大的工具,可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境,还 ......
Hadoop三大组件(HDFS,MapReduce,Yarn)
1、HDFS HDFS是Hadoop分布式文件系统。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。 2、MapReduce MapReduce是一个软件 ......
docker 部署redis哨兵模式的集群
创建网络 docker network create --subnet=172.10.0.0/16 redis 创建文件目录 [root@master app]# mkdir -p /app/redis/server/config [root@master app]# mkdir -p /app/r ......
window10安装单机hadoop
一、配置jdk 默认已配置 二、下载hadoop3.2.2 http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 三、下载hadoop-winutils https://github.com/cdarlint/winutils 下载后将 ......
Redis的四种模式:单机、主从、哨兵、集群简介
Redis的单机模式 单机模式就是安装一个redis,启动起来,业务调用即可。具体安装步骤和启动步骤就不赘述了,单机在很多场景也是有使用的,例如在一个并非必须保证高可用的情况下。 单机的优点: 部署简单,0成本。 成本低,没有备用节点,不需要其他的开支。 高性能,单机不需要同步数据,数据天然一致性。 ......
100 个常用 Kubernetes 诊断命令,助你轻松搞定各种 Kubernetes 集群故障
100 个常用 Kubernetes 诊断命令,助你轻松搞定各种 Kubernetes 集群故障 云原生百宝箱 奇妙的Linux世界 2023-10-30 08:13 发表于重庆 收录于合集 #Kubernetes285个 #云计算106个 #Docker208个 #开源474个 公众号关注 「奇妙 ......
Centos7系统二进制安装Kubernetes(v1.20)集群
一、环境准备 参考:https://www.cnblogs.com/Mr-Ding/p/17773745.html 二、部署ETCD集群 2.1、准备cfssl证书生成工具 cd k8s1.20二进制包/ chmod +x cfssl_linux-amd64 cfssljson_linux-amd6 ......
Ansible部署mariadb高可用集群
节点规划 主机名 IP地址 master 192.168.238.10 node1 192.168.238.11 node2 192.168.238.12 node3 192.168.238.13 准备四台虚拟机,使用CentOS-7-x86_64-DVD-2009.iso镜像 基础准备 1,安装a ......
shell 脚本一键部署 k8s 高可用集群
github地址: https://github.com/Johnny-Demo/deploy/tree/k8s-cluster 有不理解的地方可以私信我 ......
Nacos2.0.3集群搭建踩坑
Nacos2.0版本相比1.X新增了gRPC的通信方式,如果已经有Nacos集群,那么需要更改集群的配置方式,这里以Nginx为例,来介绍下如何搭建集群。 配置流程 新增端口是在配置的主端口(server.port)基础上,进行一定偏移量自动生成。 端口 与主端口的偏移量 描述 9848 1000 ......
Docker部署Redis集群----第三节(docker-redis集群主从复制【上】实现篇)
1、redis的集群方式有哪些? 主从复制 哨兵集群 redis-cluster集群 本节课我们主要讲解主从复制,现在大家手上是否有一台属于自己的云服务器了呢,今天我们要做的就是在云服务器上搭建我们的第一个集群主从复制。在讲之前,首先我们来了解下为什么要用集群模式以及集群模式的优点、给我们的项目带来 ......
Docker部署Redis集群----第二节(docker安装centos和指令讲解)
1、安装docker 在安装前:先讲下,因为我们是在云服务上部署的,有时候会出现短时间不操作就会断开ssh远端连接记得加个心跳: [root@instance-rttngj1u ~]# vim /etc/ssh/sshd_config 在末尾添加这两行代码 ClientAliveInterval 6 ......
Docker部署Redis集群----第一节(docker初认识)
作者:逻辑链接:https://zhuanlan.zhihu.com/p/59183420来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 1、Docker是什么? docker是开源的应用容器引擎,我们可以理解为一个轻量级的“虚拟机”,开发者可以打包自己开发的应用或程 ......
怎么用Python写一个浏览器集群框架
这是做什么用的 框架用途 在采集大量新闻网站时,不可避免的遇到动态加载的网站,这给配模版的人增加了很大难度。本来配静态网站只需要两个技能点:xpath和正则,如果是动态网站的还得抓包,遇到加密的还得js逆向。 所以就需要用浏览器渲染这些动态网站,来减少了配模板的工作难度和技能要求。动态加载的网站在新 ......
云计算-hadoop的安装
云计算的课程,主要还是要梳理逻辑(尽管我不是做这个方向的,但是课程还是要好好完成!) 前提: 安装好虚拟机VirtualBox,并且下载好Ubuntu的光盘映像文件。 文章思路: 1.配环境(SSH免密码登录,JAVA环境) 2.配Hadoop(下载包,配置相应的环境) 3.运行(感受一下实际例子) ......
K8s - 安装部署Kafka、Zookeeper集群教程(支持从K8s外部访问)
本文演示如何在K8s集群下部署Kafka集群,并且搭建后除了可以K8s内部访问Kafka服务,也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式:一种是 StatefulSet,另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 Zoo ......
Hadoop-大数据组件版本号查看
1.操作系统 cat /etc/redhat-release ; 2.JDK java -version 3.SCALA scala --version 4.MySQL mysql --version 5.Zookeeper ps -ef | grep -E “zookeeper-.*.jar” 6 ......
kube-prometheus监控k8s集群内服务
一. 测试环境 1.1 服务器IP分布 节点 IP master-vip 10.255.61.20 tmp-k8s-master1 10.255.61.21 tmp-k8s-master2 10.255.61.22 tmp-k8s-master3 10.255.61.23 tmp-k8s-node1 ......
【1】基于docker搭建hadoop+hive+spark+hbase+zookeeper+scale集群
1、设置主机上的虚拟缓存 当本地内存不足时,可以使用虚拟内存将一些内存数据转移到硬盘上,从而扩展计算机的内存容量。这样可以让计算机运行更复杂、更占用内存的程序,不会出现内存不足的情况。减轻物理存储器不足的压力,设置虚拟内存可以在内存不够的情况下将缓存一时放在硬盘上,解决内存不足问题。 通过虚拟内存, ......
oracle rac集群
操作系统:centos7.6 oracle: 19c 两台 RAC 服务器配置 hosts 文件 # cat /etc/hosts 192.168.3.37 rac1 192.168.3.105 rac2 192.168.2.2 racprv1 192.168.2.3 racprv2 192.168 ......
docker搭建minio集群
1、启动命令 分别在三台服务器上执行即可,需要修改下面http中的ip地址 docker run -id \ --name=minio \ --restart=always \ --network=host \ -p 9000:9000 \ -p 9090:9090 \ -e "MINIO_ROOT ......
ElasticSearch 无密码集群搭建、监控和使用
对于 ElasticSearch8 集群,比较容易的方式就是无密码集群搭建。对于 ElasticSearch 来说,一般都是运行在内网中,可以通过防火墙限制来源 ip 或者通过 ElasticSearch 自身的配置来限制来源 ip。这种保障安全的方式比较类似于 Redis 。 对于 Kibana ......
docker-搭建一主两备redis集群
一 目的 docker-搭建一主两备redis集群 概述:目前要搭建一个“一主两备”redis集群,这个三个容器中redis的端口号为默认的6379,对外暴露的端口为6701,6702,6703,其中6701为master。6702和6703为slave 二 实现 1. 准备三份配置文件 1.1 配 ......