集群centos7 hadoop centos
redis 高可用 二 （主从复制、哨兵和集群Cluster）
高可用 分类 主从复制 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 哨兵 在主从复制的基础上，哨兵实现了自动化的故障恢 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
Hadoop之mapreduce参数大全-4
76.指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留 mapreduce.task.files.preserve.filepattern 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留。 在 ......
Hadoop之mapreduce参数大全-3
51.指定Shuffle传输过程中可以同时连接的节点数 mapreduce.shuffle.max.connections是Hadoop MapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数。该参数用于控制Shuffle传输的并发度，以保障任务的稳定性和性能。 可 ......
redis的主从复制、哨兵、集群
主从复制： 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 作用： 数据冗余：主从复制实现了数据的热备份，是持久化之外的一 ......
【Docker】- CentOS8安装docker
1、安装yum-utils sudo yum install -y yum-utils device-mapper-persistent-data lvm2 如果安装出错了，报错： Error: Failed to download metadata for repo 'appstream': Ca ......
Centos安装docker
一句一句的执行： yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install -y yum-utils device-mapper-persiste ......
centos7设置core文件
#查看本机core文件大小 ulimit -c 设置core文件大小为无限制 echo "ulimit -c unlimited" >> ~/.bashrc source ~/.bashrc ......
PM-CentOS7也即将停止维护，将来何去何从？
停掉的CentOS包含三个版本，即：CentOS 6(2020年11月30日停止更新)、CentOS7(2024年6月30日停止更新)、CentOS 8(2021年底停止更新)。 在当前处于生命周期中的CentOS版本和后续的影响如下： 1、CentOS Linux 7作为RHEL 7的复刻版本， ......
请注意，你的 Pulsar 集群可能有删除数据的风险
在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 ......
【Linux】VMware 安装 Centos7
软硬件准备 软件：推荐使用 VMware，这里使用的是VMware 12 镜像：CentOS7,如果没有镜像可以在阿里云下载 https://mirrors.aliyun.com/centos/ 硬件：因为是在宿主机上运行虚拟化软件安装centos，所以对宿主机的配置有一定的要求。最起码I5CPU双 ......
es集群无缝迁移扩容
新节点加入老集群 cluster.name: soc-cluster node.name: node-2test path.data: /home/secure/elastic/data path.logs: /home/secure/elastic/logs network.host: 0.0.0 ......
Apache一键源码编译安装脚本(CentOS7、8）
测试环境 CentOS7.9.2009、 CentOS8.5.2111 #!/bin/bash # install httpd scripts # 将apache版本号定义为变量 VER=2.4.58 # 先安装必要的工具, 其中bzip2和gzip用于解压源码包, 如果源码包下载的是bz2,只安装 ......
Centos中keytool不起作用的解决方法
keytool是Java开发中用于管理密钥和证书的工具，可以用于生成密钥、创建证书请求、导入和导出证书等操作。你可以在Oracle官网上下载和安装JDK，然后在JDK的 bin目录下找到 keytool 工具。 因此，我们首先要给centos装jdk yum -y install java-1.8 ......
VM VirtualBox下centos7后无法安装增强功能
步骤： 1.更新kernel yum update kernel -y 2.安装kernel-herders并编译 yum install kernel-headers kernel-devel gcc make -y 3.重启并选择进入新安装的kernel reboot 4.打开菜单：设备-》分配 ......
Linux Centos7.5错误：ping外网报错Name or service not known
https://www.cnblogs.com/Zeros/p/16745414.html 问题描述：1 CentOS7.5，当执行ping www.baidu.com命令时，提示Name or service not known出现问题可能情况：1、电脑上禁用VMware相关网络服务。 2、Lin ......
CentOS7 Suricata生产环境部署
一、部署PF_RING step1:安装依赖 [root@localhost ~]# yum install -y flex bison kernel-devel kernel-headers gcc gcc-c++ make wget [root@localhost ~]# git clone h ......
Linux_Centos
Linux_Centos2023年5月29日11:541, 安装SNMP服务[root@zlm log]# yum -y install net-snmp net-snmp-utils注意：特殊情况需要添加iptable策略iptables -I INPUT -s 192.168.201.29 -p ......
Oracle11 集群（一）
集群安装准备2019年7月18日15:29https://www.cnblogs.com/xshrim/p/5952211.html #参考文章rac环境节点1节点2ip10.56.85.23510.56.85.236hostnamerac1rac2hosts10.56.85.235 rac110. ......
Oracle11 集群（二）
集群grid软件安装2019年7月19日10:30grid安装需要登录到grid用户下进行，绝大多数操作仅需在节点1上执行即可。解压安装介质：#仅节点1执行[grid@rac1 u01]$unzip p13390677_112040_Linux-x86-64_1of7.zip[grid@rac1 u ......
Oracle11 集群（三）
集群oracle软件安装2019年7月19日15:31ORACLE软件安装集群框架GRID安装完成并开启后，剩下的所有操作均只需在节点1执行即可，其余节点会自动完成配置同步。接下来登入节点1的oracle账户，开始oracle数据库软件的安装。如同验证grid先决条件一样，先运行runcluvfy. ......
Oracle11 集群（四）
集群建库2019年7月17日17:23开始实例和数据库的创建，以oracle用户登录节点1，开启数据库配置助手开始创建：#仅节点1执行[oracle@rac1 u01]$ export LANG=en_US[oracle@rac1 u01]$ dbca弹出配置界面：1, 创建集群数据库2, 创建单节 ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
openEuler欧拉配置Nacos集群
一、安装Nacos systemctl stop firewalld systemctl disable firewalld mkdir -p /home/nacos tar xvf nacos-server-2.1.2.tar mv nacos nacos8848 cd /home/nacos ......
CentOS安装docker
要在CentOS 7上安装Docker，您可以按照以下步骤操作： 更新系统：运行以下命令以更新系统软件包列表： yum update -y 请注意，以下命令需要使用管理员权限（root 或具有 sudo 权限的用户）。 卸载旧版 Docker（如果已安装）： rpm -qa | grep docke ......
centos7安装 NFS实现网络文件共享
主节点安装 在所有节点执行安装nfs-utils yum install -y nfs-utils 主节点启服务 systemctl start nfs-server 在主节点创建文件和暴露服务 makedir -p /data/nfs # vi /etc/exports,添加暴露信息,192.16 ......
rhel/centos 8新特性
rhel 7的主要新特性参见https://www.cnblogs.com/zhjh256/p/6675315.html。 8和7比又有不少新特性和废弃的特性。如下： /etc/inittab废弃 查看防火墙 systemctl status firewalld.service nftables代替 ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
Hadoop之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小 mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapRe ......