hadoop集群

目录 简介 环境准备 安装 配置 hostname 解析 安装 systemd 脚本 ca证书 配置 给所有 ES 配置相同的用户密码 启动查看 简介 常规部署 Elasticsearch 集群时，不管是集群之间的数据传输，或者是 Client 访问Elasticsearch 集群时 均不需要相关验 ......

注意：zookeeper依赖java环境1.部署的服务器ip地址 172.16.0.151 172.16.0.173 172.16.0.220 2.zookeeper版本 wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7. ......

浅浅的记录下Redis安装、主从、哨兵、集群。搭建笔记 一.Redis下载安装 系统环境 redis版本：7.0.11 linux版本：CentOS Linux release 8.2.2004 (Core) 官网下载地址：https://redis.io/download/ 一些安装命令，按照步骤 ......

最近在测试Hbase在windows上的单机版的功能。 版本：hadoop 2.7.7 hbase 2.0.0 错误： ERROR datanode.DataNode: BlockSender.sendChunks() exception: java.io.IOException: 你的主机中的软件 ......

1.下载JDK和Hadoop[略] 2.解压[略] 3.创建hadoop数据存储的目录 mkdir -p /home/hadoop/tmp /home/hadoop/hdfs/data /home/hadoop/hdfs/name 4.配置JAVA环境和HADOOP_HOME vim /etc/pr ......

1、pom.xml代码 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst ......

查看mysql使用端口 ps -ef | grep mysql ss -antp | grep [ps查出来的pid] 停止HIVE写入服务 创建备份路径 mkdir -p /root/hivebackup/ 执行备份数据库命令：(在目标集群执行) mysqldump -uroot -pPasswo ......

distcp 是一个用于数据复制的工具，它可以将数据从一个 Hadoop 集群复制到另一个 Hadoop 集群。 Usage: hadoop distcp [OPTIONS] <srcurl> <desturl> OPTIONS: -p[rbugpcax] Preserve status (rbug ......

distcp 是 Hadoop 中一个用于数据复制的工具，可用于大规模数据复制场景。在 distcp 执行过程中，会运行多个 MapReduce 任务，其中第一个任务通常被称为 "task0" 或 "main task"。 task0 主要负责以下操作： 解析命令行参数并生成 distcp 配置。 ......

在Kubernetes-k8s集群中，一般只有在master 才能执行 kubectl和kubadm 相关的命令 如果到worker nodes 节点上执行，则会有如下报错： [root@k8s-node1 qq-5201351]# kubectl get nodes,po -A The conne ......

这几天一直在困扰我 pycurl 版本和本机的版本不符合 他连接又连接的自己自带的版本 与系统不相同 低级也会报错 https://blog.csdn.net/u010910682/article/details/89496550/?ops_request_misc=&request_id=&biz ......

大数据的5v特征 一、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。 二、Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类 ......

​ 案例说明： KingbaseES V8R3集群默认在触发failover切换后，为保证数据安全，原主库需要通过人工介入后，恢复为新的备库加入到集群。在无人值守的现场环境，需要在触发failover切换后，主库可以自动恢复为新备考加入集群，提升架构的高可用性。 适用版本： KingbaseES V ......

案例说明： 麒麟信安操作系统，在部署了KingbaseES V8R6集群后，sys_monitor.sh在启动集群时，启动数据库服务失败，导致集群无法正常启动。后连接现场分析发现，此环境只要通过ssh或sys_securecmd工具远程启动数据库服务都会失败。操作系统版本如下： 适用版本： King ......

​ 案例说明： 在KingbaseES V8R3集群一主二备的架构中，配置了流复制为同步（sync）模式，但是集群启动后，流复制状态中显示备库是async模式（备库和主库数据已经同步），从备库的recovery.log日志也可以看到，备库启动后被复制模式设置为async模式。如下图备库recover ......

​ 案例现象： KingbaseES V8R6集群备库启动后，加入集群失败，sys_log日志信息提示，如下图所示： 适用版本： kingbaseES V8R6 一、问题分析 在timeline对应的history文件中会记录每次timeline切换时所对应的lsn，如下图所示，在sys_wal目录 ......

案例说明： 在KingbaseES V8R3集群在连接kingbasecluster服务（9999端口）时，出现“message length (8) in slot 1 does not match with slot 0(12)”故障，通过复现，获取故障发生的原因。故障信息如下图所示： 适用版本 ......

PostgreSQL 是一种流行的开源关系型数据库管理系统。它提供了标准的SQL语言接口用于操作数据库。 repmgr 是一个用于 PostgreSQL 数据库复制管理的开源工具。它提供了自动化的复制管理，包括： 故障检测和自动故障切换：repmgr 可以检测到主服务器故障并自动切换到备用服务器。 ......

kubernetes集群故障处理思路 1.0 概述 本文主要介绍了pod的创建流程，一般问题处理思路以及一些辅助的检查项，以编快速定位及解决问题 1.1 kubernetes故障处理思路概览图 k8s集群出现故障，一般可以从两大种情况看，个别pod异常和大量pod异常，针对两种情况，可以参考以下处理 ......

if (($# < 1)); then echo no args input, exit. exit 1 fi case $1 in start) echo [INFO] starting dfs ... start-dfs.sh echo [INFO] done. echo [INFO] star ......

1 基础环境分析 redis版本：redis-5.0.14 2 脚本示例 说明：向redis集群里面写入10000000条数据，再查询下这些数据 #!/usr/bin/python3 import random import string import hashlib from redisclust ......

连接sys租户 使用root用户连接sys租户的oceanbase数据库 [admin]# mysql -h192.168.1.71 -P2883 -D oceanbase -uroot@sys -pOceanbase2881 -A 租户减少副本 查看租户信息，sys、my_tenat租户（sys是 ......

连接sys租户 使用root用户连接sys租户的oceanbase数据库 [admin]# mysql -h192.168.1.71 -P2883 -D oceanbase -uroot@sys -pOceanbase2881 -A 添加zone 查看zone信息，当前OceanBase集群有2个z ......

当系统的规模达到一定程度后，数据库在系统中慢慢成为一个瓶颈，因此需要对数据库进行扩展。数据库集群时一种解决数据库负荷的有效手段，本篇主要是描述了数据库集群如何搭建和配置的过程。 一、mysql集群的规划 mysql集群由管理节点、数据节点、mysql节点组成。一般情况下数据节点和mysql可以放在统 ......

有了上篇博客的 Nacos 单机部署经验，对于集群搭建就容易多了。 要想搭建 Nacos 集群，至少需要 3 个节点。为了统一访问地址，因此需要使用 nginx 进行转发。 本篇博客仍然采用 Nacos 当前最新的版本 2.2.2 进行集群搭建。Nacos 官网上也有集群搭建的说明，不过有点简略。 ......

首先对于node节点来说，有如下几点先决条件 1、基础环境的，这个与master节点一样 2、同样需要安装docker 和 k8s相关的软件，也是与master节点一样，包括docker的配置 接下来就是master节点使用kubeadm init命令进行初始化，当初始化完成后，如果一切正常、将会看 ......

1、安装包：apache-skywalking-apm-es7-8.7.0.tar.gz 下载地址： https://archive.apache.org/dist/skywalking/8.7.0/apache-skywalking-apm-es7-8.7.0.tar.gz 2、 安装包解压 ta ......

Hadoop官方网站 http://hadoop.apache.org/ Hadoop运行模式 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分 ......

###elasticsearch集群部署#### elasticsearch 包下载地址：https://www.elastic.co/downloads/past-releases/elasticsearch-7-14-0 前提：elasticsearch集群 只能用普通用户启动，root账号启动 ......

#简介 Kubernetes是一个开源系统，用于容器化应用的自动部署、扩缩和管理。它将构成应用的容器按逻辑单位进行分组以便于管理和发现。 #搭建 环境： CentOS v7.2 docker-ce-version v23.0.5 kubernetes-version v1.23.6 本次使用2台服务 ......