集群hadoop hive
使用nomad管理集群-1 单机部署
背景 由于白嫖+购买了很多vps，管理起来有点困难，只能一个个ssh上去看，同时有的命令要反复敲好几遍，因此需要有一个集群管理的工具。 其次因为工作需要经常和k8s，docker等打交道，于是打算使用类似的工具来管理vps。 首先考虑的自然就是k8s，作为云原生的老大哥，相关的生态和文档自然是巨好， ......
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK，hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
使用 Rancher 部署管理 K8S 集群
目录使用 Rancher 部署管理 K8S 集群主机规划部署 docker-ce（rancher）部署 rancher 使用 Rancher 部署管理 K8S 集群 主机规划 主机名称 角色 IP 地址 基础软件 rancher 管理 k8s 集群 10.0.0.203 docker-ce mast ......
Hadoop问题解决（3）
在启动hadoop过程中，出现如下错误： 192.168.10.100: Invalid maximum heap size: -Xmx0m192.168.10.100: Could not create the Java virtual machine.192.168.10.100: jobtra ......
hadoop问题解决（4）
默认配置是将datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目录下, 随着linux的定期清理, 这些pid就不见了,当然就无法停止了, 怎么解决呢?在/tmp目录创建或者修改hadoop-hadoop用户名- ......
实现haproxy+keepalived集群高可用集群转发
#环境：centos8 10.0.0.150 ka1 10.0.0.160 ka2 10.0.0.170 web1 10.0.0.180 web2 10.0.0.190 client ######ka1配置 #安装软件包 [root@ka1 ~]#yum install -y haproxy kee ......
Zookeeper集群部署
1.#ZooKeeper 使用场景 ZooKeeper 是一个分布式服务框架，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：命名服务、状态同步、配置中心、集群管理等。 #命名服务： 命名服务是分布式系统中比较常见的一类场景。命名服务是分布式系统最基本的公共服务之一。在分布式系统中，被命 ......
docker部署nacos集群
环境准备 系统 ip 插件 centos7 10.190.107.191 docker、nginx centos7 10.190.107.192 docker、nacos centos7 10.190.107.193 docker、nacos centos7 10.190.107.194 docke ......
【高可用】alertmanager高可用,alertmanager集群
【1】alertmanager集群高可用介绍 （1.1）基本介绍 Alertmanager成为单点 为了提升Promthues的服务可用性，通常用户会部署两个或者两个以上的Promthus Server，它们具有完全相同的配置包括Job配置，以及告警配置等。当某一个Prometheus Server ......
简述redis集群的实现原理
为了解决单机性能的瓶颈，提高Redis 性能，可以使用分布式集群的解决方案 1. 所有Redis节点使用(PING机制)互联 2. 集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效 3. 客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的red ......
【大数据】HIVE部署（文档版本）
Mysql 安装配置远程登录 # 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 # 安装Mysql yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-rele ......
【大数据】Hadoop配置（文档版本）
主机配置： 192.168.88.101 test1 192.168.88.102 test2 192.168.88.103 test3 Hadoop 上传压缩包并且解压 hadoop百度云：链接：https://pan.baidu.com/s/1DRV_x7Q_ZTUO4KMkr2-6Qg? ......
ansible-kube集群部署项目简述
ansible-kube集群部署项目简述 1.目录要求 介于证书生成文件和一些脚本使用了绝对路径；必须将ansible.tgz 包解压到 /ansible 路径下。 工作路径必须为 /ansible/Playbooks/k8s_deploy 2.目录结构以及功能概要 ├── k8s_deploy # ......
RabbitMQ 集群搭建和仲裁队列的使用
RabbitMQ 是基于 Erlang 语言开发的，该语言天然支持集群分布式模式，因此部署 RabbitMQ 集群非常简单。 RabbitMQ 的集群部署有两种模式： 普通集群：又称为标准集群，是一种分布式集群，将队列分散到集群的各个节点，提高整个集群的并发能力。 镜像集群：在普通集群的基础上，添加 ......
k8s之集群部署（kubeadm）
[master&node] 1.修改主机名 hostnamectl set-hostname master-01 cat >> /etc/hosts << EOF 172.28.32.1 master-01 172.28.32.2 worker-01 EOF 2.配置阿里云官方源 mkdir -p ......
Hadoop问题解决记（2）
1. 发现问题 在对HBase集群进行压力测试过程中发现，当实际写入HBase和从HBase查询的量是平时的若干倍时（集群规模10~20台，每秒读写数据量在几十万条记录的量级），导致集群的读写出现一定程度的波动。具体如下： 1）写端抛出以下异常信息： org.apache.hadoop.hbase. ......
Hadoop问题解决记（1）
最近在测试HBase时遇到一个非常奇怪的问题：集群有7台机器，其中1台Master，6台RegionServer。但是Master只能控制其中1台RegionServer，而无法控制其他5台RegionServer。 打开master的日志文件，发现以下错误信息： 2011-04-22 16:37: ......
redis集群搭建注意事项
官方教程：https://redis.io/docs/management/scaling/ 其他参考： https://note.youdao.com/ynoteshare/index.html?id=174eaa7104ce961f8012d521d8155bd9&type=note&_time ......
hive知识点散记
在不切换数据库的前提下查询某一数据库下的所有表 show tables in 数据库名； 查询显示某一张表的元数据信息 desc formatted 表名； 查询当前数据库名称 select current_databases(); 对查询结果进行去重 select distinct cname f ......
LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
如图，问题表现为linux中可直接通过hive进行数据插入 但在通过datagrip却更改不了 此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。 yarn的 <property> <name>yarn.sch ......
linux中hive常用命令
kill -9 29676 杀死进程 ps -ef|grep 23697 查看进程 tail -f logs/hiveserver2.log 查看2信息 nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 & 后台加载报 ......
Redis主从及哨兵及集群相关介绍
主从模式 为了避免单点故障 和 读写不分离，Redis 提供了复制（replication）功能，master数据库中的数据更新后，会自动将更新的数据同步到其他slave数据库上。 优点: 主从结构具有读写分离，提高效率、数据备份，提供多个副本等优点。 不足: 大的不足就是主从模式不具备自动容错和恢 ......
hadoop部署
mapred-site.xml <configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property><property> <name>mapreduce.jobhistory.ad ......
hadoop HA高可用集群搭建
首先是四项配置 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apach ......
使用 Terraform 创建K8S集群
使用Terraform创建Kubernetes（K8S）集群是一个强大的自动化过程，它可以让您轻松地部署和管理K8S环境。以下是一般步骤以及示例Terraform配置文件的概述，用于创建K8S集群。 ......
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值... ......
搭建Hadoop环境
搭建Hadoop环境 一、虚拟机的安装 二、 安装JDK 1.下载jdk wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 使用上述命令安装 2.执行以下命令 ......
Hive函数高阶——explode函数、UDAF聚合函数
1、explode函数（输入一行，输出多行） 引入lateral view侧视图的概念解决上面问题的限制： 2、UDAF聚合函数 增强聚合——grouping sets（相当于union all） 增强聚合——cube 增强聚合——rollup（是cube的子集，以左侧维度为主） ......
k8s 监控（二）监控集群组件和 pod
原文链接：https://juejin.cn/post/6844903921207492621 在上一篇文章中，我们已经在 k8s 中安装了 Prometheus，并且收集了它自身的监控指标。而在这篇文章，我们将收集 k8s 所有组件和 pod 的监控指标。 在这之前需要先修改下之前监控 Prome ......
Hive函数入门——内置函数+用户定义函数
1、内置函数 1、字符串、时间类型函数 之前也是在c语言里面学过，包括concat、split等； 时间类型函数： 前不久用到的函数： date_add >当前日期的后的第几天的日期； date_sub >当前日期的前的第几天的日期； 2、数学函数、集合函数 round--取整数值（还能指定保留的精 ......