集群vmware hive
记录一次 OpenStack 集群在创建虚机后无法获取 IP 的问题
现象 所有的组件状态都是正常工作的，DHCP 服务正常工作，在个个虚拟网络设备端口抓包，发现 OpenVSwitch 上 DHCP 包可以通行，虚机获取 DHCP Discover 请求可以正常发出，但是无法收到回包。 抓包命令 tcpdump -i eth0 udp port 67 or port ......
阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战
本文基于 ACK 稳定性保障实践经验，帮助用户全面理解 ACK 稳定性理论和优化策略，并了解如何使用相应的工具和服务进行稳定性保障。 ......
使用容器快速在阿里云 ECS 多节点上搭建 Citus 12.1 集群
阿里云 ECS 机器节点 这里我们使用两台同一区域的 ECS 机器。 机器配置：2 核 2 G。(ps: 阿里云 99 元一年的活动) 一台安装 coordinator(协调器)，这里内网 IP 为 172.18.60.11 一台安装 worker，这里内网 IP 为 172.18.60.12 操作 ......
死锁、内部碎片、外部碎片、多进程/多线程、服务器高并发、集群
死锁：两个（多个）线程互相等待对方数据的过程 1.死锁产生条件（解决办法）： 🔴 互斥条件：所需求的资源具有排他性，其他请求进程只能等待（可以允许多进程、多线程访问） 🔴 不剥夺条件：未主动释放，不能被其他进程夺走（可以强制剥夺） 🔴 请求和保持：进程或线程至少持有一个资源，并且在等待其他资源 ......
Hive安装部署
引言 Apache Hive 是一款建立在 Hadoop 生态系统之上的数据仓库工具，它提供了一种 SQL 类似的查询语言（HiveQL）来查询和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。Hive 的设计目标是让用户可以在大规模数据集上执行复杂的查询，而无需深入了解 Map ......
MRS基础组件之HBase与Hive开发应用_tyt2023
MRS基础组件之HBase与Hive开发应用 本实验基于MRS环境，介绍如何利用HBase与Hive来进行相关操作。其中，HBase主要介绍包括如何利用Java API创建数据表、写入数据、查看数据以及删除数据；而Hive则通过介绍UDF、UDTF和UDAF等自定义函数的基本操作，讲解如何进行自定义 ......
06-redis的cluster集群
一、介绍 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的 ......
web访问hive
配置 <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>slav ......
【VMware】虚拟机安装centos7安装教程（秒看秒懂）
一、Centos7 背景简介 CentOS 7是一个企业级的Linux发行版本，它源于RedHat免费公开的源代码进行再发行。内核更新至3.10.0、支持Linux容器、支持Open VMware Tools及3D图像即装即用、支持OpenJDK-7作为缺省JDK、支持内核空间内的iSCSI及FCo ......
dremio hive jdbc arp date 类型问题记录
简单记录下碰到的一些问题 分析 arthas stack 查看调用 ffect(class count: 2 , method count: 4) cost in 329 ms, listenerId: 11 ts=2023-12-26 06:18:17;thread_name=e3 - 1a758 ......
Ubuntu 安装vmware tools
Ubuntu 安装vmware tools 一、Ubuntu20.0 安装vmware tools,在VCenter平台上选择虚拟机，点击安装VMware toolos 二、在命令行输入df -Th 看是否已经挂载了vmware -tools-的ISO 三、解压 VMwareTools-10.3.2 ......
EMQX集群的创建和使用
EMQX的安装 Ubuntu 本页将指导您如何在 Ubuntu 系统中下载安装并启动 EMQX。 通过 Apt 源安装 EMQX 支持通过 Apt 源安装，免除了用户需要手动处理依赖关系和更新软件包等的困扰，具有更加方便、安全和易用等优点。如希望通过 Apt 源安装 EMQX，可参考如下步骤。 1. ......
Logstash：如何连接到带有 HTTPS 访问的集群
https://blog.csdn.net/UbuntuTouch/article/details/126868040 前段时间，有一个开发者在评论区问了一个问题：如何运用 Logstash 采集数据，并写入到带有 HTTPS 的 Elasticsearch 集群中。我们知道，在 Elasticse ......
minio集群的部署【nginx+minio]
1、 配置MinIO集群配置本地解析在/etc/hosts中配置 vim /etc/hosts #添加以下内容，每台MinIO节点都需要配置 192.168.5.1 minio-1 192.168.5.2 minio-2 192.168.5.3 minio-3 192.168.5.4 minio-4 ......
vmware vmnat1和vmnat8在真机网络适配器中消失
在真机的网络适配器中，发现只有两张网卡。缺少vmnat1和vmnat8 一，查看虚拟网络编辑器是否连接 二，如果没有连接，勾选连接就好了。 三，如果连接了，真机网络适配器仍然只有两张网络适配器。 1.右键此电脑，管理 2.在左侧导航栏选择系统工具，设备管理器。在中间选择展开网络适配器。 3.查看1和 ......
GlusterFS集群安装
GlusterFS集群安装 GlusterFS 参考链接：https://zhuanlan.zhihu.com/p/586419358 安装环境准备 服务器编号 OS IP GFS1 CentOS7.9-2009 192.168.1.15 GFS2 CentOS7.9-2009 192.168.1. ......
Hive的体系架构
Hello，大家好，上一篇博文聊了一下Hive的基本知识，为了让大家更深入地理解Hive，本篇就写一下Hive的体系架构吧。 先看一张图： 大概解释一下： command-line shell & thrift/jdbc 可以用 command-line shell 和 thrift／jdbc 两种 ......
如何通过port-forward命令在本地访问 k8s 集群服务
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享 概述 在我们访问k8s中的pod服务时，一般通过node port映射pod端口进行访问，还有一种是通过ingress或者istio通过域名方式来访问，虽然两种方式能满足我们需求，但是如果针对临时访问，配置起来还是有点复杂和 ......
Windows Server 2019 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板
Windows Server 2019 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板 2023 年 12 月版本更新，现在自动运行 sysprep，支持 ESXi Host Client 部署 请访问原文链接：https://sysin.org/blog/ ......
Windows Server 2022 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板
Windows Server 2022 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板 2023 年 12 月版本更新，现在自动运行 sysprep，支持 ESXi Host Client 部署 请访问原文链接：https://sysin.org/blog/ ......
Windows Server 2016 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板
Windows Server 2016 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板 2023 年 12 月版本更新，现在自动运行 sysprep，支持 ESXi Host Client 部署 请访问原文链接：https://sysin.org/blog/ ......
VMware的网络环境
虚拟机网络： 1.检查虚拟机网络编辑器 - 以管理员方式运行VMware - 打开虚拟网络编辑器 - 查看NAT方式下，虚拟子网的网段 流程： 打开VM虚拟机 》选择`Edit`下的`Virtual Network Editor` 》查看NAT方式下，虚拟子网的网段 2.检查虚拟网卡 3.检查虚拟机 ......
Windows Server 2008 R2 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板
Windows Server 2008 R2 OVF, updated Dec 2023 (sysin) - VMware 虚拟机模板 Windows Server 2008 R2 简体中文版 OVF, 2023 年 12 月更新 请访问原文链接：https://sysin.org/blog/win ......
Hive“横空出世”的原因
在沸沸扬扬的大数据江湖里，有这么一个框架，它刚开始很低调，然而，就在那么一个不起眼的一天，突然展示出其绝妙的武功，让大数据各大框架的掌门人暗挑大拇指，好了，不卖关子了，这个“横空出世”的框架就是——Hive。 一：Hive产生的背景 万事有因果，Hive的出现也不是无缘无故的，总体来说，Hive出现 ......
Vmware下载安装教程（秒看秒懂）
一、VMware 背景简介 VMware Workstation是VMware公司推出的一款桌面虚拟计算软件。此软件可以提供虚拟机功能，使计算机可以同时运行多个不同操作系统，以及进行开发、测试 、部署新的应用程序的最佳解决方案。该软件具有Windows、Linux版本。VMware Workstat ......
大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队
摘要：在大数据领域中，Hive SQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，Hive SQL查询的性能往往不尽人意。本文针对Hive SQL的性能优化进行深入研究，提出了一系列可行的调优方案，并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧 ......
mysql集群模式分析
集群的好处 高可用性：故障检测及迁移，多节点备份。 可伸缩性：新增数据库节点便利，方便扩容。 负载均衡：切换某服务访问某节点，分摊单个节点的数据库压力。 集群要考虑的风险 网络分裂：群集还可能由于网络故障而拆分为多个部分，每部分内的节点相互连接，但各部分之间的节点失去连接。 脑裂：导致数据库节点彼此 ......
Redis 分片集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍了 Redis 哨兵集群的搭建，虽然已经解决了 master 在宕机后，与 slave 之间会自动切换的问题，但是其承载的数据量天花板仍然是单机的最大内存容量，无法承载更多的数据量。 本篇博客介绍 Redis 分片集群的搭建，集群内部拥有多个 master 节点，每个 master 存放 ......
Hive 3.1.3 生产安装
1.安装用于存储元数据的关系数据库 生产环境中一般存储元数据采用独立的关系型数据库而非Hive本地的嵌入式数据库 本地的嵌入式数据库无法支持多个请求同时访问。 本示例采用Mysql8.0作为示例 具体的支持列表参考官方文档： https://cwiki.apache.org/confluence/d ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......