集群hadoop hive
Hadoop2伪分布式安装
最近有观看我主讲的《Hadoop基础与演练》课程的同学问到Hadoop环境到底应该怎么安装。Hadoop的安装其实非常的简单，网上有很多教程，官网也有示例。但是可能部分同学对于linux不太熟悉，导致安装的时候会遇到各种问题，打击学习激情。本文就来详细的讲解一下如何配置Hadoop2的伪分布式环境， ......
hive数据清洗,导入mysql
-- 用于清洗的表create table data1( `ip` string comment '城市', `date1` string comment '日期', `day` string comment '天数', `traffic` double comment '流量', `type` s ......
转换日期数据的格式函数（hive）
1、转换成标准格式--from_unixtime和unix_timestamp--默认情况下转成yyyy-MM-dd:HH:mm:ss select from_unixtime(unix_timestamp('16/08/2018','dd/MM/yyyy')); 2、原文件字段含有英文--月份英文 ......
Kubernetes集群使用容器镜像仓库Harbor
目录Kubernetes集群使用容器镜像仓库Harbor一、容器镜像仓库Harbor部署1.1 在docker主机部署harbor1.1.1 docker-ce安装1.1.1.1 获取YUM源1.1.1.2 安装并设置启动及开机自启动1.1.2 docker compose安装1.1.3 获取har ......
k8s集群证书更新
一、检查证书是否过期 #k8s集群证书默认有效期为1年（365天）,查看： kubeadm alpha certs check-expiration 二、自动更新证书 kubeadm 会在控制面升级的时候更新所有证书。 这个功能旨在解决最简单的用例；如果你对此类证书的更新没有特殊要求， 并且定期执行 ......
主从、集群、分布式的区别
主从、集群和分布式是计算机系统中常见的架构模式，它们有不同的特点和用途： 主从（Master-Slave）： 主从架构是一种单点控制的架构，其中有一个主节点和一个或多个从节点。 主节点通常负责处理所有的请求和决策，而从节点用于执行主节点分派的任务或保存数据的备份副本。 主从架构通常用于提高系统的可用 ......
Redis学习--------分片集群、散列插槽、集群伸缩、故障转移
Redis学习 分片集群、散列插槽、集群伸缩、故障转移 https://blog.csdn.net/qq_43719634/article/details/124911627 Redis集群添加新节点(水平扩展)、删除其中一个节点 https://blog.csdn.net/qq_33417321/ ......
搭建 Kubernetes 集群 —— API 概述
官网文档：https://kubernetes.io/zh-cn/docs/reference/using-api/ REST API 是 Kubernetes 系统的重要部分，组件之间的所有操作和通信均由 API Server 处理的 REST API调用，大多数情况下， API 定义和实现都符合 ......
同集群优先的负载均衡
Nacos中提供了一个NacosRule的实现，可以优先从同集群中挑选吗，然后在同集群下去随机选实例。 加入的负载均衡配置： ribbon: NFLoadBalancerRuleClassName: com.alibaba.cloud.nacos.ribbon.NacosRule # 负载均衡规则 ......
hive数据库指定删除首行数据
在我们将csv文件或者txt文件导入到虚拟机本地时，要是不提前将首行的数据指引删除，就会跟随着我们的期望数据显示在hive的数据库里面， 上次测试，我就是直接在csv文件里面删除了，但是运行起来确实稍微慢了一点，要是数据条数再多一些，就很难直接在根文件里面进行删除，所以，我找到了一个新的方法， 来排 ......
Hadoop问题解决（5）
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。log类似如下：All datanodes *** are bad. Aborting. ......
ElasticSearch集群处于yellow状态处理
一般思路： 1、查看集群状态 curl -XGET -u {username}:{password} -s $prefix/_cat/health?v 2、查看节点状态 curl -XGET -u {username}:{password} -s $prefix/_cat/nodes?v 3、查看索 ......
Kubernetes集群通过Helm部署skywalking及测试
目录 1.前言 2.skywalking组件 3.Helm部署步骤 3.1安装包下载 3.2修改配置 3.3helm安装 3.4访问方式 4.制作skywalking-agent-sidecar镜像 5.在deployment中应用skywalking-agent 1.前言 本文主要介绍Kubern ......
【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。 适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file ......
三维模型3DTile格式轻量化压缩集群处理方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
【大数据】FindBi配置Hive
安装FineBi 1：百度云链接：https://pan.baidu.com/s/1u9QHGzo9v9Wcrn5iJU4hQg?pwd=sotc （这里安装的时候你可能需要登录到官网注册获取激活码）https://www.finebi.com/ 2： 将Hive驱动包放入指定目录 D:\FineB ......
KingbaseES V8R6集群运维案例之---查看主备流复制之间的延迟
案例说明： 在主备流复制集群运维过程中，对于同步复制节点，在读写分离环境应用需要强一致性访问时，需要监控主备之间流复制的延迟。 适用版本： KingbaseES V8R6 一、主库查询流复制延迟 1、 通过sys_stat_replication 获取sent_lsn、write_lsn、flush ......
还在为没机器练手搭集群而苦恼？快进来免费领机器了！
前几天，在我们的技术交流群里看到有小伙伴问：有没有练手搭建Redis集群的方式推荐： 这里不禁让我想到，对于各种集群和分布式基础设施的搭建，其实是每个开发者进阶时候都要经历的一个成长过程。但是，这里对于不少开发者来说，却又面临着一个现实问题：我没有足够的资源（主机或配置）去尝试和练习。 最近，DD刚 ......
在hadoop虚拟机里面使用hadoop jar运行打包文件，出现Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcNoSuchProtocolException): Unknown protocol: org.apache.hadoop.的问题的解决
问题描述 更改了JDK版本之后，再次运行又出现了这个错误： 问题解决 经过查阅相关资料，发现是自己定义的hdfs的路径不太对，本来写的是这样的： 然后自己确实不记得配置环境时配置的是多少，就看了看这个文件core.site.xml: cat core-site.xml 然后看到这里： 使用的端口号是 ......
【大数据】HIVE大全
HIVE 内部表与外部表的区别 # HIVE储存数据位置 [hadoop@test1 hive]$ hadoop fs -ls /user/hive/warehouse/testhive.db/info/ Found 1 items -rw-r--r-- 3 hadoop supergroup .. ......
云小课｜MRS基础操作之集群健康检查
MapReduce服务为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。集群中的FusionInsight Manager将提供企业级的集群的统一管理平台。 ......
Kubernetes 集群 troubleshooting
Kubernetes 集群 troubleshooting – 陈少文的网站 (chenshaowen.com) 1、FailedCreatePodSandBox 错误 Error response from daemon: OCI runtime create failed: container_ ......
k8s修改集群IP--重置集群
原来IP地址192.168.10.138 k8s-master192.168.10.139 k8s-node1192.168.10.140 k8s-node2 新IP地址192.168.10.148 k8s-master192.168.10.149 k8s-node1192.168.10.150 k ......
k8s修改集群IP--不重置集群
正常在用集群想要更换ip master 节点ip192.168.10.138 改为192.168.10.148 node1节点ip192.168.10.139 改为192.168.10.149 node2节点ip192.168.10.140 改为192.168.10.150 master 节点 1) ......
使用 kubeadm 安装 k8s 集群
# 背景 之前使用过`kubespray`的 ansible playbook 安装集群，尽管此剧本是官方推荐使用的，但是它有以下缺点： * 剧本的编排太过于晦涩 * 创建集群的过程中，会产生许多必要的配置文件和依赖 存储数据库 redis版本：redis:6.2.13 作者：易墨 安装单机版 安装源：DockerHub 默认配置文件：配置文件示例 6. ......
使用nomad管理集群-2 tailscale组网
背景 上一篇文章介绍了如何单机部署nomad，这一篇介绍如何使用tailscale组成大内网，并使用nomad管理该内网集群 TAILSCALE介绍 下面是引用知乎的原话 Tailscale 是一种基于 WireGuard 的虚拟组网工具，它能帮助我们把安装了 Tailscale 服务的机器，都放到 ......