分布式 集群hadoop
ECharts极坐标散点图：如何展示数据分布情况
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
中间件 ZK分布式专题与Dubbo微服务入门 5-1 集群的一些基本概念
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12714 1 重点关注 1.1 ACL命令行 getAcl:获取某个节点的acl权眼信息setAcl:设置某个节点的acl权限信息addauth:输入认证授权信息，注册时输入明文察码(登录 但是 ......
redis分布式锁学习
redis分布式锁 原理是通过setnx命令 setnx key value 如果key不存在 则设置value,如果存在则不做操作 jedis clientId = uuid; 1、stringRedisTemplate.opsForValue.setIfAbsent(lockKey,client ......
Hadoop之mapreduce参数大全-5
101.指定任务启动过程中允许的最大跳过尝试次数 mapreduce.task.skip.start.attempts 是 Hadoop MapReduce 框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数。 在 MapReduce 作业中，如果某个任务（Map 任务或 Reduc ......
Hadoop之mapreduce参数大全-6
126.指定 Map 任务运行的节点标签表达式 mapreduce.map.node-label-expression 是 Hadoop MapReduce 框架中的一个配置属性，用于指定 Map 任务运行的节点标签表达式。节点标签是在 Hadoop 集群中为节点分配的用户定义的标签，可用于将 Ma ......
大数据 - 安装部署 Apache开源大数据集群
Step1：前期准备 虚拟机软件：VMware workstation 16 pro 网盘链接：https://pan.baidu.com/s/1Yd0JUqiM-N6rpQbO0RjG_w --来自百度网盘超级会员V2的分享 集群信息如下 主机名 IP 操作系统 node01 192.168.24 ......
k8s-1.28.2集群小版本升级到1.28.5
环境：https://www.cnblogs.com/yangmeichong/p/17956335 # 流程：先升级master，再升级node # 1.备份组件(etcd这里先不备份了) # 先升级master3 # 1.腾空节点，驱逐master # 1.1 节点设置为维护状态 [root@m ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
开源大数据集群部署（一）集群实施规划
作者：櫰木 本次集群规划信息 本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。 主机操作系统要求 软件信息 参数 配置 8C16G 操作系统版本 CentOS Linux release 7.8.2003 (Core) java版本 java ve ......
分布式机器学习的故事：Docker改变世界
分布式机器学习的故事：Docker改变世界 Docker最近很火。Docker实现了“集装箱”——一种介于“软件包”和“虚拟机”之间的概念——并被寄予厚望，以期革新Internet服务以及其他大数据处理系统的开发、测试、和部署流程。 为了使用Docker，需要了解不少工具及其设计思路；而这些工具的文 ......
K8S集群搭建
K8S各节点环境准备 1 虚拟机操作系统环境准备 参考链接: https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ 2 关闭swap分区 2.1临时关闭 swapoff -a ......
k8s集群证书过期怎么办
记录一次集群更新证书过程，因为集群证书已经更新了，以下只记录操作过程了。 参考：https://blog.csdn.net/Harry_z666/article/details/128015175 1、集群情况 版本：v1.23.6 部署方式：kubeadm部署 由于使用kubeadm部署，证书有效 ......
k8s集群搭建1.22.x (centos)
版本 1.22.xx 版本兼容 集群搭建指导 https://www.cnblogs.com/Sunzz/p/15184167.html 【1.18】 https://blog.csdn.net/qq_34629877/article/details/120234616 【1.22】 升级cento ......
创建单机 PolarDB-X 集群
https://doc.polardbx.com/quickstart/topics/quickstart-pxd-cluster.html #安装 docker curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh ......
中间件 ZK分布式专题与Dubbo微服务入门 4-8 权限acl详解，acl的构成-scheme与id
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12704 1 重点关注 1.1 权限的构成 权限字符串缩写 crdwa CREATE:创建子节点 READ:获取节点/子节点 WRITE:设置节点数据 DELETE:删除子节点 ADMIN:设置 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-9 acl的构成-permissions
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12705 1 重点关注 1.1 权限的构成 权限字符串缩写 crdwa CREATE:创建子节点 READ:获取节点/子节点 WRITE:设置节点数据 DELETE:删除子节点 ADMIN:设置 ......
Elasticsearch分片大小设定和集群容量规划
本文以 Elasticsearch 7.9.2 为准。 分片大小 日志类：单个分片不超过 50G 搜索类：单个分片不超过 20G 先估算总数据量，再根据分片大小，确定分片数。 容量规划 容量规划时要考虑的因素： 机器的软硬件配置 单个文档的尺寸，文档总数，索引大小，分片个数，副本个数 文档写入方式（ ......
redis 高可用 二 （主从复制、哨兵和集群Cluster）
高可用 分类 主从复制 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 哨兵 在主从复制的基础上，哨兵实现了自动化的故障恢 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-6 子节点watcher事件
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12702 1 重点关注 1.1 子节点如何添加watch stat /imooc watch 不存在的节点，可以用该命令，多用于新增 get /imooc watch 修改删除节点，子节点增删等 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
Hadoop之mapreduce参数大全-4
76.指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留 mapreduce.task.files.preserve.filepattern 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留。 在 ......
R语言分布滞后非线性模型（DLNM）研究发病率，死亡率和空气污染示例|附代码数据
全文下载链接：http://tecdat.cn/?p=21317 最近我们被客户要求撰写关于分布滞后非线性模型（DLNM）的研究报告，包括一些图形和统计输出。 本文提供了运行分布滞后非线性模型的示例，同时描述了预测变量和结果之间的非线性和滞后效应，这种相互关系被定义为暴露-滞后-反应关联 数据集包含 ......
R软件文本挖掘分析服装公司职位要求数据和分布地理可视化
全文链接：https://tecdat.cn/?p=34793 原文出处：拓端数据部落公众号 随着数据时代的到来，大数据分析已成为企业和研究机构决策的重要依据。特别是在人力资源管理领域，对职位要求数据的深入挖掘和分析，对于理解行业趋势、优化招聘策略以及提升组织绩效具有重要意义。本文将帮助客户利用R软 ......
Hadoop之mapreduce参数大全-3
51.指定Shuffle传输过程中可以同时连接的节点数 mapreduce.shuffle.max.connections是Hadoop MapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数。该参数用于控制Shuffle传输的并发度，以保障任务的稳定性和性能。 可 ......
redis的主从复制、哨兵、集群
主从复制： 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 作用： 数据冗余：主从复制实现了数据的热备份，是持久化之外的一 ......
作业2 分布式文件系统HDFS
一. 单选题（共10题，20分） 1. (单选题, 2分)分布式文件系统指的是什么？ A. 把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 B.用于在Hadoop与传统数据库之间进行数据传递 C. 一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 D. 一种高吞吐 ......
作业3 分布式数据库HBase
一. 单选题（共7题，14分） 1. (单选题, 2分)下列选项中，关于HBase和BigTable的底层技术对应关系，哪个是错误的？ A. GFS与HDFS相对应 B. MapReduce与Hadoop MapReduce相对应 C. GFS与Zookeeper相对应 D. Chubby与Zook ......
中间件 ZK分布式专题与Dubbo微服务入门 4-5 set与delete命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12701 1 重点关注 1.1 如何添加watch stat /imooc watch 不存在的节点，可以用该命令，多用于新增 get /imooc watch 修改删除节点等，可以用该命令 z ......
请注意，你的 Pulsar 集群可能有删除数据的风险
在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 ......
es集群无缝迁移扩容
新节点加入老集群 cluster.name: soc-cluster node.name: node-2test path.data: /home/secure/elastic/data path.logs: /home/secure/elastic/logs network.host: 0.0.0 ......