集群 常见 错误hadoop
mysql集群模式分析
集群的好处 高可用性：故障检测及迁移，多节点备份。 可伸缩性：新增数据库节点便利，方便扩容。 负载均衡：切换某服务访问某节点，分摊单个节点的数据库压力。 集群要考虑的风险 网络分裂：群集还可能由于网络故障而拆分为多个部分，每部分内的节点相互连接，但各部分之间的节点失去连接。 脑裂：导致数据库节点彼此 ......
Redis 分片集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍了 Redis 哨兵集群的搭建，虽然已经解决了 master 在宕机后，与 slave 之间会自动切换的问题，但是其承载的数据量天花板仍然是单机的最大内存容量，无法承载更多的数据量。 本篇博客介绍 Redis 分片集群的搭建，集群内部拥有多个 master 节点，每个 master 存放 ......
Hadoop YARN Cgroups 资源隔离讲解
目录一、概述二、Hadoop 环境准备三、内存资源限制四、CPU 资源限制1）启用 LCE2）启用 CGroup3）配置 Yarn CGroup 目录3）CPU 资源限制 一、概述 Hadoop YARN (Yet Another Resource Negotiator) 使用 Cgroups（Co ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
TDSQL集群扩容DB节点
具体步骤见百度云盘：https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码：h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下： 一、以下步骤在新增机器上面执行：1、检查audit服务（Mysql版本特有）：systemc ......
常见HTTP状态码与常见编程语言应用
常见HTTP状态码与常见编程语言应用 我之前问过一些初中级工程师，他们并不是每一个人都清楚。但确实很重要。您应该知道的 HTTP 状态代码 HTTP 的响应代码分为五类： 以下是一些常见的HTTP状态码及其含义：1xx（信息性状态码）：这些状态码表示请求已被接收，继续处理。100 Continue： ......
Java数组常见的几种排序。
public class code2 { public static void main(String[] args) { int[] x = {37, 89, 23}; for (int z = 0; z < x.length - 1; z++) { int minIndex = z; for ( ......
Spark写hive insertInto和saveAsTable的差别和错误
insertInto必须保证源表字段顺序和hive表字段顺序一致，不然会插入乱序，如果字段数不一致，会报错 saveAsTable append模式下，如果字段数不一致，会报错，overwrite模式下，会重建表 如果是外部表，已经存在了数据，saveAsTable会报错 org.apache.sp ......
短视频app开发，集群容错策略的代码分析
短视频app开发，集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略，当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用，直到达到重试次数。即使业务代码没有显示重试，也有可能多次执行消费逻辑从而造成重复数据： public class ......
短视频直播系统，前端比较常见的几种动画实现方式
短视频直播系统，前端比较常见的几种动画实现方式 我整理了如下的6种方式，接下来我们以最简单的例子，一个div从左到右移动一定的距离，分别看看这几种方案的具体实现。如有不妥还望指正。 一、CCS animation 这里省略了html部分，我们直接看css: .box{ height: 100px; ......
2023常见自动化测试工具集合
1、Appium > AppUI自动化测试 官网：http://appium.io Appium 是一个移动端自动化测试开源工具，支持iOS 和Android 平台，支持Python、Java 等语言，即同一套Java 或Python 脚本可以同时运行在iOS 和Android平台，Appium 是 ......
mybatis错误：Parameter 'companyName' not found. Available parameters are [arg3, arg2, arg1, arg0,..]
问题： mybatis.binding.BindingException: Parameter 'companyName’ not found. Available parameters are [arg3，arg2 解决: 原因是DAO层传入参数mapper无法识别， 只需要在在DAO中的方法中前 ......
YARN集群中应用程序的执行流程
Hello，各位“极客”好，上一篇文章中介绍了YARN集群架构的基本内容，那么，在YARN集群中应用程序的执行流程是怎样的呢？这个问题很重要，就要好好说道说道了...... 客户端提交应用程序（可以是MapReduce程序、Spark程序等）到ResourceManager。 ResourceMan ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的，1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址：https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择：docker-ce:2 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装，还是可以参考笔者另一篇文章，APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网：https://zookeeper.apache.org/ zookeeper常用用途： 集群管理，zookeeper作为注册中心，管理服务提供方的ip地址端口号url信息，并在服务消费方请求需要时发送给服务消费方。 配置中心（不过一般用阿波罗apollo或者阿里的Nacos来做） 多个app ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
DataGridView常见操作及修改
public partial class Form4 : Form { public Form4() { InitializeComponent(); } #region datagridview void RowColSet(DataGridView grid) { //不显示标题栏 grid.C ......
解决分层打包后，报Could not find or load main class org.springframework.boot.loader.JarLauncher错误
解决分层打包后，报Could not find or load main class org.springframework.boot.loader.JarLauncher错误 发现问题 升级到springboot 3.2 后，之前的分层打包启动后会报一下错误 Error: Could not fi ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......
win10安装git fatal: open /dev/null or dup failed: No such file or directory错误解决方法
https://files.cnblogs.com/files/netlock/null.zip?t=1703226893&download=true 文件地址 解决方法：1.C:\Windows\System32\drivers\null.sys 这个文件损坏，可以从网上下载win7、win10对 ......
Python3 错误和异常
目录一、基础概念1.1 什么叫做语法错误?1.2 什么叫做异常?1.3 try-except语法二、异常关键词解析2.1 raise 抛出异常2.2 定义清理行为三、常用案例3.1 基本用法3.2 捕获多个异常3.3 捕获所有异常3.4 自定义异常3.5 在循环中使用try-except 一、基础概 ......
CRM系统的必要性：如何解决客户跟进的常见问题和挑战？
众所周知，在销售开始跟进客户时，制定一个详细的跟进计划是至关重要的，尤其当客户方涉及多个联系人时，合理的管理方法能有效提升销售业绩。现在跟着小编一起了解下，CRM系统如何帮助企业精准跟进客户吧？ 一、客户信息查阅 客户信息调取：确保在跟进过程中能充分了解客户的背景和需求。系统化的数据管理能自动调取客 ......
YARN集群架构
玩Hadoop的不知道YARN？这简直是天大的笑话！之前介绍Hadoop核心组件的时候（详见《Hadoop的“前世今生”》那篇博文）就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”，那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构，主要 ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
OI编程中的一些常见事项
1,浮点数 double 精度可以达到15位，只要是浮点数，直接double float 有效数字精度不够(少于6位)，编程中为了避免精度问题，建议不使用float 2，变量在main()内外的区别 堆 变量放在main(）函数外的被称为堆区，空间大，可以放更多、更大的数据，建议放在这里 栈 变量放 ......