hadoop apache org rpcnosuchprotocolexception
Hadoop YARN Cgroups 资源隔离讲解
目录一、概述二、Hadoop 环境准备三、内存资源限制四、CPU 资源限制1）启用 LCE2）启用 CGroup3）配置 Yarn CGroup 目录3）CPU 资源限制 一、概述 Hadoop YARN (Yet Another Resource Negotiator) 使用 Cgroups（Co ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder"
自动化框架中，从返回的json字符串中获取值，需要用jsonpath <!-- https://mvnrepository.com/artifact/com.jayway.jsonpath/json-path --> <dependency> <groupId>com.jayway.jsonpath ......
Apache RocketMQ，构建云原生统一消息引擎
在云计算和开源双轮驱动下，RocketMQ 在阿里外部完成全面规模化，帮助千行百业完成数字化转型，产品能力也得到进一步的飞跃。2022 年 5.0 正式发布，Apache RocketMQ 正式迈进云原生时代。 ......
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.binding.BindingException: Parameter 'keyWord' not found. Available parameters are [keyword, param1]
Request processing failed; nested exception is org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.binding.BindingExcepti ......
Apache 介绍
Apache基金会 Apache 软件基金会（Apache Software Foundation），简写为ASF。是一个负责管理 Apache 项目的开源基金会。 例如：Apache HTTP Server、Apache HTTP Server、Apache HTTP Server、Apache ......
解决分层打包后，报Could not find or load main class org.springframework.boot.loader.JarLauncher错误
解决分层打包后，报Could not find or load main class org.springframework.boot.loader.JarLauncher错误 发现问题 升级到springboot 3.2 后，之前的分层打包启动后会报一下错误 Error: Could not fi ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
为你的 Apache2 服务器上添加用户认证
背景 在一些情况下，当我们使用web服务器作为下载服务器，默认情况下文件都会存放在/var/www目录下，如果是公网那将涉及到一定的安全性。在apache中，添加用户认证（User Authentication）是 Apache HTTP 服务器中一种常见的安全措施，用于限制对某些资源的访问。指定允 ......
Apache Kyuubi 讲解与实战操作
目录一、概述二、Spark Kyuubi 架构三、Hadoop 基础环境安装1）hadoop 下载部署包2）创建网络3）部署MySQL4）部署 Hadoop Hive四、Spark Kyuubi 安装1）下载 Kyuubi2）下载 Spark32）配置 Kyuubi （Spark3）3）启动 Kyu ......
大数据hadoop理论面试题
1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......
Java学习之apache poi操作Excel文件
创建Java项目，然后加入Maven依赖如下： 读取指定的Excel文件 写入既存的Excel文件 创建新的Excel，添加文件内容 ......
Cause: org.xml.sax.SAXParseException; lineNumber: 17; columnNumber: 119; 对实体 "characterEncoding" 的引用必须以 ';' 分隔符结尾。
报错： Caused by: org.apache.ibatis.builder.BuilderException: Error creating document instance. Cause: org.xml.sax.SAXParseException; lineNumber: 17; col ......
apache HttpClient异常-ProtocolException: Target host is not specified
昨夜，甘肃临夏州积石山县发生6.2级地震，影响到甘肃、青海地区。截至目前，已有100多人遇难。百度了一下当地天气，还挺冷，夜间温度低到-15℃。祈祷难民早日得到救援吧。 分享今天解决的一个生产问题告警。 如下HTTP工具类中的httpClientPost方法使用apache（maven坐标：org. ......
Apache-httpd最新版本升级教程，解决漏洞（CVE-2017-9788、CVE-2017-9798、CVE-2016-2161等）
参考文档： https://blog.csdn.net/weixin_47444415/article/details/133682253 根据官网提供最新的版本号，下载最新版本即可； 这个教程试验过了，可以用； 注： 一.错误 报错：configure: error: You need a C++ ......
报错：org.apache.hadoop.hbase.util.GetJavaProperty
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......
hadoop集群常见错误
虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......
Apache ActiveMQ Jolokia 后台远程代码执行漏洞（CVE-2022-41678）
Apache ActiveMQ Jolokia 后台远程代码执行漏洞（CVE-2022-41678） Apache ActiveMQ是美国阿帕奇（Apache）软件基金会所研发的一套开源的消息中间件，它支持java消息服务、集群、Spring Framework等。 Apache ActiveMQ在 ......
hadoop启动时报错process information unavailable
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......
Hadoop的“前世今生”
Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......
apache相关漏洞
CVE-2021-41773 目录穿越 Apache HTTP Server 2.4.49、2.4.50版本对路径规范化所做的更改中存在一个路径穿越漏洞，攻击者可利用该漏洞读取到Web目录外的其他文件，如系统配置文件、网站源码等，甚至在特定情况下，攻击者可构造恶意请求执行命令，控制服务器。 启动环境 ......
mq引发的线上事故【nested exception is org.springframework.amqp.AmqpIOException】
背景： 前一天晚上运维关闭了服务间公网访问，第二天早晨系统登录不进去了，重启进去也报错 原因： mq连接不上，大量mq请求拖垮了系统；开发人员犯了两个错误(1. 内部通信用了公网地址访问， 2.mq发送请求没有做异步处理) ERROR -Servlet.service() for servlet [ ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
ThinkPHP5.0 apache服务器配置URL重写，index.php去除
本地环境wamp .htaccess文件代码 <IfModule mod_rewrite.c> Options +FollowSymlinks -Multiviews RewriteEngine on RewriteCond %{REQUEST_FILENAME} !-d RewriteCond % ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
Spring Boot 2.6.1 Error creating bean with name 'formContentFilter' defined in class path resource [org/springframework/boot/autoconfigure/web/servlet/WebMvcAutoConfiguration.class]
Error creating bean with name 'formContentFilter' defined in class path resource [org/springframework/boot/autoconfigure/web/servlet/WebMvcAutoConfigu ......