hadoop apache org rpcnosuchprotocolexception
20231107学习总结-大型数据库-实验1.熟悉常用的Linux操作和Hadoop操作
实验1 熟悉常用的Linux操作和Hadoop操作 1.实验目的 Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。 2.实验平台 （1）操作系统：Linux（建议Ubuntu16.0 ......
Hadoop：Yarn资源调度
1、Yarn是什么？ Apache Hadoop YARN （Yet Another Resource Negotiator 另一种资源协调者）是一种新的Hadoop资源管理器，提供一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把Hadoop YARN理解为相当于一个分布 ......
Apache Hudi Timeline：支持 ACID 事务的基础
Apache Hudi 维护在给定表上执行的所有操作的Timeline（时间线），以支持以符合 ACID 的方式高效检索读取查询的数据。 在写入和表服务期间也会不断查阅时间线，这是表正常运行的关键。 如果任何时间线操作出现混乱（由于多写入未配置锁提供程序等），则可能导致数据一致性问题（数据丢失或数据 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
云计算-hadoop的安装（书接上回+分布式搭建）
书接上回，这次来进行分布式集群的搭建。 执行命令：echo $JAVA_HOME 查看路径，我的路径如图所示： 然后在/usr/local/hadoop目录下，执行命令gedit ./etc/hadoop/hadoop-env.sh 打开文本，然后再第一行添加刚刚的路径，如图所示： 因为之前一节咱们 ......
hadoop 将nn节点的环境配置同步到dn节点
使用scp命令克隆配置 输入 sudo scp -r jdk1.8.0_391/ hxf@slaver2:/opt/module 报错ssh: Could not resolve hostname hxf: Temporary failure in name resolution lost conn ......
Finalshell给虚拟机安装JDK1.8，hadoop-3.3.3，hive3.1.2并配置环境
点击红框按钮，把下载好的jdk，hadoop，hive安装包上传到指定路径 我的路径是/home/用户名/Downloads 查看上传文件 sudo tar -zxvf /home/hxf/Downloads/jdk-8u391-linux-x64.tar.gz -C /opt/module/ su ......
Hadoop3.x和Hive3.x环境搭建
Hadoop3.3.6 创建hadoop用户 useradd hadoop su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ......
报错 org.springframework.dao.DataIntegrityViolationException: Error attempting to get column
原因是持久化层的字段属性 跟 数据库的没有对应上, 类型不对 dao.DataIntegrityViolationException: Error attempting to get column 'STATUS' from result set. <if test="record.status ! ......
in org.springframework.cache.annotation.ProxyCachingConfiguration required a bean of type 'org.springframework.cache.interceptor.CacheOperationSource' that could not be found
我的项目是springboot项目，在启动过程中报错如何下 Parameter 0 of method cacheAdvisor in org.springframework.cache.annotation.ProxyCachingConfiguration required a bean of ......
doris FE启动异常：org.yaml.snakeyaml.representer.Representer: method <init>()V not found
doris FF启动异常，异常信息如下： 2023-11-01 09:53:22,691 INFO (main|1) [PaloFe.start():124] Palo FE starting... 2023-11-01 09:53:22,699 INFO (main|1) [FrontendOpt ......
Exception in thread "main" java.lang.NoSuchMethodError: org.springframework.util.Assert.isInstanceOf(Ljava/lang/Class;Ljava/lang/Object;Ljava/util/function/Supplier;)V
我的项目是springboot架构，项目启动报错如下 Exception in thread "main" java.lang.NoSuchMethodError: org.springframework.util.Assert.isInstanceOf(Ljava/lang/Class;Ljava ......
hadoop初体验1——官方案例pi值计算
1.执行命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar pi 2 2 hadoop jarHadoop jar命令 hadoop-mapreduce-examples-3.3.6.jar程序 ......
hadoop初体验2——官方案例wordcount
1.命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/input /wordcount/output 执行命令hadoop jar hadoop-ma ......
apache.poi设置word页眉页脚
XWPFDocument docx = new XWPFDocument(); XWPFHeaderFooterPolicy headerFooterPolicy = docx.getHeaderFooterPolicy(); if (headerFooterPolicy == null) head ......
Apache Commons Configuration/Apache Commons Configuration2 编辑ini文件
Apache Commons Configuration 依赖 <dependency> <groupId>commons-configuration</groupId> <artifactId>commons-configuration</artifactId> <version>1.10</ve ......
Hadoop三大组件（HDFS,MapReduce,Yarn）
1、HDFS HDFS是Hadoop分布式文件系统。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。 2、MapReduce MapReduce是一个软件 ......
apache无法启动，报错显示80端口被占用
重启windows服务器后，发现apache无法启动，报错显示80端口被占用。 1. 在powershell中使用管理员权限运行如下代码 netstat -ano | findstr 0.0.0.0:80发现占用80端口的竟然是pid为4的系统任务 2. 暴力解决方法，关闭windows系统中的ht ......
window10安装单机hadoop
一、配置jdk 默认已配置 二、下载hadoop3.2.2 http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 三、下载hadoop-winutils https://github.com/cdarlint/winutils 下载后将 ......
云计算-hadoop的安装
云计算的课程，主要还是要梳理逻辑（尽管我不是做这个方向的，但是课程还是要好好完成！） 前提： 安装好虚拟机VirtualBox，并且下载好Ubuntu的光盘映像文件。 文章思路： 1.配环境（SSH免密码登录，JAVA环境） ２.配Hadoop（下载包，配置相应的环境） ３.运行（感受一下实际例子） ......
Hadoop-大数据组件版本号查看
1．操作系统 cat /etc/redhat-release ; 2．JDK java -version 3．SCALA scala --version 4．MySQL mysql --version 5．Zookeeper ps -ef | grep -E “zookeeper-.*.jar” 6 ......
Apache Presto：一个统一多数据源的SQL查询引擎
Apache Presto 是一个开源的分布式 SQL 查询引擎，它可以在大数据环境下进行交互式的数据分析。Presto 允许用户使用熟悉的 SQL 语法在不同的数据源上进行查询，比如 Hive、Cassandra、PostgreSQL、Kafka、MySQL、ElasticSearch 等，让用户 ......
免费活动-11月4日敏捷武林上海站 | Scrum.org CEO 亲临现场与你共话敏捷
免费活动，11月4日，上海浦东，期待与您敏捷论剑！不仅是知识的交流，更是一个契机，让我们一同勇敢前行，敏捷应对未来，成为更加卓越的自己。本次活动费用全免，欢迎携带朋友或同事前来，让我们在这个金秋的上海，为自己的成长播撒一颗敏捷的种子。 ......
【1】基于docker搭建hadoop+hive+spark+hbase+zookeeper+scale集群
1、设置主机上的虚拟缓存 当本地内存不足时，可以使用虚拟内存将一些内存数据转移到硬盘上，从而扩展计算机的内存容量。这样可以让计算机运行更复杂、更占用内存的程序，不会出现内存不足的情况。减轻物理存储器不足的压力，设置虚拟内存可以在内存不够的情况下将缓存一时放在硬盘上，解决内存不足问题。 通过虚拟内存， ......
Redis 6 学习笔记 4 —— 通过秒杀案例，学习并发相关和apache bench的使用，记录遇到的问题
背景 这是某硅谷的redis案例，主要问题是解决计数器和人员记录的事务操作 按照某硅谷的视频敲完之后出现这样乱码加报错的问题 乱码的问题要去tomcat根目录的conf文件夹下修改logging.properties，把下面两个encoding参数都改成GBK就行。 其实错误也很明显（ClassNo ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
IO流，File类在IO的作用、Apache IO包的介绍
简单来说 就是把 FileInputStream（"i:/aa.txt"） 变成了 FileInputStream（new File("i:/aa.txt")） 所有流都可以用 只要是对文件进行操作的。 Apache IO介绍: 第三方IO包 官方给到都是一些很基础的类，操作繁琐。 Apache提供 ......
Failed to start discovery: org.bluez.Error.InProgress
# bluetoothctl scan on Failed to start discovery: org.bluez.Error.InProgress 问题背景： blueZ版本： # bluetoothd --version 5.52 kernel版本：4.4.13 Bluetooth chip ......