hadoop apache org rpcnosuchprotocolexception
Hadoop - hadoop自带MR案例：词频 WordCount
词频 Word Count 1、在浏览器上访问 https://node01:9870 2、创建目录 /user 目录 bin/hdfs dfs -mkdir /user 如果未配置环境变量，需要到hadoop安装目录下执行 /opt/module/hadoop-2.5.2（这个是我的安装目录） 3 ......
org.geotools.filter.text.ecql.ECQL在哪个包？
<!--gt-cql过滤查询支持--> <dependency> <groupId>org.geotools</groupId> <artifactId>gt-cql</artifactId> <version>${geotools.version}</version> </dependency> ......
使用 apache pdfbox 合并pdf文件
import java.io.File; import java.util.Iterator; import org.apache.commons.io.FileUtils; import org.apache.commons.io.filefilter.FileFilterUtils; impor ......
org.codehaus.plexus.archiver.jar.Manifest.write(java.io.PrintWriter)
Description Resource Path Location Type org.codehaus.plexus.archiver.jar.Manifest.write(java.io.PrintWriter) pom.xml /gs-rest-service line 1 Maven Con ......
Apache ECharts【用户层】
一、介绍 Apache ECharts 是一款基于 JavaScript 的 开源可视化图表库。 提供直观、生动、可交互、可个性化定制的数据可视化图表。 二、官网地址： https://echarts.apache.org/zh/index.html 三、总结 不管是哪种形式的图形，最本质的东西实际 ......
Cause: org.apache.ibatis.builder.BuilderException: Ambiguous collection type for property 'emps'. You must specify 'javaType' or 'resultMap'
Cause: org.apache.ibatis.builder.BuilderException: Error parsing SQL Mapper Configuration. Cause: org.apache.ibatis.builder.BuilderException: Error pa... ......
Hadoop - 执行start-dfs.sh、stop-dfs.sh 报错处理
执行 sbin/start-dfs.sh 和 sbin/stop-dfs.sh 报错，且进程仍然在 ......
Hadoop - 两个Namenode都是standby状态怎么处理
在任意一个standby的NN节点执行 [root@node02 hadoop-2.5.2]# bin/hdfs haadmin -transitionToActive --forcemanual nn1 You have specified the forcemanual flag. This f ......
Hadoop - 分布式部署
Zookeeper的分布式部署 >> Hadoop的分布式部署 集群规划 安装部署 集群规划 序号 主机名 JDK Zookeeper NameNode JournalNode DataNode ResourceManager NodeManager 1 node01 JDK ZK NN JN DN ......
Apache的安装与启动
1.Apache的安装 Linux系统中一般采用Apache作为Web服务器软件，安装软件包为httpd。 2.Apache的启动 1启动httpd服务. 2设置httpd服务开机自启动 ......
Apache Hudi 1.x 版本重磅功能展望与讨论
Apache Hudi 社区正在对Apache Hudi 1.x版本功能进行讨论，欢迎感兴趣同学参与讨论，PR链接：[https://github.com/apache/hudi/pull/8679/files](https://github.com/apache/hudi/pull/8679/fi ......
开源许可证 GPL、BSD、MIT、Mozilla、Apache和LGPL的区别
开源许可证 GPL、BSD、MIT、Mozilla、Apache和LGPL的区别 二、详细说明1.BSD许可证（https://en.wikipedia.org/wiki/BSD_licenses）BSD开源协议是一个给于使用者很大自由的协议。基本上使用者可以”为所欲为”，可以自由的使用，修改源代码 ......
Hadoop-3.3.5单节点开启Kerberos认证
1、Hadoop单节点部署 部署过程看官方文档即可 https://hadoop.apache.org/ 为增加执行命令的便利性，添加hadoop的环境变量： vim /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/local/hadoop-3.3. ......
什么是 Apache ActiveMQ？
# 什么是 ActiveMQ？ ActiveMQ 是一种流行的消息传递服务，可促进企业系统中大规模的不同数据。在本 ActiveMQ 教程中，我们概述了 ActiveMQ、它的优点、它的工作原理以及何时应该使用它。 什么是 ActiveMQ？ ActiveMQ 是一种流行的开源消息传递服务，它构建在 ......
Hadoop - HDFS 概述
什么是HDFS HDFS的优缺点 HDFS的文件块大小 HDFS的写数据流程 HDFS的副本配置策略 HDFS读数据的流程 什么是HDFS HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器 ......
数据治理核心保障数据质量监控开源项目Apache Griffin分享
数据开发和数据应用创造价值离不开数据的质量，数据质量管理是数据治理重要保障途径，Apache Griffin就是为解决数据质量监控而设计，本篇先了解Apache Griffin定义、特性和架构，然后通过官方提供docker-compose一键部署和体验，通过官网提供批处理和流处理演示操作，最后通过其... ......
flink安装（无hadoop）
下载Flink：访问Flink的官方网站（https://flink.apache.org/），在下载页面找到适合你操作系统的预编译二进制包。选择与你的操作系统和版本相对应的下载链接，点击下载。 解压二进制包：下载完成后，将二进制包解压到你想要安装Flink的目录中。你可以使用命令行工具（如tar命 ......
hadoop 生态环境
HDFS角色及概念 hadoop体系中数据存储管理的基础，是一个高度蓉错的系统，用于在低成本的通用硬件上运行 角色和概念 — Client — NameNode — Secondarynode — Datanode NameNode — Master节点，管理HDFS的（名称空间和数据块映射信息)就 ......
【博学谷学习记录】超强总结，用心分享 | Hadoop
【博学谷IT技术支持】 # 一、介绍 ## 概念 [Apache™ Hadoop®](https://hadoop.apache.org/) 项目为可靠、可扩展的分布式计算开发开源软件。允许简单的编程模型在大量计算机集群上对大型数据集群进行分布式处理。 项目包含以下模块： - `Common`: 支 ......
【博学谷学习记录】超强总结，用心分享 | hadoop的组成
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # hadoop的构成 hadoop集群主要包含：HDFS集群、MapReduce、YARN集群。HDFS集群复制海量数据的存储，MapReduce负责海量计算，Yarn集群存在数据运算时的资源调度。 - hdfs集群主要包含了角色na ......
大数据面试题集锦-Hadoop面试题(二)-HDFS
> 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、 HDFS 中的 block 默认保存几份？ 默认保存3份 ## 2、HDFS 默认 BlockS ......
Windows 配置 Hadoop and Spark
一 JDK环境配置 由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME 下载JDK11 链接：https://www.oracle.com/java/technologies/javase/j ......
Apache DolphinScheduler 3.0.6 发布，或将是最后一个 3.0.X 版本
Apache DolphinScheduler 于近日发布了 3.0.6 版本，主要针对 3.0.5 重要 bug 进行修复。如果之后没有发现重大问题，3.0.6 将会是 3.0.x 最后一个版本。 Bug修复 Master 重新连接 zk 后 slot 没有正常更新 #14014 父工作流失败时 ......
Spring AOP错误：org.springframework.beans.factory.BeanNotOfRequiredTypeException:
org.springframework.beans.factory.BeanNotOfRequiredTypeException: Bean named 'myCalculator' is expected to be of type 'com.mashibing.service.MyCalcula ......
关于Hadoop集群无法正常关闭的问题
### 原生命令 正常情况我们是通过以下命令来停止和开启集群的 ```sh sbin/stop-all.sh sbin/start-all.sh ``` 但有时候不生效，通过ps还能查看到，但jps命令查看不到 ### 自定义停止命令 ```sh #!/bin/bash # 停止hadoop进程 h ......
org.springframework.security.authentication.InternalAuthenticationServiceException: Invalid bound statement (not found): com.tc.auth.mapper.SysMenuMapper.findListByUserId 问题解决
添加如下配置即可 1.在pom.xml添加 <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <versio ......
Hadoop之YARN详解
### YARN的由来 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以YARN可以实现HADOOP集群的资源共享，不仅仅可以跑MapRedcue，还可以跑Spark、Flink。 ### YARN架构分析 ......
开源许可证 GPL、BSD、MIT、Mozilla、Apache和LGPL的区别
开源（Open Source）：开源是指公开软件的源代码。开源软件在发行的时候会附上软件的源代码，并授权允许用户更改、传播或者二次开发。 软件的分类： 商业：收费，源码不公开 共享：免费，源码不公开 自由：源码公开 开源协议： 世界上的开源许可证（Open Source License）大概有上百种 ......
【随手记录】Unable to create requested service [org.hibernate.engine.jdbc.env.spi.JdbcEnvironment]
链接数据库报错 Unable to create requested service [org.hibernate.engine.jdbc.env.spi.JdbcEnvironment] 出现这个问题基本是数据库的方言 dialect 或者驱动 driver_class有问题，可以确认下diale ......
com.gitHub.pageHelper.PageHelper cannot be cast to org.apache.ibatis.pluin.Interceptor
可能是因为版本冲突问题PageHelper5之前与之后是配置文件有发生变化，下面这个是使用pageHelper5.1.18jar包导入。使用PageHelper分页插件（使用spring+分页插件的方式）结果忘记把mybatis的分页插件和依赖去除，结果导致排错很久（怀疑是版本冲突的问题）附上正确用 ......