getjavaproperty apache hadoop hbase
Hadoop 数据类型及序列化
1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Writable Writable Writable Writable Writable Writable Writable Writable Writable 2.为何Had ......
apache 项目的php配置文件
<VirtualHost *:80> ServerAdmin webmaster@example.com DocumentRoot "/www/wwwroot/api.com" ServerName api.com ServerAlias api.com #errorDocument 404 /40 ......
[JMeter] Apache Jmeter导入jmx压测脚本时，报错CannotResolveClassException: xxx
1 问题描述 Jmeter导入jmx压测脚本时，报错CannotResolveClassException: xxx JMeter Version : 5.5 JDK : 8 报错的关键信息： kg.apc.jmeter.vizualizers.CorrectedResultCollector co ......
Hadoop MapReduce编程规范
用户编写的程序分为三个部分:Mapper、Reducer和Driver 1.Mapper阶段 用户自定义的Mapper要继承自己的父类 Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 Mapper的输出数据是KV对的形式（KV的类型可自定义） ......
头歌——HBase 开发：使用Java操作HBase
第1关：创建表 题目 任务描述 本关任务：使用Java代码在HBase中创建表。 相关知识 为了完成本关任务，你需要掌握：1.如何使用Java连接HBase数据库，2.如何使用Java代码在HBase中创建表。 如何使用Java连接HBase数据库 Java连接HBase需要两个类： HBaseCo ......
Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析
NameNode被格式化之后，将在NameNode目录下产生一些文件 1.Fsimage文件 Fsimage文件是HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息 2.Edits文件 Edits文件存放了HDFS文件系统的所有更新操作的路径， ......
IDEA+SSM踩坑：org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)错误
在学习SSM框架时遇到了这个异常： org.apache.ibatis.binding.BindingException: Invalid bound statement (not found) 通过网上搜索原因时因为Mapper interface和xml文件的定义对应不上导致的。 按照搜索的解决 ......
Hadoop 配置的优先级
从低到高 1.默认配置 默认文件 文件存放在Hadoop的jar包中的位置 core-default.xml hadoop-common-3.3.6.jar/core-default.xml hdfs-default.xml hadoop-hdfs-3.3.6.jar/hdfs-default.xm ......
Web服务器Apache和Nginx的区别
Apache和Nginx是两种主要Web服务器，Apache和Nginx最核心的区别在于Apache是同步多进程模型，一个连接对应一个进程；而Nginx是异步的，多个连接（万级别）可以对应一个进程。 Apache 1、apache 的 rewrite 比 nginx 强大，在 rewrite 频繁的 ......
Java实现对Hadoop HDFS的API操作
1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependen ......
Hadoop 配置Windows 客户端
1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境 双击winutils. ......
Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Apache HTTP Server 的安装与配置
一、概要 1. 环境 (1) Rocky Linux 9.3 二、安装与配置 1. 安装 (1) 安装 sudo dnf install httpd -y (2) 服务 sudo systemctl start httpd sudo systemctl enable httpd systemctl ......
认识HTTP协议与apache
万维网：（www）并非计算机网络，而是一个大型的数据库，可以实现网页与网页之间的跳转 url：资源定位符 描述了一个资源在服务器上的具体位置 http：超文本传输协议 图片 视频 小程序 http： Hyper Text Transfer Protocol 应用层协议，默认端口： 80/tcp 可以 ......
Hadoop 常用端口号
端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端 ......
AMQP协议中的，消息队列RabbitMQ，ActiveMQ，Apache Kafka区别是什么？
都是基于AMQP协议来的一种实现方式。 参考chatGPT4 回答 请使用 Markdown 表格来展示 RabbitMQ、ActiveMQ 和 Apache Kafka 之间的区别： 维度 RabbitMQ ActiveMQ Apache Kafka 语言 Erlang Java Scala / ......
已解决：若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader
先描述一下当时的场景 回忆 看到出错了，我就想可能是哪个路径写错了，或者导依赖名字写对，或者说是多了少了标点符号什么的。 然而，还是想简单了，检查重启后发现问题并没有解决。 于是就把所有我改过的地方检查了一遍，检查和这个依赖相关的代码。发现还是没啥关系 后来去找百度、百度给的和我分析的一样，去找别的 ......
虚拟机运行Hadoop | 各种问题解决的心路历程
ps：完成大数据技术实验报告的过程，出项各种稀奇古怪的问题。(知道这叫什么吗？经济基础决定上层建筑，我当时配置可能留下了一堆隐患，总之如果有同样的问题，希望可以帮到你) 一、虚拟机网络连接不通的各种情况 我这里遇到的是，三台虚拟机，两台piing百度不同 原因：改了下内存，重启就又未知的网络名称 解 ......
java.lang.ClassNotFoundException: org.apache.commons.fileupload.disk.DiskFileItemFactory
DiskFileItemFactory类是文件上传才需要用到的类，所以，我们需要添加commons-fileupload依赖 <dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</arti ......
hbase启动问题
首先启动顺序：先启动zookeeper，然后启动hadoop 在启动hbase 我启动睡的时候一直报错，然后找错，首先保证hbase.site.xml文件内容如下 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configu ......
hbase shell 常用命令
Hbase shell命令 1．进入hbase客户端命令hbase shell 2．查看帮助命令 help 主要学习下面三个： 3．namespace创建命名空间 （1）create_namespace ‘ns1’ （2）list_namespace 4．ddl （1）list 查看表格 （2）cr ......
gerrit 反向代理从 apache 换成 nginx 之后项目页报错“The page you requested was not found, or you do not have permission to view this page”
每次配置 gerrit 需要用反向代理来实现auth_basic_user_file,以前用apache 进行配置，但不喜欢 apache 要换成 nginx，结果换成 nginx 之后，登录后打开project页报错“The page you requested was not found, or ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......