start-dfs hadoop start dfs
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
【Nacos】启动报错 failed to req API:/nacos/v1/ns/instance after all servers([xxx]) tried: ErrCode:403、NacosException: Client not connected,current status: STARTING
1 com.alibaba.nacos.api.exception.NacosException：failed to req API:/nacos/v1/ns/instance after all servers([xxx]) tried: ErrCode:403, ErrMsg:<html><bo ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
springcloudalibabada搭建过程中springboot启动卡住起不来 （Started MoonceProviderApplication in 11.254 seconds (JVM running for 13.896)）
如下图一样springcloudAlibaba在创建新模块之后启动新模块没有注册到nacos上，而是直接卡住起不来原因 原因是：引入了错误的web包： 解决办法： 引入相应的 spring-boot-starter-web 包： <dependency> <groupId>org.springfra ......
Docker启动遇到Redirecting to /bin/systemctl start docker.service
解决方法： 使用命令：systemctl start docker docker相关命令： 启动docker：systemctl start docker 停止docker：systemctl stop docker 重启docker：systemctl restart docker 查看docke ......
Spring Boot 2.6.1 nested exception is org.springframework.context.ApplicationContextException: Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactor
org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context.ApplicationContex ......
Hadoop MapReduce框架原理
1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 ......
Hadoop 数据类型及序列化
1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Writable Writable Writable Writable Writable Writable Writable Writable Writable 2.为何Had ......
ASP.NET Core 3.1出现HTTP Error 500.30 - ANCM In-Process Start Failure 日志错误'0xe0434352'
升级Visual Studio后无法运行ASP.NET Core 3.1出现HTTP Error 500.30 - ANCM In-Process Start Failure 日志错误'0xe0434352', 高版本NET正常运行. ......
【报错解决】RuntimeError: An attempt has been made to start a new process...
【报错解决】RuntimeError: An attempt has been made to start a new process… 今天来记录一个Pycharm当中的报错解决： RuntimeError: An attempt has been made to start a new proc ......
Hadoop MapReduce编程规范
用户编写的程序分为三个部分:Mapper、Reducer和Driver 1.Mapper阶段 用户自定义的Mapper要继承自己的父类 Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 Mapper的输出数据是KV对的形式（KV的类型可自定义） ......
力扣2477. 到达首都的最少油耗(dfs+贪心）
给你一棵 n 个节点的树（一个无向、连通、无环图），每个节点表示一个城市，编号从 0 到 n - 1 ，且恰好有 n - 1 条路。0 是首都。给你一个二维整数数组 roads ，其中 roads[i] = [ai, bi] ，表示城市 ai 和 bi 之间有一条 双向路 。 每个城市里有一个代表， ......
Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析
NameNode被格式化之后，将在NameNode目录下产生一些文件 1.Fsimage文件 Fsimage文件是HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息 2.Edits文件 Edits文件存放了HDFS文件系统的所有更新操作的路径， ......
Hadoop 配置的优先级
从低到高 1.默认配置 默认文件 文件存放在Hadoop的jar包中的位置 core-default.xml hadoop-common-3.3.6.jar/core-default.xml hdfs-default.xml hadoop-hdfs-3.3.6.jar/hdfs-default.xm ......
CentOS7 克隆虚拟机后配置新虚拟机的步骤（包含Fail to start lsb报错解决）
在第一次克隆虚拟机的情况下因为某些奇怪的报错原因导致配了很久，特别是重启network服务时候的报错，期间我多次查询网络的帖子，查看报错日志，所以特地写下这篇博客，希望能够帮到大家，也是给自己留个克隆虚拟机的操作流程记录。 1. 使用VMware Workstation克隆一台新虚拟机 在VMwar ......
PostgreSQL - Start a container with docker compose file
Docker compose file: services: postgres: image: postgres:16-alpine environment: - POSTGRES_USER=root - POSTGRES_PASSWORD=aaa - POSTGRES_DB=zimple_bank ......
Java实现对Hadoop HDFS的API操作
1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependen ......
Hadoop 配置Windows 客户端
1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境 双击winutils. ......
Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Hadoop 常用端口号
端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端 ......
xv6 start
操作系统必须满足三个要求：多路，隔离，交流。 用户模式和管理模式 强隔离要求应用程序和操作系统之间有一个硬边界。如果应用程序出错，我们不希望操作系统失败或其他应用程序出错，相反操作系统应该能够清理失败的应用程序并继续运行其他应用程序。为了实现强隔离，操作系统必须安排应用程序不能修改(甚至读取)操作系 ......
虚拟机运行Hadoop | 各种问题解决的心路历程
ps：完成大数据技术实验报告的过程，出项各种稀奇古怪的问题。(知道这叫什么吗？经济基础决定上层建筑，我当时配置可能留下了一堆隐患，总之如果有同样的问题，希望可以帮到你) 一、虚拟机网络连接不通的各种情况 我这里遇到的是，三台虚拟机，两台piing百度不同 原因：改了下内存，重启就又未知的网络名称 解 ......
found character '@' that cannot start any token. (Do not use @ for indentation)
Caused by: org.yaml.snakeyaml.scanner.ScannerException: while scanning for the next token found character '@' that cannot start any token. (Do not use ......
nginx：Failed to start nginx.service:unit not found
nginx：Failed to start nginx.service:unit not found - 知乎 (zhihu.com) 错误的原因就是没有添加nginx服务，所以启动失败。 解决方法： 1. 在/root/etc/init.d/目录下新建文件，文件名为nginx 或者用命令在根目录下 ......
解决Docker启动Starting the Docker Engine的问题:
问题如上图,试图启动Docker时一直转圈圈,已经确认了打开Hyper-V功能依然无法解决.通过在网上查资料,了解到因为在电脑上安装过了雷电模拟器等APK模拟器后,此时再去使用Docker就会出现奇奇怪怪的问题.因为系统只能虚拟化一个,无法都兼顾. 解决方法1: 重新启动Dokcer 尝试重新启动系 ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
力扣1038. 从二叉搜索树到更大和树(dfs)
给定一个二叉搜索树 root (BST)，请将它的每个节点的值替换成树中大于或者等于该节点值的所有节点值之和。 提醒一下， 二叉搜索树 满足下列约束条件： 节点的左子树仅包含键 小于 节点键的节点。 节点的右子树仅包含键 大于 节点键的节点。 左右子树也必须是二叉搜索树。 示例 1： 输入：[4,1 ......
System.Diagnostics.Process.Start 用法
原文链接：https://blog.csdn.net/polloo2012/article/details/82110642 System.Diagnostics.Process.Start(); 能做什么呢？它主要有以下几个功能： 1、打开某个链接网址（弹窗）。 2、定位打开某个文件目录。 3、打 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......