start-dfs dfs stop-dfs hadoop
loj144&145 dfs序+树状数组/线段树
[https://loj.ac/p/144](loj144) [https://loj.ac/p/145](loj145) 两题非常相似，一题的权值修改是在点上的，一题的权值修改是在整棵子树上的。 首先我们要了解dfs序，并记录每个节点的子树大小sz，对于一个节点，在dfs序上sz长的区间全都是他的 ......
运行hadoop version时出现 此时不应有 \Hadoop\hadoop-3.2.4\bin\
在Windows环境下cmd运行Hadoop version命令时出现 此时不应有 \Hadoop\hadoop-3.2.4\bin\ 报错 在网上查到是因为环境变量的路径中有空格，但是我通过 where Java 和where hadoop 都没有发现空格 但是我的路径中存在括号，当尝试将括号删除 ......
阿里云centos+Docker+hadoop
在阿里云上搭建hadoop 镜像：centos 容器：docker 软件：hadoop 阿里云centos+Docker+hadoop Docker 在Centos7下面安装docker （1）移除旧版： yum remove docker \ docker-client \ docker-clie ......
DFS 序
最近接触到一些 DFS 序的题，它可以用来解决一些关于子树的问题。 DFS 序本质就是一棵树在深度优先搜索时访问节点的顺序。比如有下面一棵树，其 DFS 序就是 $1 \; 2 \; 4 \; 7 \; 8 \; 5 \; 3 \; 6 \; 9$。 DFS 序有一个很重要的性质，以节点 $u$ 为 ......
深度优先搜索（DFS）
深度优先搜索（DFS） 我们以二叉树的遍历为例子。 先序遍历 遍历过程 访问根节点 先序遍历其左子树 先序遍历其右子树 中序序遍历 遍历过程 中序遍历其左子树 访问根节点 中序遍历其右子树 后序遍历 遍历过程 后序遍历其左子树 后序遍历其右子树 访问根节点 我们使用数组来模拟二叉数，使用代码实现如下 ......
hadoop的文件存储格式parquet
hadoop 里支持许多压缩算法。压缩的好处主要有两点：1. 减少了文件占用的存储空间，原来上 T 的文件可能压缩完以后只需要两三百 G 的空间即可；2. 文件的体积小了以后，数据传输的速度自然就快了。在现在的大数据环境下，这两点显得更加重要。所以现在 hdfs 文件系统上存的文件，如果数据量大到一 ......
Hadoop学习(一) 搭建伪分布式集群
文章结构 1.准备工作 1.1 配置IP 1.2 关闭防火墙 1.3 修改主机名并与IP绑定 1.4 创建新用户 1.5 配置免密匙 2.安装并配置Hadoop伪分布式集群 2.1 安装Java 2.2 安装配置Hadoop伪分布式集群 1.准备工作 1.1 配置IP 首先进入该路径下 cd /et ......
dfs回溯算法，拨号
题目 电话号码的字母组合 给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。 示例 1： 输入：digits = "23" 输出：["ad","ae","af","bd","be"," ......
DFS和BFS
DFS : acwing 842 递归搜索树 1 #include<iostream> 2 using namespace std; 3 4 const int N = 10; 5 int n; 6 int path[N]; 7 bool st[N]; 8 9 void dfs(int u) 10 ......
hadoop fs -test的相关命令
Hadoop FileSystem（HDFS）提供了多种命令来检查文件系统的状态和操作。以下是一些常用的hadoop fs -test命令： hadoop fs -test -e <path>: 检查指定路径是否存在。如果存在，返回0；否则返回非0值。 hadoop fs -test -d <pat ......
CF1316D Nash Matrix（构造/dfs）
题目 第一次做构造题，做了两节晚自习 qwq 一开始我完全是正着想，首先 \(X\) 是显然的，但其他的点就不好做了， 然后我就想，可行的一般结论推不出，那就想反例，然后我想啊想......倒是想到了几个，比如说环与环之间不能有相交，环内外的点不能互相到达，跟本举不完，而且也不好实现，还是要想一般结 ......
DFS
Oil Deposits 这道题的原题链接Online Judge 自行翻译 == == The GeoSurvComp geologic survey company is responsible for detecting underground oil deposits. GeoSurvCom ......
DFS
Oil Deposits 这道题的原题链接Online Judge 自行翻译 == == The GeoSurvComp geologic survey company is responsible for detecting underground oil deposits. GeoSurvCom ......
11.9 hadoop学习
今天重新配置了hadoop，hbase，zookeeper，hive。 zk.sh start 启动zookeeperzk.sh stop 关闭zookeeperzk.sh status 查看zookeeper状态hbs.sh start 启动hbasehbs.sh stop 关闭hbaseall. ......
20231107学习总结-大型数据库-实验1.熟悉常用的Linux操作和Hadoop操作
实验1 熟悉常用的Linux操作和Hadoop操作 1.实验目的 Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。 2.实验平台 （1）操作系统：Linux（建议Ubuntu16.0 ......
Hadoop：Yarn资源调度
1、Yarn是什么？ Apache Hadoop YARN （Yet Another Resource Negotiator 另一种资源协调者）是一种新的Hadoop资源管理器，提供一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把Hadoop YARN理解为相当于一个分布 ......
DFS、BFS模板
目录DFSBFS DFS 处理当前节点的位置不同对应着不同的遍历 def preorderTraversal(root): if not root: return print(root.val) #前序遍历，处理当前节点 preorderTraversal(root.left) # 递归遍历左子树 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
云计算-hadoop的安装（书接上回+分布式搭建）
书接上回，这次来进行分布式集群的搭建。 执行命令：echo $JAVA_HOME 查看路径，我的路径如图所示： 然后在/usr/local/hadoop目录下，执行命令gedit ./etc/hadoop/hadoop-env.sh 打开文本，然后再第一行添加刚刚的路径，如图所示： 因为之前一节咱们 ......
hadoop 将nn节点的环境配置同步到dn节点
使用scp命令克隆配置 输入 sudo scp -r jdk1.8.0_391/ hxf@slaver2:/opt/module 报错ssh: Could not resolve hostname hxf: Temporary failure in name resolution lost conn ......
Finalshell给虚拟机安装JDK1.8，hadoop-3.3.3，hive3.1.2并配置环境
点击红框按钮，把下载好的jdk，hadoop，hive安装包上传到指定路径 我的路径是/home/用户名/Downloads 查看上传文件 sudo tar -zxvf /home/hxf/Downloads/jdk-8u391-linux-x64.tar.gz -C /opt/module/ su ......
Hadoop3.x和Hive3.x环境搭建
Hadoop3.3.6 创建hadoop用户 useradd hadoop su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ......
力扣1026. 节点与其祖先之间的最大差值（DFS）
给定二叉树的根节点 root，找出存在于 不同 节点 A 和 B 之间的最大值 V，其中 V = |A.val - B.val|，且 A 是 B 的祖先。 （如果 A 的任何子节点之一为 B，或者 A 的任何子节点是 B 的祖先，那么我们认为 A 是 B 的祖先） 示例 1： 输入：root = [ ......
hadoop初体验1——官方案例pi值计算
1.执行命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar pi 2 2 hadoop jarHadoop jar命令 hadoop-mapreduce-examples-3.3.6.jar程序 ......
hadoop初体验2——官方案例wordcount
1.命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/input /wordcount/output 执行命令hadoop jar hadoop-ma ......
Hadoop三大组件（HDFS,MapReduce,Yarn）
1、HDFS HDFS是Hadoop分布式文件系统。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。 2、MapReduce MapReduce是一个软件 ......
window10安装单机hadoop
一、配置jdk 默认已配置 二、下载hadoop3.2.2 http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 三、下载hadoop-winutils https://github.com/cdarlint/winutils 下载后将 ......