start-dfs hadoop start dfs
hadoop学习笔记第一次
这周学习了大数据之hadoop，这一周的学习主要围绕在hadoop集群配置及其华宁的搭建，hadoop是采用多态服务器的分布式系统，主要的核心就是hdfs,mapreduce,yarn等等，hadoop配置时候在主机上遇到了蛮多的问题现在就来记录一下。 1.首先是一些基础命令： 回退/进入目录命令： ......
Hadoop大数据
Apache基金会项目 从角色每个节点都要有 主角色只有一个 打开虚拟机一定要以管理员权限打开，不然有些文件它无法访问 恢复内容开始 Apache基金会项目 从角色每个节点都要有 主角色只有一个 打开虚拟机一定要以管理员权限打开，不然有些文件它无法访问 配置集群虚拟机 首先配置vmnet8网卡 修改 ......
Python使用hdfs上传文件至hadoop报错
报错代码： from hdfs.client import Client hdfs_client = Client('http://IP:端口') hdfs_client.makedirs(hdfs_dir) 在与hadoop创建链接后建文件夹时报错 报错信息： requests.exception ......
万字长文 | Hadoop 上云： 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。 **为了解决包括扩容周期长、计算存储资源 ......
Scala连接Hbase集群出现异常tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
总结/朱季谦 在新项目上创建以下Scala代码去连接Hbase集群，用来判断Hbase是否存在某张表。 ``` //离线Hbase val conf: Configuration = HBaseConfiguration.create() conf.set("hbase.zookeeper.quor ......
Hadoop MapReduce编写实现序列化统计各学生的总分
Map类 package org.example.score; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; i ......
安装Hadoop单节点伪分布式集群
[toc] # 安装Hadoop单节点伪分布式集群 操作系统：Ubuntu server 20.04 参考文档：`http://apache.github.io/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html` ## 系统准备 ......
SpringBoot中使用Netty开发WebSocket服务-netty-websocket-spring-boot-starter开源项目使用与改造多线程群发消息
场景 SpringBoot+Vue整合WebSocket实现前后端消息推送： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/114392573 SpringCloud(若依微服务版为例)集成WebSocket实现前后端的消息推送： ......
hadoop基础-hadoop启动脚本分析及常见命令
进程 [hdfs]start-dfs.sh NameNode NN DataNode DN SecondaryNamenode 2NN [yarn]start-yarn.sh ResourceMananger RM NodeManager NM 脚本分析 sbin/start-all.sh libe ......
解决docker报错Job for docker.service failed because start of the service was attempted too often
转载自：https://blog.csdn.net/Along_168163/article/details/124118833 docker安装之后重新安装报错如下： Job for docker.service failed because start of the service was at ......
Hadoop中hive的使用
启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 ......
Hadoop on k8s 快速部署进阶精简篇
[TOC] ## 一、概述 前面一篇文章已经很详细的介绍了Hadoop on k8s部署了，这里主要针对部署时可能会调整的地方和注意事项进行讲解，想详细了解详细部署过程可参考我上一篇文章：[Hadoop on k8s 编排部署进阶篇](https://www.cnblogs.com/liugp/p/ ......
大数据面试题集锦-Hadoop面试题(四)-YARN
> 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"**张飞的猪大数据分享**"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、为什么会产生 yarn,它解决了什么问题，有什么优势？ 1）Yarn最主要的功能就是解决运 ......
Hadoop中YARN集群启停命令
一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start| ......
hadoop3.3.5完全分布式搭建live nodes只有一个的情况
在我配置完所有结点启动后发现存活的结点只有一个，一开始我以为是主机或者配置的问题，但是都没有用 后来终于找到了问题所在，问题的关键就是xsync脚本分发后再使得三台主机的datanode id一样 修改这个使得三个主机的uuid不同即可 ......
Hadoop3.3.5完全分布式搭建
首先在之前的伪分布基础上克隆两台机器 这样一共三台虚拟机 为这三台虚拟机设置三个不同的静态ip地址和主机名 我的是 billsaifu 192.168.15.130 hadoop1 192.168.15.131 hadoop2 192.168.15.132 静态IP设置 #先进入root vim / ......
abc070d <简单树上dfs>
[D - Transit Tree Path](https://atcoder.jp/contests/abc070/tasks/abc070_d) ``` // https://atcoder.jp/contests/abc070/tasks/abc070_d // #include #inclu ......
非递归实现DFS
import java.util.ArrayDeque; public class NonRecuDfs { public static ArrayDeque<TreeNode> preArr = new ArrayDeque<>(); public static ArrayDeque<TreeNo ......
abc067d <博弈 + dfs>
[D - Fennec VS. Snuke](https://atcoder.jp/contests/abc067/tasks/arc078_b) ``` // https://atcoder.jp/contests/abc067/tasks/arc078_b // // 关键点: 双方的最优策略一 ......
hadoop2.7. 序列化对象
1.在hadoop中必须序列化对象后，才能进行网络传输,不使用java序列化的原因是：java序列化对象会添加很多信息，造成对象的字节数变大，hadoop序列化为一种高效的序列化 如果在实际生产中，BooleanWrite、IntWrite，Text，FloatWrite等数据类型无法满足要求，就需 ......
Hadoop on k8s 编排部署进阶篇
[TOC] ## 一、概述 `Hadoop` 是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它使用了 `Hadoop` 分布式文件系统`（Hadoop Distributed File System，HDFS）`来存储数据，并通过 `MapReduce` 编程模型进行数据处理。  ``` // https://atcoder.jp/contests/abc309/tasks/abc309_e // // 关键在于意识到, ......
Hadoop 伪分布模式配置
etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS中namenode地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property ......
hadoop2.7.2上安装hive
hive版本1.21 mysql版本5.6.24 1.解压hive tar -zxf apache-hive-1.2.1-bin.tar.gz -C ../app/ cd ../app/ ln -s apache-hive-1.2.1-bin hive 2.安装mysql 注：参考Linux安装My ......
c语言刷dfs和bfs合集（含回溯）
[TOC] # 1. dfs和bfs区别，解决不同的问题 - 通常来说，BFS适用于求最短路径，DFS用来解决最长匹配、连通性这些问题比较方便 【例1】 1091. 二进制矩阵中的最短路径 链接1：https://leetcode.cn/problems/shortest-path-in-binar ......
Ubuntu20.04 开机卡在“starting Gnome Display Manager”
今天ubuntu 开机遇到了该问题： 解决方法：https://blog.csdn.net/qq_42680785/article/details/116195840 sudo apt autoremove --purge snapd //清理磁盘空间 ......
redis 启动报错oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1:C 07 Jul 2023 06:48:05.705 # Redis version=6.0.6, bits=64, commit=00000000, modified=0, pid=1, just started 1:C 07 Jul 2023 06:48:05.705 # Configura ......
【DFS】路径总和
[TOC] # 应用 ## 应用1：Leetcode 112. 路径总和 ### 题目 [112. 路径总和](https://leetcode.cn/problems/path-sum/) ### 分析 #### DFS 这里，我们深度优先遍历的思路，遍历过程中，同时记录根节点到当前节点的路径和$ ......
Unity学习--C#初级编程 Awake和Start、Update和FixedUpdate的区别
### 1. Awake 和 Start 相同点： - 对象的生命周期内只会调用一次 不同点： - Awake在脚本启用或未启用后均会调用，Start只会在脚本启用后调用 - Awake在Start前调用 - 理解：Awake set Ammo for the enemy，Start allow e ......