start-dfs hadoop start dfs
centos7.9重启网卡提示Failed to start LSB: Bring up/down networking.
前几天给一台机器状态centos7.9系统，设备有2个网口，今天重启网卡一直失败， 查看network状态，怀疑是eth0网卡有问题 查看eth0的网卡配置，发现是eth0网卡的BOOTPROTO=dhcp，且ONBOOT=yes，但eth0网口没插网线，这导致重启网卡时，一直重启eth0，但是没插 ......
字符串、线性表、队列、栈、哈希表、dfs、bfs
题目列表： 1. 字符串 无重复字符的最长子串 （中等难度） 给定一个字符串 s ，请你找出其中不含有重复字符的 最长子串 的长度。 AC代码，展开查看 class Solution { public: int lengthOfLongestSubstring(string s) { int res ......
第 369 场周赛(简单位运算，分类讨论，dfs，树形dp)
简单位运算模拟 class Solution { public: int findKOr(vector<int>& nums, int k) { vector<int> bit(32, 0); for(int i = 0; i < 31; i ++ ) { int cnt = 0; for(auto ......
云计算-hadoop的安装
云计算的课程，主要还是要梳理逻辑（尽管我不是做这个方向的，但是课程还是要好好完成！） 前提： 安装好虚拟机VirtualBox，并且下载好Ubuntu的光盘映像文件。 文章思路： 1.配环境（SSH免密码登录，JAVA环境） ２.配Hadoop（下载包，配置相应的环境） ３.运行（感受一下实际例子） ......
数据结构与算法 | 深搜（DFS）与广搜（BFS）
在查找二叉树某个节点时，如果把二叉树所有节点理理解为解空间，待找到那个节点理解为满足特定条件的解，对此解答可以抽象描述为： _在解空间中搜索满足特定条件的解_，这其实就是搜索算法（Search）的一种描述。当然也有其他描述，比如是“指一类用于在数据集合中查找特定项或解决问题的算法”，又或者是“指通过... ......
Hadoop-大数据组件版本号查看
1．操作系统 cat /etc/redhat-release ; 2．JDK java -version 3．SCALA scala --version 4．MySQL mysql --version 5．Zookeeper ps -ef | grep -E “zookeeper-.*.jar” 6 ......
【1】基于docker搭建hadoop+hive+spark+hbase+zookeeper+scale集群
1、设置主机上的虚拟缓存 当本地内存不足时，可以使用虚拟内存将一些内存数据转移到硬盘上，从而扩展计算机的内存容量。这样可以让计算机运行更复杂、更占用内存的程序，不会出现内存不足的情况。减轻物理存储器不足的压力，设置虚拟内存可以在内存不够的情况下将缓存一时放在硬盘上，解决内存不足问题。 通过虚拟内存， ......
P9669 [ICPC2022 Jinan R] DFS Order 2
Description P 有一棵树，根节点是 \(1\)，总共有 \(n\) 个节点，从 \(1\) 到 \(n\) 编号。 他想从根节点开始进行深度优先搜索。他想知道对于每个节点 \(v\)，在深度优先搜索中，它出现在第 \(j\) 个位置的方式有多少种。深度优先搜索的顺序是在搜索过程中访问节点 ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
Failed to start discovery: org.bluez.Error.InProgress
# bluetoothctl scan on Failed to start discovery: org.bluez.Error.InProgress 问题背景： blueZ版本： # bluetoothd --version 5.52 kernel版本：4.4.13 Bluetooth chip ......
swagger配置后，系统无法启动，报Failed to start bean 'documentationPluginsBootstrapper'
swagger与springboot版本不兼容解决方案： 1.swagger依赖版本过高，可以降低版本。2.在swagger配置类的application.yml配置文件中添加如下内容： spring: mvc: pathmatch: matching-strategy: ant_path_matc ......
两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
安装Ubuntu Linux元信息 两台机器，每台机器两台Ubuntu Ubuntu版本：ubuntu-22.04.3-desktop-amd64.iso 处理器数量2，每个处理器的核心数量2，总处理器核心数量4 单个虚拟机内存8192MB（8G），最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 768047b9-c7f7-459f-9220-5d8d7bdabefe)
在执行hive on spark的时候 上面的错误可能有以下几种问题： 1.版本问题 不匹配 2.时间参数问题 设置的参数太小了 3.在hive-site.xml文件中没有配置spark 的home 我的问题属于第一个问题导致没有跑成功 当时也在想是不是内存出现了问题 ......
Codeforces Round 875 (Div. 2) C. Copil Copac Draws Trees（ DFS ）
Codeforces Round 875 (Div. 2) C. Copil Copac Draws Trees 思路： 在输入树的边的同时记录他们的输入顺序 从 1 开始跑 DFS ，遇到未连上的边时 ， 有两种情况（用 q 表示当前点的顺序序号） 1.边的顺序在这个点连上之前，那么 DFS 的 ......
DFS 剪枝
DFS 剪枝 \(DFS\) 是一种常见的算法，大部分情况下，很少会爆搜为正解的题目。因为 \(DFS\) 的时间复杂度特别高。 我们可以先写一段 dfs 的伪代码 int ans = 最坏情况, now; // now 为当前答案 void dfs(传入数值) { if (到达目的地) { ans ......
hadoop集群 大数据项目实战_电信用户行为分析_day04
进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
sonarqube启动报错：You must address the points described in the following [2] lines before starting Elasticsearch.bootstrap check XXXmax numberXXXfor user[sonar] is too low .XXX check the logs at XXX/.log
You must address the points described in the following [2] lines before starting Elasticsearch.bootstrap check failure [1] of [2]: max number of threa ......
hadoop官方文档解读
Hadoop是一个分布式计算框架，用于存储和处理大规模数据集。 首先搞清楚为什么需要使用Hadoop Hadoop进行数据处理可以充分利用分布式计算和存储的优势，适用于大规模数据的批处理和分布式计算场景。 裸机上进行数据处理则更适合小规模数据或需要实时处理的场景。 在裸机上进行数据处理和使用Hado ......
Hadoop 1
hadoop 的核心架构：包括hdfs 和 mapReduce, HDFS 为海量数据提供了存储，而MapReduce 为海量数据提供了计算框架。 HBase：实时分布式数据库，MapReduce：分布式计算框架，HDFS：分布式文件系统。 HDFS中包含三个重要角色： NameNode, Data ......
hadoop集群 大数据项目实战_电信用户行为分析_day03
配置系统环境 Reis 1.先把之前的dump.rdb删除掉 rm -rf dump.rdb 2.把原始项目给的dump.rdb 放进来，它里面包含了需要的数据，比如端口；在这部之前必须要进行关闭端口，随后传送文件，最后重启端口 相关指令: bin/redis-server conf/redis.c ......
Failed to stop auditd.service: Operation refused, unit auditd.service may be requested by dependency only (it is configured to refuse manual start/stop).
[root@7 ~]# systemctl stop auditd.service Failed to stop auditd.service: Operation refused, unit auditd.service may be requested by dependency only (i ......
【DFS】129. 求根节点到叶子结点的和
链接 https://leetcode.cn/problems/sum-root-to-leaf-numbers/description/ 思路 时刻记住，DFS是递归的一种。而解决递归，最朴素的思路就是：递归的定义就是递归的解。 题目要求我们求根节点到叶子结点的和，我们要提供一个值保持其状态，退出 ......
【经典题目】【循环DFS】生成数组的全排列
问题描述 给你一个数组，生成这个数组中元素的全排列。 思路 经典的循环dfs。要点是我们需要设置visited数组来指代其是否被遍历过。 代码 class Solution: def islandPerimeter(self, grid): if not grid: return [] visite ......
hadoop集群 大数据项目实战_电信用户行为分析_day02
集群配置好后，运行一个小例子，统计单词 1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上 2.hdfs dfs -ls /output 将所有的文件显示出来 3.hdfs dfs -cat /output/ 将所有的文件读取出来 下载part-r-000000 安装Redis ......
【gdb】run和start区别
run和start区别 gdb调试器提供了多种方式来启动目标程序，其中最常用的就是 run 指令，其次为 start 指令。也就是说，run 和 start 指令都可以用来在gdb调试器中启动程序，它们之间的区别是： 1、默认情况下，run 指令会一直执行程序，直到执行结束。如果程序中手动设置有断点 ......
DFS
题目：https://www.luogu.com.cn/problem/P1216 //还需理解 #include <iostream> #include <algorithm> #include <cstring> using namespace std; int r; int num[1005] ......
Hadoop-3.3.5 自动安装
Hadoop-3.3.5 自动安装脚本 为了方便数据科学与大数据技术的 hadoop-3.3.5 安装与配置 目前适用于新安装的纯净虚拟机，未配置冲突检测.. 所以安装的话请使用全新创建的机器以避免错误... 如何使用 ssh localhost 输入你目前用户的密码 exit 退出当前ssh终端（ ......
hadoop集群 大数据项目实战_电信用户行为分析_day01
上图是相关配置的要求，主要创建了四个虚拟系统，有三台虚拟机搭建hadoop集群，一台作为业务系统。 涉及到相关的Linux指令有::set nu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西) 1.配置环境、 第一步设置网络参数，设置静态网络 ......
基于Docker搭建Hadoop+Hive
基于Docker搭建Hadoop+Hive 本文主要是照搬这篇文章的https://zhuanlan.zhihu.com/p/242658224，但是这篇文章有一些细节配置没有讲清楚，这里对其进行完善 零、环境信息 电脑配置 Ubuntu 20.04.6 LTS (Focal Fossa) 5.15 ......