start-dfs hadoop start dfs
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
【GD32307E-START】04 使用TinyMaix进行手写数字识别
【GD32307E-START】04 使用TinyMaix进行手写数字识别 参考博客 【GD32F427开发板试用】使用TinyMaix进行手写数字识别 https://blog.csdn.net/weixin_47569031/article/details/129009839 软硬件平台 GD3 ......
【GD32307E-START】03 SPI-OLED显示模块移植
【GD32307E-START】03 SPI-OLED显示模块移植 软硬件平台 GD32F307E-START Board开发板 GCC Makefile | 接口 | 说明 | | | | | GND | 电源地 | | VCC | 电源正（3.3V） | | D0 | 串行信号时钟输入 | | ......
centos7.5 hadoop NAT 静态IP网络环境搭建
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0，保证集群ip都在这个网段下 2. 选择NAT 设置，配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
0x01 Starting Out In Cyber Sec
任务1 学习路径选择 任务2 【进攻性安全】 职业：渗透测试工程师 技能要求： 网络应用程序安全 网络安全 使用编程语言编写各种脚本 任务3【防御性安全】Defensive Security 职业：Security Analyst【安全分析员】 技能要求：需要了解底层技术的工作原理，然后了解针对这些 ......
安装hadoop
hadoop:https://blog.csdn.net/weixin_44898710/article/details/109832031 将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar ......
Hadoop 一些脚本总结
1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta ......
Hadoop 配置日志聚集
本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
JUC_start和run
类型： run方法是同步 而start是异步 作用： run方法的作用是存放任务代码 ，start的方法是启动线程 线程数量方面： 执行run方法，他不会产生新线程，而执行start方法hi产生新线程 调用次数 run方法可以被执行无数次，而start方法只能被执行一次，原因在于线程不能被重复启动。 ......
用matplot和seaborn作图，出现This application failed to start because not Qt platform plugin could be initialized的报错
用matplotlib和seaborn作图，出现这样的弹窗： 尝试过增加环境变量的方法没有解决。使用了一种临时的解决方法： import matplotlib matplotlib.use('TKAgg') 如果不需要图形化界面，只需要运行后的参数可以使用： import matplotlib ma ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
1027. 最优账单平衡（待完善）-dfs
题目描述 一群朋友在度假期间会相互借钱。比如说，小爱同学支付了小新同学的午餐共计 10 美元。如果小明同学支付了小爱同学的出租车钱共计 5 美元。我们可以用一个三元组 (x, y, z) 表示一次交易，表示 x 借给 y 共计 z 美元。用 0, 1, 2 表示小爱同学、小新同学和小明同学（0, 1 ......
【DFS深度优先遍历】给定一个数组，从第一个开始，正好走到数组最后，所使用的最少步骤数
题目描述 给定一个数组，从第一个开始，正好走到数组最后，所使用的最少步骤数。 要求： 第一步从第一元素开始，第一步小于<len/2（len为数组的长度）。从第二步开始，只能以所在成员的数字走相应的步数，不能多也不能少, 如果目标不可达返回-1，输出最少的步骤数，不能往回走。 输入 7 5 9 4 2 ......
Learn DevOps：Start DevOps with Docker（三）
一、Docker与Microservices 很多人都在谈论microservices的优势，但是它不是免费的，面临着许多挑战，Docker在解决这些挑战方面发挥至关重要的作用。在微服务体系结构中，我们将构建许多微小的服务，而不是构建一个大的整体，这些微服务中的每一个都可以用不同的技术来构建。由于这 ......
Learn DevOps: Start devOps with Docker（二）
一、Docker image commands docker images 查看本地计算机中所有存在的image docker pull mysql 可以看到如果我们不提供标记，它会使用默认的最新的标记，它会查看是否有标记为latest的mysql映像，并将其汇集下来。pull只会拉取image使其 ......
win7系统安装mysql及问题处理，安装mysql后net start mysql服务无法启动
问题描述：win7系统安装mysql，安装mysql后net start mysql服务无法启动 1.下载mysql： 官网地址：https://dev.mysql.com/downloads/mysql/ 根据自身系统位数选择对应版本下载，解压后进入bin文件夹，cmd命令下执行mysqld -i ......
【DFS深度优先算法】全排列、组合总和
全排列 题目描述：给定一个没有重复数字的序列，返回其所有可能的全排列。 题目链接：46. 全排列 输入描述： 输入:[1,2,3] 输出描述： 输出:[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]] 思路：依次从前往后把所有数字，固定在第0个位置，此 ......
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
二、Hadoop集群搭建与学习
Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......
20231128 - 重启Centos后无法远程连接，重启网络服务报错：Error:Failed to start LSB: Bring up/down networking
1.https://blog.csdn.net/m0_74953387/article/details/132914306 2.https://blog.csdn.net/weixin_45894220/article/details/130487066 ......
DFS深搜解决迷宫问题(原理分析+代码实现）
深度优先搜索(DFS) 求解思路： 1.先判断是否到达目标位置，如果到达目标位置，再试探有无其他更短的路径。 2.如果没有到达目标位置，则找到下一步可以到达的位置，直到找到目标位置 ......
Learn DevOps 第二章：Start DevOps with Docker（一）
一、Introduction and installation 这一张让我们来看一些让开发运维变得非常简单的东西：Containerization。 我们身处微服务的世界，有数百个微服务，一些用Java构建，一些用python构建，还有一些可能是用Javascript构建的。这三种语言的应用程序所需 ......
DFS算法的非递归遍历分析
两种写法，一个是边表顶点号全部压栈，一个是类似后序非递归遍历 1、 void DFS(Graph G,int i) { int p,w; Stack S; InitStack(S); Push(S,i); visited[i]=true; while(!isEmpty(S)) { Pop(S,p); ......
BUU get_started_3dsctf_2016
先checksec一下 32位程序，没开PIE，再观察一下主函数 gets函数有可能是栈溢出，再观察一下后门函数 方法一： 考虑栈溢出后直接跳转到if判断后面的语句，进而跳过if条件判断 from pwn import * #p = process('/home/miyu/Desktop/PWN/1 ......