centos7 hadoop3 centos hadoop
centos7根据名称找到指定pid并结束进
在centos7下启动的java应用,有时候需要结束某一个进程,如何根据应用名字快速找到应用的进程 使用-jar启动的应用 java -jar test.jar 应用名称为 test,那下面的命令可以找到 test.jar的pid并结束进程 ps ax | grep java | grep test ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
Centos7的宝塔系统上用Docker安装Openwrt
Docker安装Openwrt，我是按照林中静月下仙的博客做的 主机是Dell的E7250 I5-5300U 先安装Centos7.9，然后使用手机做热点安装了宝塔系统，大约用了五六个小时。 然后在宝塔系统的软件商店搜索，安装 设置加速url 拉取openwrt镜像 【registry.cn-sha ......
centos 安装 make
centos 安装 make 环境：centos 7.9 下载地址 本人下载的 make-4.4.tar.gz 版本 执行： tar -zxvf make-4.4.tar.gz cd make-4.4 ./configure --prefix=/usr/local/make make && make ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
VMware workstation中安装的centos虚拟机ip自动获取可以上网，设置静态ip不能上网问题解决
一、需求 linux中我们会设置hosts文件，这会涉及ip和域名的设置，但是如果虚拟机自动获取ip地址的话，这就意味着之前设置的hosts文件需要重新修改，所以我们需要设置虚拟机为静态ip地址。 二、故障现象 我linux虚拟机最开始是自动获取的ip地址，用的nat模式，是可以上网的，然后ifco ......
Linux基础与应用：3.Centos7配置静态IP地址
实验所需要知道的 systemctl restart network //重启整个网络服务（包括网络接口、DNS解析等） ip a //显示当前主机的网卡及对应 IP(完整命令是ip address) ifdown 网卡名 //关闭某张网卡（一般我是在systemctl restart networ ......
Linux基础与应用：1.VM下部署Centos7初始化环境（下载Centos7镜像及使用Vmware安装Centos7）
实验环境 Windows 11 家庭版 22H2版本 VMware® Workstation 16 Pro 16.2.3 build-19376536 MobaXterm V23.0 实验所需准备 阿里云开源镜像站centos7下载地址：https://mirrors.aliyun.com/cent ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Cento7中部署ShowDoc
1、安装Docker yum install docker 2、启动Docker服务 systemctl start docker 3、设置Docker服务为开机启动 systemctl enable docker.service 4、安装git yum install git 5、安装ShowDo ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
centos7 设置开机启动
vim /etc/rc.d/rc.local #修改此配置文件 chmod +x /etc/rc.d/rc.local #添加执行权限 vim /lib/systemd/system/httpd.service apache 开机启动配置： [Unit] Description=apache2.4 ......
【CentOS】- yum update
// 进入 yum 的 repos 目录 cd /etc/yum.repos.d/ // 修改 centos 文件内容 sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-* sed -i 's|#baseurl=http://mi ......
centos安装字体
1、安装fontconfig yum -y install fontconfig 2、将windows系统下的字体复制到linux下，并修改字体后缀为ttf 3、在/usr/shared/fonts创建chinese目录 mkdir /usr/shared/fonts/chinese 4、将字体复制 ......
centos7 绿色版安装单机版 ELK 7.9.2
参考：https://www.cnblogs.com/yancool/p/16518032.html 参考：https://www.cnblogs.com/xiaonuanxin/p/17667944.html 1、修改内核参数 vim /etc/security/limits.conf * sof ......
VirtualBox 配置主机访问虚拟机，及CentOS 7.9安装
CentOS 7.9 Everything 下载地址： http://mirrors.163.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Everything-2207-02.iso 重启服务器。注意，必须重启才会生效。 配置虚拟机和物理机的通信 ......
Centos 报错：The SSL connection could not be established, see inner exception 解决办法
yum update yum install wget tar make gcc perl pcre-devel zlib-devel wget https://www.openssl.org/source/openssl-1.1.1l.tar.gz tar zxvf openssl-1.1.1l. ......
CentOS httpd nginx WEB访问报503错误解决方案
外网访问WEB，需要关闭活着适当配置防火墙。centos7 防火墙状态查看、关闭、打开命令： firewall-cmd --state #防火墙状态查看 systemctl stop firewalld.service #防火墙关闭 systemctl start firewalld.service ......
Centos7虚拟机连不上网络
使用VM创建并安装Centos7，完成之后发现网络不通（ping jd.com可以试一下） 解决方法： 1、在创建虚拟机的时候选择的是NAT模式 2、在虚拟机中，编辑->虚拟网络编辑器（记住子网IP、子网掩码、网关） 点击NAT设置 3、在Centos7中输入ip addr，在这里是ens33（记住 ......
手动安装LAMP——在 CentOS 7 上安装 PHP、Apache 和 MariaDB（替代 MySQL）
在 CentOS 7 上安装 PHP、Apache 和 MariaDB（替代 MySQL）的过程如下： 1. 更新系统：sudo yum update 2. 安装 Apache：sudo yum install httpd 3. 启动 Apache 服务并设置开机自启：sudo systemctl ......
CentOS7配置静态ip后service network restart失败
解决方法： 1、检查配置文件，文件夹下是否存在类似文件（ifcfg-ens33），存在的话，删除掉，保留一个即可（判断方式为配置文件中是否有配置信息） cd /etc/sysconfig/network-scripts/ ls 删除命令： rm 文件名称 重启网络：service network r ......
centos 7 安装Docker 和 JDK1.8
centos 7. 安Docker 1、检查是否已经安装 docker. docker version 系统必须为64位：cat /etc/redhat-release 内核版本必须高于 3.10：uname -r 使用 root 权限登录 Centos。确保 yum 包更新到最新。如果是新安装的操 ......
Hadoop MapReduce框架原理
1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 ......
CentOS 8.1成功安装最新Node.js 20教程（含用到的全部命令和截图演示）
yum换镜像和源 CentOS 已经停止维护的问题。2020 年 12 月 8 号，CentOS 官方宣布了停止维护 CentOS Linux 的计划，并推出了 CentOS Stream 项目，CentOS Linux 8 作为 RHEL 8 的复刻版本，生命周期缩短，于 2021 年 12 月 ......
Centos7.4安装docker
1. 卸载旧版本 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ ......
centos7升级openssl
1、下载openssl源码：https://www.openssl.org/source 2、解压：tar -zxvf openssl-3.0.7.tar.gz 3、配置：./config --prefix=/usr/local/ 4、编译安装：make & make install 5、配置so： ......
Hadoop 数据类型及序列化
1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Writable Writable Writable Writable Writable Writable Writable Writable Writable 2.为何Had ......
记_用Windows自带Hyper做CentOS连接的小问题
今天刚接触CentOS服务器，在连接的时候遇到了一点小问题。 查了一些连接方式，好多介绍要下单独的工具。直到我看到一个似曾相识的词<Hyper>，这个好像在哪里见过。 又经过一番查找，原来这玩意Windows自带就有，既然有，那就直接用咯~~ 。 然后就不出意外的出问题了。（下图已脱敏） 大概理解提 ......