standalone centos spark
CentOS7母盘系统硬盘200G，通过母盘创建新系统硬盘为500G，多余未用空间扩展
[查看现有磁盘] lsblk -l 创建新磁盘 ① fdisk /dev/sda② 命令(输入 m 获取帮助)：n③ Select (default e): p④ 命令(输入 m 获取帮助)：t⑤ Hex 代码(输入 L 列出所有代码)：8e //已将分区“Linux”的类型更改为“Linux LV ......
docker启动centos 并安装kvm 创建虚拟机
###### 1 创建centos 基础镜像 拉取centos基础镜像 ``` docker pull centos:latest ``` 启动容器：使用 /usr/sbin/init 方式，否则容器中不能运行 systemctl 命令 映射两个端口：用于ssh 连接容器，和远程vnc连接容器中的虚 ......
CentOS7搭建简单的邮件服务器_______亲测OK
邮件服务器 概述 邮件收、发服务器是分开的，也就是我们需要搭建一个邮件发送服务器和一个邮件收取服务器。本文会搭建收、发两个服务器，并用邮件客户端（Foxmail）做测试。 协议 协议就是定义规则，这里是邮件协议，定义邮件收发的规则，了解规则有助于理解软件的配置文件。邮件发送协议 SMTP（Simpl ......
mac spark+hive+hadoop 数据分析环境搭建(单机简版)
apache产品下载地址： http://archive.apache.org/dist/ mysql5.6 brew方式安装配置： Icon mysql做为元数据存储使用。 brew search mysql brew install mysql@5.6 配置mysqlhome： export M ......
CentOS7搭建简单的邮件服务器
摘自：https://www.cnblogs.com/aeolian/p/13431404.html 参考：https://www.qcmoke.site/devops/mail.html 邮件服务器 概述 邮件收、发服务器是分开的，也就是我们需要搭建一个邮件发送服务器和一个邮件收取服务器。本文会搭 ......
Centos 安装教程
### 下载地址：清华镜像站 > [**https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/**](https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86 ......
centos 安装db2
1、下载安装包 v10.5_linuxx64_expc.tar.gz 2、上传到服务器后解压 tar -zxvf v10.5_linuxx64_expc.tar.gz 3、进入解压后的目录expc 4、执行检查脚本 ./db2prereqcheck 根据检查脚本的提示，安装缺少的依赖 5、开始安装 ......
centos 开启内核命名空间
在 CentOS 中，可以通过以下步骤来启用内核命名空间： 打开终端，使用编辑器打开 /etc/sysctl.conf 文件： vi /etc/sysctl.conf 在文件末尾添加以下内容： # 开启内核命名空间 user.max_user_namespaces=10000 其中，user.max ......
使用CentOS服务器搭建EwoMail邮件服务器软件详细图文教程
开源的邮件系统有很多，针对国内用户我们一般使用宝塔邮局或者EwoMail来搭建自己的域名后缀企业邮箱，比如：enterprise@qoot.cool，这样的企业邮箱，邮箱后缀就是自己的域名，大家也可以看看百度或者抖音官网的邮箱，宝塔邮局或者EwoMail两者都是中文，部署也较简单。 本期只讲如何搭建 ......
CentOS 7将命令行界面设置为默认
我参考了N多帖子，修改inittab配置文件id:3...，但最终都失败了。 最后有一种方法：直接执行命令：systemctl set-default multi-user.target 完事了。。。 同样的 systemctl set-default graphical.target 将图形界面设 ......
Spark的一些重要概念
# Shuffle的深入理解 什么是Shuffle，本意为洗牌，在数据处理领域里面，意为将数打散。 问题：shuffle一定有网络传输吗？有网络传输的一定是Shuffle吗？ ## Shuffle的概念 通过网络将数据传输到多台机器，数据被打散，但是有网络传输，不一定就有shuffle，Shuffl ......
hadoop集群配置 CentOS7 JDK安装 卸载
1 JDK下载 下载JDK8 下载地址 2 SSH访问需要安装JDK的服务器 3 检查是否有默认安装的JDK java-version 4 卸载自带JDK 4.1 检查系统安装的OpenJDK rpm -qa|grep openjdk -i 4.2 删除以上四项openjdk的安装包并且检查后显示删 ......
centos信任根证书
cp ca.crt /etc/pki/ca-trust/source/anchors/extca.crt # 更新受信任的根证书 update-ca-trust ......
org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead.
# 问题描述 org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead. 最近在做Spark ......
在CentOS 7 mini版中使用ifconfig
众所周知，“ifconfig”命令用于配置GNU/Linux系统的网络接口。它显示网络接口卡的详细信息，包括IP地址，MAC地址，以及网络接口卡状态之类。但是，该命令已经过时了，而且在最小化版本的RHEL 7以及它的克隆版本CentOS 7，Oracle Linux 7和Scientific Lin ......
Centos 下安装 pgsql 并实现远程访问
建议跳转地址：https://juejin.cn/post/7108728363472617486 以下内容为本人体验记载 1、安装pgsql sudo yum install -y postgresql12 2、初始化数据库 sudo /usr/pgsql-14/bin/postgresql-14 ......
Spark中RDD的特殊算子和重要概念
# RDD特殊的算子 ## cache、persist 将数据缓存到内存，第一次触发Action，才会将数据放入内存，以后在触发Action，可以复用前面内存中缓存的数据，可以提升技术效率 cache和persist的使用场景：一个application多次触发Action，为了复用前面RDD的数据 ......
centos服务器root用户无法登陆
问题描述：研发同事反馈测试机无法远程登陆 —————————————————————————————————————————————— 问题排查： ① 咱们先本地测试SSH测试下，提示没有权限“permission denied” ② 再进机房，接上显示器发现有报错信息（提示分区节点、块有问题）；同 ......
centos8环境基本优化
# centos8环境基本优化 [toc] ## 1.防火墙优化 参考链接 https://www.cnblogs.com/zttong/p/17511695.html ```sh systemctl stop firewalld && systemctl disable firewalld cat ......
CentOS7使用yum安装MySQL8
1、下载MySQL的repo源 wget https://repo.mysql.com//mysql80-community-release-el7-1.noarch.rpm 2、安装MySQL源 rpm -Uvh mysql80-community-release-el7-1.noarch.rpm ......
虚拟机安装的centOS7系统忘记root密码之重置密码
1、开机按下点击鼠标进入系统并且按下e键  2、光标移动到 linux 16 开头的行，找到 ro 改为 rw i ......
Anolis 8.x (8.6, 8.8， CentOS )安装记录
硬件：一台Dell Power Edge T130 服务器， 2*2T Hard disk 软件：Anolis 8.6 2023.7.3, 发现系统自动下载了很多updates 等待安装， 选择安装更新，并重新启动系统。启动系统后，在屏幕左上角出现闪烁光标，系统长达10分钟以上无反应。 按Ctrl+ ......
centos 升级openSSH7.81
# 1、下载相关依赖包 ``` [root@Log ~]# yum install -y gcc openssl-devel pam-devel rpm-build ``` # 2、下载安装包 ``` wget http://ftp.openbsd.org/pub/OpenBSD/OpenSSH/p ......
三步搞定CentOS7下的MariaDB 10
MariaDB 是 MySQL 数据库的自由开源分支，与 MySQL 在设计思想上同出一源，在未来仍将是自由且开源的。在这篇博文中，我将会介绍如何在当前使用最广的 RHEL/CentOS 和 Fedora 发行版上安装 MariaDB 10.1 稳定版。目前了解到的情况是：Red Hat Enter ......
Spark
[spark官网](https://spark.apache.org/ "spark官网") ``` https://spark.apache.org/ ``` ##### Scala学习 [Scala学习](https://www.cnblogs.com/rbcd/articles/1752466 ......
Spark中RDD的Action算子
# RDD的Action算子 Action算子会触发Job的生成，底层调用的是sparkContext.runJob方法，根据最后一个RDD，从后往前，切分Stage，生成Task  Sun公司于1995年开发的一种与认证相关的通用框架机制：PAM（可插拔认证模块）是实现认证工作的一个模块。 因为每个服务都用到不同的认证方式，所以就需 ......
centOS下载和配置教程
# 为了能够正常地使用VMWare17，还需要下载这个centOS镜像 # 1、下载地址：点击这里  点击这里，然 ......
VM VirtualBox + CentOS 7 本地化部署yapi服务
#### 一、安装Oracle VM VirtualBox 1. VirtualBox下载地址：https://www.virtualbox.org/wiki/Downloads  Building wheels for collec ......