standalone centos spark
Centos7空间满了，如何扩容
图片中可见，"/"挂载点的使用率已达74%，可用容量只剩9.5G，空间马上就要用完了，所以要对其进行扩容。 1.先远程登入服务器，运行lsblk，发现有两块硬盘，sda和sdb。sda硬盘空间已分完，sdb硬盘容量有1T。 2.再运行blkid命令，查到系统分区在/dev/mapper/cl-roo ......
centos7升级gcc最简单方案
在某些应用场景中，需要特定的gcc版本支持，但是轻易不要去编译gcc、不要去编译gcc、不要去编译gcc，我这里推荐使用红帽提供的开发工具包来管理gcc版本，这样做的好处是随时切换版本，并且可以并存多个版本，不破坏原有gcc环境。 红帽官方Developer Toolset文档地址： https:/ ......
centos7安装docker-compose
首先确保系统已经安装上了docker 1、下载tar包并上传至服务器解压 下载地址：https://package-all-1257309290.cos.ap-beijing.myqcloud.com/docker_compose_install.tar.gz tar zxf docker_comp ......
CentOS使用yum安装包报错No more mirrors to try解决方法
报错如下 ``` Loaded plugins: fastestmirror, update-motd Loading mirror speeds from cached hostfile http://mirrors.163.com/centos/7-7.1908.0.el7.centos/os/ ......
用shell脚本写一个查询centos7的系统可用空间
#!/bin/bash#by herofox qq:42845734. /etc/profile#通过显示系统空间，结合分割命令和awk命令来取数sys=$( df -h |grep -w "centos-root" |awk '{ split ($5,sys,"%");print sys[1]}' ......
centos7 搭建snmpv3靶场
### 安装文件 ``` yum install net-snmp net-snmp-utils -y ``` ### 关闭服务创建用户 ``` systemctl stop snmpd # 添加一个用户 如 root net-snmp-create-v3-user -ro -A admin123 ......
centos7配置免密登录
节点服务器1，ip为192.168.159.135 节点服务器2，ip为192.168.159.136 节点服务器3，ip为192.168.159.137 配置135免密登录136和137 在135执行如下流程 cd ~/.ssh ssh-keygen -t rsa （执行该命令会有提示，一直回车即 ......
centos修改dns地址
1、CentOS6.5设置静态IP、网关、配置DNS,解决ping不通外网问题 2、Centos中IP与DNS手动设置方法 3、主机无线上网,自动获取DNS,虚拟机上centos是桥接模式。DNS怎么设置 CentOS6.5设置静态IP、网关、配置DNS,解决ping不通外网问题 1、总结：上网配置 ......
CentOS7创建Python虚拟环境
为python3创建软连接： ln -s /usr/local/anaconda3/bin/python /usr/bin/python3 ln -s /usr/local/anaconda3/bin/pip /usr/bin/pip3 查看版本： [root@centos-base ~]# pyt ......
️Centos7下安装Oracle11GR2
安装Oracle一直以来是比较头疼的事情，于是本文以图文并茂的方式进行安装步骤展示，参考知乎一位博主的安装：https://zhuanlan.zhihu.com/p/111710672， 本文还额外提供了安装以及最后的一些数据库自启动配置操作。 Oracle软件包地址：https://pan.bai ......
centos 安装docker
服务器的系统是CentOS7.4的 [root@VM_82_178_centos ~]# cat /etc/RedHat-release CentOS Linux release 7.4.1708 (Core) #安装依赖包 yum install -y yum-utils device-mappe ......
centos7中 configure: error: zlib development files not found
01、系统 [liujiaxin01@PC1 ~]$ cat /etc/redhat-release ## centos7.6发行版 CentOS Linux release 7.6.1810 (Core) 002、问题 [liujiaxin01@PC1 bcftools-1.18]$ ./conf ......
centos7下安装docker
来源：https://www.cnblogs.com/qtzd/p/14679120.html Docker安装 CentOS 7 使用Xshell连接远程进行服务器操作 环境查看 #系统内核是 3.10 以上的 [root@localhost ~]# uname -r 3.10.0-229.el7 ......
spark dataset dataframe 动态添加列
>需求 利用SparkSQL计算每一行数据的数据质量，如果数据不为NULL或者不为空字符串(或者符合正则表达式)，那么该字段该行数据积一分 >网上解决方案 https://blog.csdn.net/Code_LT/article/details/87719115 https://blog.csdn ......
centos7.9 时间相关整理
## 1.`date / timedatectl` - 显示当前时间(秒): `date` / `date +"%Y-%m-%d %H:%M:%S"` (%Y等含义通过data --h查看) - 显示当前时间(毫秒): `date` / `date +"%Y-%m-%d %H:%M:%S.%3N"` ......
关于spark写clickhouse出现 too many parts(300)错误的最佳解决方式
出现这个问题的根本原因是clickhouse插入速度超过clickhouse的文件合并速度（默认300） 解决方式如下 觉得好用记得点个关注或者赞哈 ......
centos更换java版本
以java11为例 先使用下面的命令下载java11 $ sudo yum -y install java-11-openjdk-devel 输入命令改变java环境 $ sudo alternatives --config java 出现下面的界面,选择3(假如需要换为java11) 输入java ......
Centos 7安装k8s 报hostPath type check failed：/sys/fs/bpf is not a direcctory错误解决方法
原创文档编写不易，未经许可请勿转载。文档中有疑问的可以邮件联系我。 邮箱：yinwanit@163.com 说明 Centos 7 系列操作系统在安装k8s时可能会遇到hostPath type check failed：/sys/fs/bpf is not a direcctory错误，该问题为内 ......
Spark入门
# 一、Spark框架概述 ## 1.1 spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 弹性分布式数据集RDD:RDD 是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。 ......
编辑centos系统 硬盘 的uuid 和系统启动硬盘分区的uuid
硬盘的UUID是为系统中的存储设备提供的唯一标识字符串，不管设备是什么类型的，都需要在系统中添加新的设备，例如硬盘，如果添加错误会造成系统找不到硬盘启动失败,我们在挂在分区的过程中需要找到分区的UUID表示，写到fstab文件中，这样系统在启动的时候就能找到分区为UUID的表示，如果找不到就进不了系 ......
centos系统uuid来历
原文：https://blog.csdn.net/smstong/article/details/46417213 Universally Unique IDentifier, 是一种获取全局唯一命名的标准。 1 UUID的来历 要为一个对象进行命名，并要求这个名字在时间和空间上都是唯一的，这在计算 ......
centos等linux系统重启网卡和配置网卡命令
centos网卡配置 1、网卡主要分为静态网卡配置和动态网卡配置，静态网卡配置就是通过配置文件将IP地址等设置为一个固定的值。但是动态是每次开始时候动态分配的一个地址。2、网卡的静态配置路径为centos基本都是 /etc/sysconfig/network-scripts 通过ip -a 查看本机 ......
centos环境minio安装踩坑指南2023年7月30日
# MinIO的安装踩坑指南 环境centos7 ## 1. [安装MinIO操作文档](https://www.minio.org.cn/docs/minio/linux/operations/install-deploy-manage/deploy-minio-single-node-singl ......
dolphinscheduler 调度spark on k8s
dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc ......
Centos7制作本地yum仓库，共享给局域网其他设备
环境准备： 准备好安装好Centos7的虚机A(服务端)和虚机B(客户端) 配置两台虚机网络使其互通，关闭selinux和firewalld等限制 下载完整的ISO镜像（CentOS-7-x86_64-Everything-2207-02_3.iso）：http://isoredirect.cent ......
centos 7 ONBOOT=yes 启动失败
centos 7 ONBOOT=yes 启动失败 今天在centOS 7下更改完静态ip后发现network服务重启不了，翻遍了网络，尝试了各种方法，终于解决了。 现把各种解决方法归纳整理，希望能让后面的同学少走点歪路。。。 首先看问题：执行service network restart命令后出现下 ......
阿里云Centos环境部署springboot项目
# JDK安装 直接云安装即可 yum install -y java-1.8.0-openjdk, java -version 查看. # MySQL安装 [~~下载~~](https://dev.mysql.com/downloads/mysql/)~~ 选择 Compressed TAR Ar ......
centos7 k8s 三节点 全二进制部署 1.23.15
| 主机名 | IP地址 | Pod 网段 | Service 网段 | | | | | | | master | 192.168.1.60 | 172.16.0.0/12 | 10.96.0.0/16 | | node01 | 192.168.1.70 | 172.16.0.0/12 | 10.9 ......
Centos8 中文语言配置支持
安装中文语言包 如果不知道中文语言包，使用以下命令查看 [09:39:51] root@ive:~ # yum search Chinese 加载插件 "osmsplugin" 失败 : No module named 'librepo' 上次元数据过期检查：0:26:02 前，执行于 2023年0 ......