standalone centos spark
linux(centos与ubuntu)安装docker
首先确保系统更新 yum update # centos apt-get update # ubuntu centos安装docker yum install -y yum-utils yum-config-manager --add-repo https://download.docker.com ......
Centos8更换yum源
具体参考阿里云官方文档：https://help.aliyun.com/zh/ecs/user-guide/change-centos-8-repository-addresses?spm=a2c4g.11186623.0.0.a65cad75ZzQ9Zw 操作步骤 登录CentOS 8系统的ECS ......
CentOS7使用脚本安装docker 以及 docker常用命令
### 安装 * 第一种安装方式，执行以下脚本完成安装 ``` sudo curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun ``` * 第二种安装方式，依次执行以下脚本完成安装 ``` sudo yum instal ......
Centos排查流量异常进程
简介有时候当服务器出现流量出入过高的时候，需要去如何排查是哪些进程在使用，本文主要记录如何通过相关命令来进行排查。 1、基本知识 1.1、iftop介绍 一般涉及到流量的监控，经常会使用iftop，首先安装iftop： yum install iftop -y 使用iftop命令，界面如下： 界面上 ......
linux centos7安装微信开发者工具
# 要在 CentOS 7.6 上安装图形化界面，可以按照以下步骤进行操作： ```shell # 1. 更新系统： sudo yum update # 2. 安装 GNOME 桌面环境： sudo yum groupinstall "GNOME Desktop" -y # 3. 配置系统默认启动为 ......
CentOS Stream 9中安装MySQL的详细步骤
@[toc] #### 卸载MySQL 安装前先卸载系统上旧版本的 MySQL（没有则跳过此步骤） 1. 查看已安装的MySQL ```shell rpm -qa | grep mysql ``` 2. 卸载查询到的所有安装包 ```shell rpm -e PackageName # 可批量删除 ......
apache spark connect 试用
spark connect 3.4 开始就支持了connect 模式，3.4.1 比较稳定了 connect server 启动 实际上就是一个spark 引用，通过spark_submit 提交到spark 环境中 启动 ./sbin/start-connect-server.sh --packa ......
Spark RDD惰性计算的自主优化
原创/朱季谦 RDD（弹性分布式数据集）中的数据就如final定义一般，只可读而无法修改，若要对RDD进行转换或操作，那就需要创建一个新的RDD来保存结果。故而就需要用到转换和行动的算子。 Spark运行是惰性的，在RDD转换阶段，只会记录该转换逻辑而不会执行，只有在遇到行动算子时，才会触发真正的运 ......
Centos使用nginx实现挂载本地yum源
前言：生产环境中由于一些安全问题，无法使用外网，只能在内网运行，无法访问外部yum源，这时候对于一些环境的安装及其不方便，故使用内部挂载yum源方式解决。 #### 1、环境 操作系统版本 #### 2、关闭selinux和防火墙 ``` # 关闭selinux sed -ri 's/SELINUX ......
Django项目在CentOS7下部署
Ubuntu部署Django项目方法详解：请看此文 https://www.django.cn/article/show-22.html Django所有的部署都是基于asgi 和wsgi，所以django早就设计好了，你们使用对应的方式部署都好，这里不做细讲，看相关文章即可。 部署是基于：cent ......
linux centos一行命令查找进程并杀掉
执行命令 ps -ef | grep xxx.jar | grep -v grep | awk '{print $2}' | xargs kill -9 其中的xxx.jar换成实际情况的应用关键字 ......
spark on k8s 开发部署简单实践
实际上就是一个简单的实践，方便参考，对于开发以及运行，集成ci/cd 以及dophinscheduler 任务调度为了方便开发的spark 应用共享以及使用基于s3 进行文件存储（当然dophinscheduler 也是支持自己的资源库的） 参考图 玩法说明 基于gitlab 进行代码管理，通过ci ......
在 CentOS 7 中安装 telnet
1、安装服务端 yum install -y telnet-server 2、运行服务端 systemctl start telnet.socket 3、安装客户端 yum install -y telnet Windows 可至“启用或关闭 Windows 功能”中，启用安装 telnet 客户端 ......
CentOS 7.9 一键安装 Node.js Golang Docker 环境
本脚本仅支持CentOS7.9_x64， 安装 golang 1.21.0 node.js 16.20.2 docker latest ``` bash #!/bin/bash yum install -y wget make NODE_VERSION=node-v16.20.2-linux-x64 ......
docker centos7乱码怎么解决
采用 `docker pull docker.io/centos` 下载的基础镜像，是不带中文环境的。 可以进入容器内使用 `locale` 查看当前语言环境。 ```bash # 添加中文环境编码，安装两个包 yum install kde-l10n-Chinese -y yum install ......
随笔（二十七）『VitrualBox 安装 Centos7』
 安装linux版本的jdk步骤： 先下载linux的jdk版本：下载网站：Java Downloads | Oracle 中国 利用xshell：创建一个jdk文件夹： mkdir /opt/jdk 利用xftp将步骤1中下载好的jdk版本安装包上传到jdk文件夹中； 解压jdk文件夹中的jd ......
Centos安装MySQL数据库
## 写在前面 本文使用的root账户进行操作, 若不是root账户需要在操作前加上`sudo` 大家一定要注意数据库安全问题啊 :D ## 准备 本文使用yum安装, 推荐大家先换个国内镜像源, 否则下载的非常慢, 而且可能会导致缺这缺那出现报错. 首先查看自己的Linux内核版本, 这里是为了在 ......
在 CentOS 7 / RHEL 7 上安装 Python 3.11
在 CentOS 7 / RHEL 7 上安装 Python 3.11 Python 3.11 是一个重要版本，它引入了许多新功能和语言改进。在本节中，我们将介绍在 CentOS 7 / RHEL 7 Linux 系统上安装 Python 3.11 的所有必要步骤。 第 1 步：更新系统 这是推荐的 ......
spark环境搭建
## 我们在上一篇文章中搭建了相关的Hadoop,现在我们来搭建spark环境 Hadoop搭建 [https://www.cnblogs.com/xiaozhounandu/p/14166282.html] ### 前言(注意，spark和Scala环境及配置文件必须每个节点都必须要有！！！) S ......
centos安装python3.7
1.安装openssl11 https://www.cnblogs.com/navysummer/p/17642466.html 2.安装依赖 yum install zlib-devel bzip2-devel ncurses-devel sqlite-devel readline-devel t ......
部署Kafka+ZK及其日志采集实战(系统版本：linux_CentOs_7.8)
- 部署ZK ``` docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper ``` - 部署Kafka ``` docker run -d --name xdclass_kafka \ -p 9092:9092 \ ......
如何在centos7上安装miniconda,以及在miniconda中创建特定版本的python环境？
1、anaconda工具介绍 Anaconda 是一个用于数据科学、机器学习和科学计算的开源软件，它集成了许多常用的工具、库和软件包，以便科学家、数据分析师和开发人员能够更轻松地进行数据分析、建模、实验和开发。 主要功能和组件包括： 包管理器 Conda: Anaconda 自带了一个包管理器 Co ......
centos7 虚拟机安装windchill11
## 准备 - vmware 17 pro 部署的带GUI的cetnos7 6g+100g ## 环境配置 ### 网络环境 - 虚拟机 NAT 模式 连接 - 配置静态ip - vmware-编辑-虚拟网络编辑器-NAT设置 ```shell # 查看虚拟机网关和子网掩码 192.168.179. ......
CentOS7配置VSFTP
1. 安装vsftpd #安装vsftpd yum install -y vsftpd #设置开机启动 systemctl enable vsftpd.service # 重启 systemctl restart vsftpd # 查看vsftpd服务的状态 systemctl status vsf ......
centos7 centos-home 磁盘空间转移至centos-root下（磁盘空间不足，磁盘不足）
在安装centos系统的时候，如果在安装时没有分配磁盘空间，选择的是默认分配的，根分区默认为50G大小，在安装完成后，可以发现大容量磁盘往往分配在了home下面。 如果要把home下面的磁盘空间分配到root磁盘下面。可以进行如下操作 1.查看CentOS的系统版本 2.查看分区 df -h (ce ......