standalone centos spark
Centos7 使用yum从第三方仓库安装Python3.8
环境： CentOS Linux release 7.9.2009 起因： Centos 7 自带Python2.7.5版本。而默认的 YUM 安装的python3是 3.6版本，遂升级到3.8版本。 install Python3.8 yum install -y centos-release-s ......
Centos7 安装MySQL详细步骤
1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My ......
Linux： /dev/mapper/centos-root 100%
背景 在VSCode 调试程序过程中，保存文件，发现报错：[FileSystemError]no space left on device, write。 立马到ssh连接Linux，查询磁盘使用情况。 发现：/dev/mapper/centos-root 100%，磁盘使用率100%。 解决 通过 ......
Centos 中在使用 yum install 时候报错解决
1.错误：在"/etc/yum.repos.d", "/etc/yum/repos.d", "/etc/distro.repos.d"中没有被启用的仓库 报错如下图 查资料得知为Centos 的原件源仓库配置文件错误 https://wenku.csdn.net/answer/eb4a07cfcd4 ......
Centos7安装Redis(超详细)
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。 下载地址：https:// ......
Spark SQL快速入门
Spark SQL快速入门 1、概述 spark SQL是Apache用于处理结构化数据的模块。其中包含SQL、DataFrame API、DataSet API，意味着开发人员可以在不同的API之间来回切换，从而使数据处理更加灵活。 Spark SQL(Spark on hive) 数据兼容方面S ......
Spark Streaming快速入门
Spark Streaming快速入门 一、简介 Spark Streaming 是构建在 Spark Core 基础之上的流处理框架（但实际上是微批次处理框架），是 Spark 非常重要的组成部分。严格意义上来讲，Spark Streaming 是一个准实时，微批次的流处理框架。 特点：Easy ......
如何使用xshell连接Ubuntu，centos,fedora,kali
xshell连接centos 以上IP地址为192.168.184.134 xshell连接ubuntu 以上IP地址为192.168.184.131 xshell连接fedora 以上IP地址为192.168.184.130 xshell连接kali 以上IP地址为192.168.184.135 ......
关于Anolis8/Centos8系统重启后ip地址不显示的原因
关于Anolis8/Centos8系统重启后ip地址不显示的原因 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ————— 作者：kirin #、今天把之前在VMware安装的Anolis8系统重启了，启动之后发现Xshell连接不上。在VMware上登录后执行ip a命令发现ip地址不见了 ......
CentOS 7 安装JDK 1.8 环境
1.查看云端yum库中目前支持安装的jdk软件包 yum search java|grep jdk 2.选择版本安装jdk yum install -y java-1.8.0-openjdk 3.安装完成后，验证是否安装成功 java -version 4.查找jdk安装位置 find / -nam ......
Centos 7 修改YUM镜像源地址为阿里云镜像地址
安装 wget yum install -y wget 进入目录 cd /etc/yum.repos.d/ 创建目录 mkdir backup 默认源配备份 mv C* backup/ 下载阿里云yum源 wget -O /etc/yum.repos.d/CenOS-Base.repo https: ......
Centos8安装jdk
1.通过yum检索支持安装的jdk版本 yum list | grep jdk 2.通过yum命令安装jdk环境，本文以‘java-1.8.0-openjdk.x86_64’版本为例 yum install java-1.8.0-openjdk.x86_64 3.输入java --version检查 ......
2023最新！docker于centos7下的安装配置
2023最新！docker于centos7下的安装配置 导航 目录2023最新！docker于centos7下的安装配置导航一、安装前的环境配置检查自己版本，必须是centos7以及以上版本 cat/etc/redhat-release卸载旧版本（如果之前没有安装过，这步可以忽略）yum 安装gcc ......
Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
原文链接：https://tecdat.cn/?p=34286 原文出处：拓端数据部落公众号 分析师：Shichao Zhong 项目挑战 如何处理庞大的数据集，并对数据进行可视化展示；在后续分析中特征选择是重点之一，要根据事实情况和数据易处理的角度来筛选变量 解决方案 任务/目标 根据已有的车祸数 ......
CentOS7.6部署docker
docker三要素：镜像(image)、容器(container)、仓库(repository) 安装步骤： 1，确认系统版本等信息 2，如果安装过需要卸载的话 yum remove docker \ docker-client \ docker-client-latest \ docker-com ......
CentOS7下的绑核操作记录（未完待续）
一、具体操作 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| grep "cpu cores"| uniq 查看逻辑CPU的个数 ......
Centos7.8 go1.18.3指定版本安装 完美运行Golang安装
安装背景说明：公司已经有3台服务器安装了go1.18.3版本，这次又买了一台新服务器，由于线上推上去的功能，可能会导致用户出现异常，要做压力测试，所以要重建go环境。 遇到问题：昨天下午自己下载了安装包，也是go1.18.3 解析到了/usr/local 目录 也配置了环境 /etc/profile ......
centos7安装rar 解压缩rar文件
第一步下载rar程序包 wget http://www.rarlab.com/rar/rarlinux-x64-5.6.0.tar.gz 第二步解压rar组件包 tar -zxvf rarlinux-x64-5.6.0.tar.gz 第三步进入解压出的“rar”文件夹 cd rar 第四步 进行配置 ......
VMware＋CentOS7 网络及静态IP配置
设置“虚拟机网络编辑” 打开VMware： 在工具栏的“编辑”选项里有一个“虚拟网络编辑器”，打开： 点击“更改设置” 首先选中VMnet8，下面会显示VMnet信息。我们选择NAT模式；然后将“使用本地DHCP服务奖IP地址分配给虚拟机”的勾选取消掉，因为我们要使用静态IP；最后记住最下面的子网I ......
centos7 升级 OpenSSH
随着计算机技术发张日新月异，人们对计算机的安全要求也逐渐严苛起来了。OpenSSH作为文件传输和远程客户端连接的协议实现，其重要性不言而喻。然而就是这么重要的组件，centos7原生自带的OpenSSH却因为其过低的版本而漏洞频出，所以我这里为了方便升级，编写了个shell脚本。 #!/bin/ba ......
Centos7系统中安装中文输入法
打开Vmware虚拟机，进行联网 切换为root用户 安装ibus框架：yum install （此处本人已完成安装ibus） 等待ibus安装完毕后安装输入法： yum install libpinyin yum install ibus-libpinyin 两个软件包安装完毕后重启系统 打开设置 ......
CentOS7安装强制使用gpt分区
安装CentOS时，系统默认会使用mbr模式。如果磁盘大于2T，则需要如下操作，在开机启动画面按 tab 键，以便输入核心参数，在行末输入 空格后 inst.gpt，回车： 可以如下模式分区，其中根分区既可以是基本的xfs或者ext3，也可以是lvm格式： ......
centos8防火墙策略
1、查看当前已打开的端口： sudo firewall-cmd --list-ports 2、开放端口 sudo firewall-cmd --zone=public --add-port=80/tcp --permanent 3、关闭端口 sudo firewall-cmd --zone=publ ......
Centos7更换华为源
CentOS-Base.repo文件是CentOS中默认的软件仓库配置文件，保存了各个软件仓库的配置信息。该文件位于`/etc/yum.repos.d/`目录下。 CentOS-Base.repo文件的内容包括： - `base`：CentOS发行版的核心软件包，提供了系统的基本功能。 - `upd ......
Linux（Centos7）升级MySQL 5.7到8.0.31
一、下载MySQL安装包 下载地址：https://downloads.mysql.com/archives/community/ 二、备份 mkdir /home/mysqlback mysqldump -u root -p --all-databases > /home/mysqlback/my ......
【Centos6 升级openssh-9.1与openssl-1.1.1s】系统ssh补漏洞
（注意：操作前请做好备份） 1、服务器需要可以访问公网 2、需要配置DNS服务器 vim /etc/resolv.conf 3、配置Centos6 yum源，由于官方已经不维护，只能用它云& 清理缓存&在线安装依赖 wget -O /etc/yum.repos.d/CentOS-Base.repo ......
Centos7部署zookeeper+kafka
一、Zookeeper 概述 1、Zookeeper 定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 2、Zookeeper 工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据， ......
CentOS 8安装MySQL
先看视频 操作步骤 更新系统。 yum -y update 获取Repository链接。 a. 前往mysql yum下载官网 b. 找到对应Linux发行版本的Repository，然后单击Download。 c. 右键No thanks, just start my download.，复制链 ......
Centos7创建账户
关于Linux里的创建账户，首先我们需要理解三个文件。 关于linux的账号文件 注：以下操作建议在超级用户root下执行 shadow密码文件 more /etc/shadow 这个文件是用来保存用户密码 里面的文件从左到右意思为： root:$abcdef1234:12644:0:99999:7 ......