standalone centos spark
yum安装软件报错http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.rep 404 - Not Found
yum安装软件报错 http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.rep/repodata/repomd.xml: [Errno 14] HTTP Error 404 - Not Found 处理方法进入 /etc/yum.re ......
centos7 安装jenkins
# 下载jenkins-rpm包wget https://mirrors.huaweicloud.com/jenkins/redhat-stable/jenkins-2.346.3-1.1.noarch.rpm #yum安装jenkinsrpm -ivh jenkins-2.346.3-1.1.no ......
CentOS 8 GNOME和向日葵的安装
CentOS 8 GNOME和向日葵的安装 参考链接： 安装GNOME3桌面并设置开机启动图形界面 - 知乎 对于安装时选择最小安装、没有安装GNOME的CentOS 8系统，可通过以下方式安装GNOME： 安装GNOME 3 下面仅给出指令，过程说明见参考链接1： [root@localhost ......
云计算基础搭建-centOS7和VMware17
软件：centOS 7和VMware 17 1、安装centOS 2、查看机器名：hostnamectl 3、修改机器名：hostnamectl set-hostname Controller_1 将机器名修改为Controller_1 4、添加IP地址 首先，查看虚拟机菜单：“编辑” - “虚拟网 ......
centos7：安装python3.6.8：安装uvicorn、fastapi、pymysql：指定国内的pypi镜像源
yum install python3 python3-devel gcc make libaio-devel pip3 install -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com "uvico ......
centos 7 + JDK 1.8.0_381+jenkins-2.346.3-1.1环境搭建与安装
一.查询JDK版本与Jenkins版本对应关系： https://pkg.jenkins.io/redhat-stable/ 二.centos 7 安装JDK 1.8版本 略 三.下载并安装jenkinswget https://repo.huaweicloud.com/jenkins/redhat ......
CentOS7 以rpm包方式升级内核
RPM包方式安装后，查看内核启动序号：[root@localhost ~] awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfgCentOS Linux (4.4.179-1.el7.elrepo.x86_64) 7 (Core)CentOS L ......
centos7.9重启网卡提示Failed to start LSB: Bring up/down networking.
前几天给一台机器状态centos7.9系统，设备有2个网口，今天重启网卡一直失败， 查看network状态，怀疑是eth0网卡有问题 查看eth0的网卡配置，发现是eth0网卡的BOOTPROTO=dhcp，且ONBOOT=yes，但eth0网口没插网线，这导致重启网卡时，一直重启eth0，但是没插 ......
在CentOS7上更改端口号时报错：Job for sshd.service failed because the control process exited with error
1、问题描述 在在CentOS7×上更改端口号时报错: “Job for sshd.service failed because the control process exited with error code.See ‘systemcl status& sshd service" and fo ......
Centos7系统二进制安装Kubernetes（v1.20）集群
一、环境准备 参考：https://www.cnblogs.com/Mr-Ding/p/17773745.html 二、部署ETCD集群 2.1、准备cfssl证书生成工具 cd k8s1.20二进制包/ chmod +x cfssl_linux-amd64 cfssljson_linux-amd6 ......
任意选择以下一种方式通过Spark API 编写一个独立应用程序。
任意选择以下一种方式通过Spark API 编写一个独立应用程序。 （一）使用sbt对Scala独立应用程序进行编译打包 （二）使用Maven对Java独立应用程序进行编译打包 （三）使用Maven对Scala独立应用程序进行编译打包 ......
centos7安装mysql5.7（转）
https://cloud.tencent.com/developer/article/2226207 安装步骤 https://www.cnblogs.com/key-l731/p/9551400.html 查看本机安装情况 1. 下载 MySQL yum包 wget http://repo.my ......
制作自己的min linux(CentOS7.6)
1.在现有的linux添加一块大小为20G的硬盘 2.启动现有的linux。 通过fdisk来给我的/dev/sdb进行分区 3.接下来，对/dev/sdb的分区进行格式化 [root@localhost ~]# mkfs.ext4 /dev/sdb1 [root@localhost ~]# mkf ......
Spark3.3.2安装部署
选择你想要的版本 镜像链接https://mirrors.aliyun.com/apache/spark/?spm=a2c6h.25603864.0.0.5d1b590eLwbWr2 sudo tar -zxvf spark-3.3.2-bin-without-hadoop.tgz -C /usr/ ......
每日随笔——使用 Spark Shell 编写代码
安装完spark之后，学习使用Spark Shell 编写代码 默认spark已经安装成功，且环境变量已经配置完成 启动Spark Shell cd /export/server/spark bin/spark-shell 加载文本文件 val textFile = sc.textFile("fil ......
centos7.9离线内核升级内核
一、centos7离线升级系统内核 1，centos7系类内核版本为3.10 centos6系列内核版本为2.6，我这边操作是基于centos7.9内核进行小版本的离线升级，在线的就不在这多说了。 内核版本3.10.0-1160.el7.x86_64升级为—— 3.10.0-1160.95.1.el ......
每日随笔——Spark
今天学习如何使用Spark技术。 一、下载spark 下载spark-3.4.0-bin-without-hadoop.tgz文件，百度网盘链接：https://pan.baidu.com/s/181shkgg-i0WEytQMqeeqxA（提取码：9ekc ） 二、安装hadoop和Javajdk ......
CentOS 7.9 Redis 设置开机自启动
https://blog.csdn.net/aikudexiaohai/article/details/130102729 一、背景说明由于安装的 redis，不会自动生成 systemctl 相关的系统命令，每次启动、重启、停止、查看 redis 状态，不太方便。 可以通过如下步骤，创建系统文件， ......
CentOS 安装 MySQL8，超详细！
CentOS 安装 MySQL8，超详细！ 一、离线安装MySQL 1. 检查是否已安装mysql rpm -qa | grep mysql 2. 卸载已安装的mysql rpm -ev mysql80-community-release-el7-7.noarch rpm -ev mysql-com ......
CentOS提示命令找不到怎么办
1 修改profile /usr/bin/vi /etc/profile 加入：export PATH=$PATH:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin 2 修改.bashrc文件 /usr/bin/vi ~/.ba ......
Docker部署Redis集群----第二节（docker安装centos和指令讲解）
1、安装docker 在安装前：先讲下，因为我们是在云服务上部署的，有时候会出现短时间不操作就会断开ssh远端连接记得加个心跳： [root@instance-rttngj1u ~]# vim /etc/ssh/sshd_config 在末尾添加这两行代码 ClientAliveInterval 6 ......
spark on k8s环境下不重新打镜像实现celeborn client或其他底层jar包升级
博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/17792469.html 前言 Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器 SQL。Apache Celeborn 是一个Remote Shuffle Serv ......
CentOS7安装Nginx并添加成服务【转】
当我们使用Nginx作为 Web 服务器时，将其添加为系统服务可以更方便地管理它的启动和停止。下面是 CentOS 7 将 Nginx 添加系统服务的方法步骤： 创建nginx服务配置文件 首先，创建一个 nginx 服务配置文件，并将以下内容复制到文件中： [Unit] Description=T ......
CentOS7系统放行TCP/UDP端口教程
在使用CentOS7操作系统时，您需要放行某些端口，以便应用程序能够正常运行。下面是如何放行TCP/UDP端口的步骤。 步骤1：SSH连接服务器使用SSH方式连接服务器，如果您不知道如何SSH连接服务器，可以查看该教程：SSH远程连接 Linux 服务器教程 步骤2：确定要放行的端口在放行端口之前， ......
Centos7系统,关闭了防火墙,但是有些端口仍然不能telnet通,解决方案
问题：虚拟机centos7系统，已经关闭firewalld，但是除了22端口，其余端口无法被宿主机访问，本地访问正常解决步骤：1.查看防火墙状态:systemctl status firewalldActive: inactive (dead) – 防火墙已关闭Active: active (run ......
CentOS系统的deb包安装详解
Deb是Debian操作系统中的一种软件包格式，包含了软件的二进制文件、配置文件、文档等。在Debian及其衍生发行版中，deb包是常见的软件包格式。在CentOS系统中，deb包并不是默认的软件包格式，因此需要一些特殊的步骤来安装。 1. 安装alien工具：alien是一种将deb包转换为rpm ......
spark使用记录
单词统计的示例 1：客户端登录 2：使用链式编程输出结果文件 sc.textFile("hdfs://bda1node01.sqtxj.com:8020/txj/resources/chedai/chedai.csv").flatMap(_.split(",")).map((_,1)).reduce ......
spark学习
Spark运行特点： 每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行Task。这种Application隔离机制是有优势的，无论是从调度角度看（每个Driver调度他自己的任务），还是从运行角度看（来自不同Applicatio ......
Centos 7和Centos8 配置Xmanager XDMCP和Xstart
一、XDMCP配置 #安装 yum install -y lightdm #配置 vim /etc/lightdm/lightdm.conf [XDMCPServer] enabled=true port=177 #防火墙开放端口 firewall-cmd --zone=public --perma ......
CentOS搭建内网KMS服务器
1.yum换源 [root@cwc ~]# cd /etc/yum.repos.d/ [root@cwc yum.repos.d]# mkdir back [root@cwc yum.repos.d]# mv CentOS-Linux-* back/ [root@cwc yum.repos.d]# ......