standalone centos spark
Spark算子实现wordCount的十种方法
//groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" " ......
centos安装mysql8028
centos安装mysql8028 下载好了解压出来 mysql-community-client-8.0.28-1.el7.x86_64 mysql-community-client-plugins-8.0.28-1.el7.x86_64 mysql-community-common-8.0.28 ......
Hyper-V 安装 CentOS 8.5
前言 Hyper-V安装文档：在 Windows 10 上安装 Hyper-V CentOS 系统下载：CentOS 国内镜像源 8.5.2111 作者：易墨 发布时间：2023.10.01 原文地址：https://www.cnblogs.com/morang/p/devops-hyperv-ce ......
MapReduce和Spark读取HBase快照表
1.概述 随着大数据技术的不断发展，处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型，为处理大规模数据提供了有效的解决方案。在这篇博客中，我们将探讨如何使用MapReduce框架读取快照表（Snapshot Table）的数据。快照表是一种记录某一时刻系统状态的表格，通过Ma ......
`centos 7.9`二进制方式安装`MySQL-5.7.43`
二进制方式安装 说明 以下操作都是基于Linux操作系统 cenos7.9 ,并且所有的操作都是基于root用户 关闭防火墙 停止防火墙 systemctl stop firewalld 禁用防火墙开机自启 systemctl disable firewalld 下载安装包 下载地址如下 https ......
Linux Centos7 虚拟环境安装Redis教程（超详细）
一、Redis的介绍 1、基于内存或持久化的日志型、key-value型的Nosql数据库 2、Redis六大特性：速度快、广泛的语言支持、持久化、多种数据结构、主从复制、高可用与分布式。 二、Redis安装下载 1、官网下载 官网：https://redis.io/download/ 选择Redh ......
centos, 欧拉系统，yum保存rpm包
两种方法： 第一种： 用参数 如保存telnet的包 yum install --downloadonly --downloaddir=/home/localrpm telnet 第二种：编辑 /etc/yum.conf 文件 文件里有一个keepcache 参数，改成1 就代表保存了，cached ......
安装 Docker Engine on CentOS
1、卸载旧版 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ do ......
Linux centos7内核升级 简单快速的方法
Linux是支持多版本内核共存的，无非是系统启动的时候应用哪个版本内核而已。 关于内核： Linux 内核分两种：官方内核（通常是内核开发人员用）和各大 Linux 发行版内核（一般用户常用）。 关于Linux内核版本号：例如：[root@centos7 ~]# uname -r3.10.0-112 ......
在centos系统下如何修改root密码
对于运维来说，难免不会遇到忘记Linux的情况，那么忘记Linux系统root密码后该如何找回或者重置呢？更多技术干货详见www.linuxprobe.com ......
CentOS7.9开启SSH
检查系统是否安装了SSH服务 rpm -qa | grep ssh 系统安装SSH服务 openssh-server：yum install openssh-server 查看并修改SSH配置 vim /etc/ssh/sshd_config ssd_config是sshd服务的配置文件，可在其中配 ......
CentOS7.9安装图形化界面
为了避免安装图形化界面时出现各种令人反感的小问题，建议先升级 yum update yum groupinstall "GNOME Desktop" "Graphical Administration Tools" -y 查看当前系统默认的启动类型（是否为图形化） systemctl get-def ......
centos7.9 扩容swap分区
情况说明：在VMware vsphere的虚拟化平台下，为了快速部署虚拟服务器，我们常常使用模板部署虚拟机。但真实业务有时要求的文件系统分区和大小常常与模板不同，这时便需要自定义硬件资源和使用 LVM 方式扩容。在定义硬盘的时候我们可以在原有的硬盘上直接增加，然后虚拟机创建完成后再进入系统进行扩容， ......
spark环境部署之wordCount初体验
一.安装spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包 # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ......
centos防火墙 firewall
CentOS 7 开放/关闭端口，关闭防火墙 一、永久的开放需要的端口 sudo firewall-cmd --zone=public --add-port=3000/tcp --permanent sudo firewall-cmd --reload 二、永久关闭某端口 $ sudo firewa ......
centos 7 重置密码
参考：CentOS忘记密码的解决办法 - 厚礼蝎 - 博客园 (cnblogs.com) centos7及以上 开机进入引导页面 快速按e，会停在这个界面 然后再次按e，进入编辑界面,将光标移到linux16这一行的行尾 在行尾加上init=/bin/sh 然后按ctrl+x,继续引导，进入单用户界 ......
大数据 | Spark基本使用示例
欢迎参观我的博客，一个Vue 与 SpringBoot结合的产物：https://poetize.cn 博客：https://gitee.com/littledokey/poetize-vue2.git 聊天室：https://gitee.com/littledokey/poetize-im-vue ......
centos7 网卡配置文件解读
借的图 另外，/etc/resolv.conf 是DNS客户机配置文件，用于设置DNS服务器的IP地址及DNS域名，还包含了主机的域名搜索顺序 它的格式很简单，每行以一个关键字开头，后接一个或多个由空格隔开的参数 nameserver 8.8.8.8 借鉴的： https://blog.csdn.n ......
Centos docker-ce 安装
yum update -y yum -y install yum-utils yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo https://download.dock ......
Centos 内核 kernel 版本
1：查看当前Centos 内核版本 uname -r 2：下载内核包 wget http://hkg.mirror.rackspace.com/elrepo/kernel/el7/x86_64/RPMS/kernel-lt-5.4.257-1.el7.elrepo.x86_64.rpm 3：rpm安 ......
本地测试Spark的svm算法
上一篇介绍了逻辑回归算法，发现分类效果不好，通过这次的svm发现是因为训练数据不行，于是网上找了部分训练数据，发现实际上分类效果还可以。 训练数据，第一个值是标签，下面的数据是某种花的相关特征。 1|5.1,3.5,1.4,0.2 1|4.9,3,1.4,0.2 1|4.7,3.2,1.3,0.2 ......
centos设置开启自动启动服务
1、编写服务或程序启动脚本 命令：vi /opt/abaqus-lmgrd.sh 输入启动脚本内容，如： #!/bin/bash sudo /usr/SIMULIA/License/2022/linux_a64/code/bin/lmgrd -c /usr/SIMULIA/License/2022/ ......
centos7 格式化磁盘
磁盘挂载lsblk 查看所有识别到的磁盘 df -h查看磁盘是否全部挂载fdisk -l 如果有的没有挂载且没有分区的磁盘 先分区 执行： parted /dev/sdb输入：mklabel gpt 重新格式化的话会问你确认，没格式化过的不用输入y,也不会弹出输入y 全部都只分成一块磁盘执行：mkp ......
centos下挂载的iso文件，卸载时报umount target is busy解决方法
1-本地iso文件临时挂载 命令：mount -t iso9660 iso文件 挂载路径（注：a-iso9660是挂载本地iso文件；b-挂载到/dev/loop0） 2-卸载挂载 a-查看挂载 命令：df -h b-卸载挂载 命令：umount /dev/loop0 3-遇到的问题-卸载时报umo ......
在CentOS系统中安装Nginx
以下是在CentOS系统中安装Nginx的步骤： 1. 更新系统软件包： sudo yum update2. 安装EPEL存储库： sudo yum install epel-release3. 安装Nginx： sudo yum install nginx4. 启动Nginx服务： sudo sy ......
centos7中恢复误删除文件foremost 工具
它是将你所需要搜集的文件类型的文件全部都搜出来恢复，放到你指定的目录下，供你选择 可去阿里源搜索软件，找一个合适的rpm包装上，没什么依赖。 就只需要一条命令就可以了，然后去你指定的目录看结果。 ......
centos6误删文件恢复
测试结果是在centos6上使用效果比较好，centos7上不给力，也不知道是否是虚拟机的缘故 当不小心误删除某文件或者目录的时候， 恢复的结果就存放在执行命令的目录下生成的目录下RECOVERED_FILES 里 当对还在挂载中的分区进行恢复时，会提示是否继续，选择y 即可 如图，通过extdel ......
CentOS8 挂载本地 YUM 源
CentOS8 挂载本地 YUM 源🐌 原文链接：https://blog.csdn.net/chrisy521/article/details/129659835 有时候服务器不能访问外网环境时，安装系统需要的软件特别麻烦，一些软件包可能需要关联安装十几个其他的 rpm 包，安装完成后，有可能因 ......