standalone centos spark
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
Centos安装docker步骤
安装docker 1、Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。 通过 uname -r 命令查看你当前的内核版本：$ uname -r 2、使用 root 权限登录 Centos。确保 yum 包更新 ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
CentOS 7复制文件和文件夹都阿里云OSS的指定目录
1、首先需要安装阿里云官方的工具 阿里云官网文档地址：https://www.alibabacloud.com/help/zh/oss/developer-reference/install-ossutil 方法一： wget https://gosspublic.alicdn.com/ossuti ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
centos7.9内核升级至6.1.12-1
载入公钥rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org 升级安装ELReporpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm 载入elre ......
centos8配置网络环境及阿里云网络yum源
一、centos8配置网络环境 1.修改配置网卡配置文件 [root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens18 TYPE=Ethernet NAME=ens18 DEVICE=ens18 IPADDR=192.168.1 ......
centos 编译安装 curl
centos 编译安装 curl 下载地址 解压后进入目录 执行： ./configure --prefix=/usr/local/curl --with-openssl make && make clean # 配置环境变量 echo 'export CURL_HOME=/usr/local/cu ......
CentOS7 mysql5.7 (rpm安装)
一 查看linux操作系统版本和系统内核版本 [root@nfs_client ~]# cat /etc/redhat-release 查看操作系统版本 CentOS Linux release 7.5.1804 (Core) [root@nfs_client ~]# uname -r 查看系统内核 ......
CentOS7上配置MySQL5.7主从备份
CentOS7,MySQL5.7 两台机器,master为192.168.226.130,slave为192.168.226.131 配置主MySQL 首先,登录MySQL,创建一个同步账号,用于从服务器访问主服务器 create user 'repl'@'%' identified by '密码' ......
CentOS7安装MySQL5.7.36 rpm
1.下载 MySQL 所需要的安装包 网址：https://dev.mysql.com/downloads/mysql/ 2.Select Operating System: 选择 Red Hat ，CentOS 是基于红帽的，Select OS Version: 选择 linux 7 3.选择 R ......
Centos6与Centos7防火墙设置与端口开放的方法
centos7的firewall命令： 添加80端口 firewall-cmd --zone=public --add-port=80/tcp --permanent （--permanent永久生效，没有此参数重启后失效） 重新载入 firewall-cmd --reload 查看 firewal ......
centos7 初始化mysql8，设置不区分大小写
centos7 初始化mysql8，设置不区分大小写 # centos7 初始化mysql8，设置不区分大小写 [root@monsters ~]# cd /etc [root@monsters etc]# vi my.cnf # 修改my.cnf lower_case_table_names=1 ......
k8s 1.26.3 部署（containerd+centos 7.9）
一.系统环境初始化，所有节点都要做 服务器清单 10.12.121.190 k8s-01-master 10.12.121.191 k8s-01-node 根据实际更改初始化化hosts解析以及hostname，改完以后直接分别在master，node节点上执行执行 #配置服务器时间保持一致 yum ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
将netcore打包好的程序，以守护进程方式部署到CentOS系统中
进入 守护进程目录： cd etc/systemd/system 创建守护进行服务： vi my-auth.service 将如下代码更改为对应的服务，保存后退回 [Unit] Description=Auth .NET Web API App running on CentOS [Service] ......
StandAlone HA
StandAlone HA的原理 基于Zookeeper做状态的维护, 开启多个Master进程, 一个作为活跃,其它的作为备 份,当活跃进程宕机,备份Master进行接管. 为什么需要Zookeeper? 分布式进程是分布在多个服务器上的, 状态之间的同步需要协调,比如谁是master,谁 是wo ......
Centos7下安装和配置 Tengine
engine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。 Tengine，简单的讲就是对ngin ......
StandAlone总结
StandAlone的原理? Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群) Spark角色在StandAlone中的分布？ Master角色:Master进程, Worker角色:Worker进程, Driver角色和Executor角色: 以线程运行在Wo ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
Centos7对外开放端口
命令集合：（1）查看对外开放的端口状态查询已开放的端口 netstat -anp查询指定端口是否已开 firewall-cmd --query-port=666/tcp提示 yes，表示开启；no表示未开启。（2）查看防火墙状态 查看防火墙状态 systemctl status firewalld ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
CentOs安装Nvm,Node
Centos7系统 镜像链接如下： https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Everything-2009.iso?spm=a2c6h.25603864.0.0.18de6aeaLWNeIw 1： ......
CentOS 7.9完全卸载mysql
检查 rpm 包 rpm -qa |grep -i mysql # 运行结果 mysql-community-libs-5.7.37-1.el7.x86_64 mysql57-community-release-el7-10.noarch mysql-community-server-5.7.37- ......
CentOS 7 安装 alien
alien 实现deb与rpm相互转换 # yum install epel-release # rpm --import http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro # rpm -Uvh http://li.nux.ro/download/nu ......