standalone centos spark

### 1. 网络配置 - 配置网卡：/etc/sysconfig/network-scripts，名字为ifcfg-网卡，网卡eth0的配置文件是ifcfg-eth0（部分名字为ifcfg-ens33） - 动态IP地址 ~~~ TYPE=Ethernet # 网卡类型。 PROXY_METHOD ......

CentOS安装Nginx 一、安装环境 ```cobol yum -y install gcc gcc-c++ make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel ``` 二、下载Nginx版本 1.官网直接下载`. ......

1.安装n管理工具 npm install -g n安装最新版本 n latest安装指定版本 n 8.11.3 2.切换nodejs版本 n选择已安装的版本 ο node/8.11.3 node/10.4.1查看当前版本node -v，下面表示已切换成功 v8.13.3但问题来了，切换后，查看版本 ......

0. 前言 之前先写了处理数据的spark，用文件读写测了一批数据，能跑出结果；今天调通了Kafka，拼在一起，没有半点输出，查了半天，发现是之前的处理部分出了问题，把一个不等号打成了等号，把数据全filter没了。很恐怖，我保证这段时间我没动过这段代码，但上次真的跑出东西了啊（尖叫 1. 配置流程 ......

1.安装服务端 安装MySQL软件，可以在windows和linux下安装，此处只提供centos下安装过程。 MariaDb是最近推出一款企业级MYSQL Server Percona Server 和 MariaDb 是当前最为流行的两大企业级MYSQL SERVER解决方案 sudo yum ......

https://blog.csdn.net/Remberthename/article/details/124070710 centos8在更新yum源时提示 失败 错误:为 repo 'AppStream’下载元数据失败 解决方法： 原因:因原有系统中使用的镜像访问地址在国内访问过慢导致 解决方案 ......

minio介绍 minio 是高性能、可扩展、云的原生支持、开源免费的企业级文件存储服务，与Amazon S3 兼容，配置极简。 linux下的部署过程 1、下载minio，建议下载到/usr/local/bin/ 目录下，可全局访问 cd /usr/local/bin/ wget http://d ......

CentOS(Community ENTerprise Operating System) Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。 由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red ......

恢复内容开始 前言提示：这里可以添加本文要记录的大概内容： 机器重启后无法进入系统，试着用CentOS的救援模式修复一下 提示：以下是本篇文章正文内容，下面案例可供参考 一、什么是救援模式？救援模式，是一种在紧急情况下使用的系统救援方式，可以对系统中因意外丢失或被意外删除的系统文件进行修复找回 二、 ......

# Spark搭建 ## Local模式 > 主要用于本地开发测试 > > 本文档主要介绍如何在IDEA中配置Spark开发环境 * 打开IDEA，创建Maven项目 * 在IDEA设置中安装Scala插件 ![img](https://img2023.cnblogs.com/blog/286504 ......

本书从实际应用出发，以CentOS 7.5作为操作系统基础，介绍目前企业中常用的软件平台架设和管理方法，通过运维的视角来介绍运维的基础知识和软件平台的常见搭建思路。 本书共14章，分为3个知识区块。涵盖的主要内容有：以CentOS 7.5特性和安装、运维基础、网络配置与结构为第1个知识区块的基础知识 ......

介绍： ngx_lua_waf是⼀个基于ngx_lua的web应⽤防⽕墙。 主要⽤途有： 防⽌sql注⼊，本地包含，部分溢出，fuzzing测试，xss,SSRF等web攻击 防⽌svn/备份之类⽂件泄漏 防⽌ApacheBench之类压⼒测试⼯具的攻击 屏蔽常⻅的扫描⿊客⼯具，扫描器 屏蔽异常的⽹ ......

本书以目前广泛使用的CentOS 7.6平台为例，由浅入深、系统地介绍了Linux基础及对Linux各种服务的管理。*书共11章，主要内容*括Linux简介、基础*作命令、账户与权限管理、文件系统与磁盘管理、网络管理与系统监控、软件*管理、进程与基础服务、常用服务器配置、常用集群配置、常用系统*配置 ......

### 命令行集成Hive 将hive中的`hive-site.xml`配置文件拷贝到spark配置文件目录下，仅需要以下内容 ```xml hive.metastore.warehouse.dir /user/hive/warehouse javax.jdo.option.ConnectionUR ......

### 3.0.0主要的新特性： 1. 在TPC-DS基准测试中，通过启用自适应查询执行、动态分区裁剪等其他优化措施，相比于Spark 2.4，性能提升了2倍 2. 兼容ANSI SQL 3. 对pandas API的重大改进，包括python类型hints及其他的pandas UDFs 4. 简化 ......

1、 https://blog.csdn.net/shishui07/article/details/113934961?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~defau ......

centos7 开机后不能登录，出现:/#解决办法1.经验证是因为centos7安装在外接移动硬盘，硬盘意外断开导致的2.修复方法输入命令：ls /dev/mapper 会出现3个文件，其中带root的文件是我们需要的3.输入 xfs_repair /dev/mapper/centos-root - ......

单个文件的优点： 管理简单：只有一个文件需要管理和备份，不容易出错。 性能高：由于虚拟机磁盘文件是连续的，所以读写性能更高。 安全性高：单个文件更容易加密和保护。 单个文件的缺点： 大小限制：单个文件有大小限制，当文件过大时，可能会出现性能问题。 扩展困难：当需要扩展虚拟机磁盘时，需要将整个文件进行 ......

# 虚拟机centos7固定IP ## 1 固定ip ​ 使用ip a，查看网卡名称。  ​ 修改/etc/sysc ......

1,环境准备 yum install epel-release git gcc gcc-c++ cmake3 qt5-qtbase-devel python python-devel python-pip cmake python-devel numpy python34-numpy gtk2-de ......

一，Flink是真正的流处理，延迟在毫秒级，Spark Streaming是微批，延迟在秒级。 二，Flink可以处理事件时间，而Spark Streaming只能处理机器时间，无法保证时间语义的正确性。 三，Flink的检查点算法比Spark Streaming更加灵活，性能更高。Spark St ......

# root用户登录 # 1、安装ntp ```cpp yum install ntp ``` # 2、修改ntp.conf ```cpp vim /etc/ntp.conf ``` ```cpp server ntp1.aliyun.com prefer server ntp2.aliyun.co ......

如图： 配置内容 set from=XXXXX@qq.com set smtp=smtp.qq.com set smtp-auth-user=XXXXX@qq.com set smtp-auth-password=授权码 #在邮箱后台申请 set smtp-auth=login ......

### 性能优化分析 一个计算任务的执行主要依赖于CPU、内存、带宽 Spark是一个基于内存的计算引擎，所以对它来说，影响最大的可能就是内存，一般我们的任务遇到了性能瓶颈大概率都是内存的问题，当然了CPU和带宽也可能会影响程序的性能，这个情况也不是没有的，只是比较少。 Spark性能优化，其实主要 ......

### 宽依赖和窄依赖 - 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父R ......

### 创建RDD RDD是Spark编程的核心，在进行Spark编程时，首要任务是创建一个初始的RDD，这样就相当于设置了Spark应用程序的输入源数据 然后在创建了初始的RDD之后，才可以通过Spark 提供的一些高阶函数，对这个RDD进行操作，来获取其它的RDD Spark提供三种创建RDD方 ......

### WordCount程序 这个需求就是类似于我们在学习MapReduce的时候写的案例 需求这样的：读取文件中的所有内容，计算每个单词出现的次数 注意：由于Spark支持Java、Scala这些语言，目前在企业中大部分公司都是使用Scala语言进行开发，个别公司会使用java进行开发，为了加深 ......

### 什么是Spark Spark是一个用于大规模数据处理的统一计算引擎 注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎 既然说到了Spark，那就不得不提一下Spark里面最 ......

obj classes Object (48) GCObjectReferencer (120) TextBuffer (88) Field (56) Struct (192) ScriptStruct (208) MovieSceneKeyStructType (400) UserDefinedS ......

前言 在服务器上安装的各种中间件，为了防止意外宕机重启导致的后果，一般都需要配置成开机自启动。但是有些中间件的安装过程中并没有提供相关配置开机自启动的说明文档。今天和各位大朋友们聊一聊Centos上配置服务开机自启动的几种方式。 Centos下配置服务开机自启动有3种方式： 方式一：直接在/etc/ ......