standalone centos spark

## 准备 - cetnos7 6g+50g root权限 ## 安装 1、安装docker 2、拉取oracle镜像 ```shell docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g # 大约有6个G ``` 3、下 ......

#CentOS7部署jdk1.8 ## 查看可用版本 ``` yum list java* ``` ## 安装jdk ``` yum install -y java-1.8.0-openjdk.x86_64 ``` ## 查看jdk版本 ``` java -version openjdk versi ......

开始之前简单讲下源和包管理器的概念，个人理解如下： 源就是平时我们win电脑上的360软件管家、腾讯软件管家、微软商店这个意思，提供下载各类软件包、安装包的平台； 包管理器就是win电脑上各类软件的安装包，例如qq.exe、360.msi等，需要下载后用指定的命令可以进行安装、协助等操作，跟源配合使 ......

decode函数 decode(bin, charset) - 使用第二个参数字符集解码第一个参数。 decode(expr, search, result [, search, result ] ... [, default]) - 解码比较 expr 对每个搜索值一一进行。如果 expr 等于搜 ......

在Rancher中，我们需要映射磁盘值docker中，因此我们需要将磁盘路径挂载到docker内，但由于有多个服务器，我们需要指定存储某一台服务器内，这时候我们需要共享文件夹，来访问响应文件。因此我们这边引入了NFS 1.环境准备 1.1 准备2台服务器 A:172.16.169.220 作为服务器 ......

简介 Timescale Documentation | Getting started with Timescale Timescale是一个用于时间序列，事件和分析的PostgreSQL数据平台。 提供了PostgreSQL的可靠性，这是时间序列的超能力 TimescaleDB，。它提供 自动备 ......

安装ImageMagick ``` yum -y install ImageMagick ``` 批量压缩脚本 ```shell #!/bin/bash # 设置原始图片目录和压缩后图片目录 input_dir="/data/images" output_dir="/data/images_outp ......

1.[SPARK-39936][SQL] Store schema in properties for Spark Views，spark视图保存到hive metastore时未清空tableschema导致解析失败 Hive DataType解析器主要发生在Hive的元数据存储（Hive Met ......

1、下载ElasticSearch8.9并安装 https://www.elastic.co/guide/en/elasticsearch/reference/8.9/rpm.html#rpm-repo wget https://artifacts.elastic.co/downloads/elas ......

您好，这是在CentOS 7上安装Redis的详细指南1： 安装依赖项：Redis是用C语言开发的，因此在安装之前，您必须确保服务器已经安装了gcc。您可以通过以下命令检查机器是否安装：gcc -v。如果没有安装，您可以通过以下命令安装：yum install -y gcc。 下载Redis安装包并 ......

按照说明文档，先按照了最新版本的Python，官网下载了最新的版本3.11后，一顿操作感觉分分钟就安装完了。 但是继续安装chatglm2-6b 所需的依赖包时，就遇到了N多坑点，为了解决这些坑点，耗时真的很长（按周计算的那种）。 第一个坑点：安装Python时，没有带SSL： 解决办法：详细可以参 ......

默认的安装源里没有 xrdp，只有客户端 freerdp。xrdp 在 epel 源，需要提前安装。 # epel yum install epel-release # yum list | grep rdp freerdp.x86_64 2:2.4.1-3.el9 appstream freerd ......

CentOS7安装MySQL5.7：使用二进制文件方式 一、安装环境安装环境如下：服务器：CentOS 7安装版本：MySQL 5.7.42 二、安装过程和细节1、在官网下载二进制安装文件官网下载地址如下，这个地址里有各个版本的安装包，根据自己的版本选择，下载对应系统的安装包https://down ......

一、安装环境安装环境如下：服务器：CentOS 7.9安装版本：MySQL 5.7（最新版） 二、安装过程和细节1、在官网下载 MySQL Yum 源安装文件用 MySQL Yum 存储库安装的方式，其实就是通过 Linux 系统的 Yum 源安装的方式，主要的 Yum 源配置文件存放在/etc/y ......

在centos 7上，默认是python 2.7的版本，并且没有pip命令。 如果要通过pip命令安装一些包、模块，就没有办法做到的。 所以，需要先进行pip命令的安装。 通过使用下面的命令，在centos 7上安装pip命令： yum install -y python-pip 安装之后，输入下面 ......

防火墙开启某端口： firewall-cmd --zone=public --add-port=8888/tcp --permanent 复制 防火墙关闭某端口： firewall-cmd --zone=public --remove-port=8888/tcp --permanent 复制 防火墙 ......

使用github上的源码安装 ```python 按照以下步骤使用 arp-scan 的 GitHub 源码进行安装： 安装编译工具和依赖项： 打开终端并以root用户或具有sudo权限的用户身份登录。运行以下命令以安装编译工具和必要的依赖项： sudo yum install gcc make l ......

[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job fai ......

前言： Q：为什么开发人员写博客？ A：因为： 1. 官方主页，文档都是英文。看起来吃力。很多软件不知道怎么安装，怎么使用。 2. Linux 系统太自由了，没有对安装包和安装位置作统一安装标准。（这个使用软件包管理器会好一点。类似手机的应用市场，windows11的store， 直接一键安装） 3 ......

CentOS 7.9 环境的安装不再赘述，不清楚可以参看之前的文章：https://www.cnblogs.com/iflytek/p/14403664.html 1、准备GBase 8a的安装包：GBase8a-NoLicense-Free-8.6.2_build43-R7-redhat7.3-x ......

此界面按e进入grub编辑界面  进入grub编辑界面。把linux16这行的ro修改为rw init=/sysroo ......

# Spark概述 ## 1.1认识Spark 背景：现有的计算框架有：批处理：MapReduce、Hive、Pig…，流式计算：Storm，交互式计算：Impala，Presto，但没有一种框架兼容以上所有的计算框架，spark应运而生 ### 1.1.1 Spark的发展 2009年由Berke ......

# Spark编程  ![image-2020042409271958 ......

# Spark SQL ## 1.1Spark SQL简介 Spark SQL是一个用来处理结构化数据的Spark 组件。它可被视为一个分 布式的SQL查询引擎，并且提供了一个叫作DataFrame的可编程抽象数据模型。Spark SQL的前身是Shark,由于Shark需要依赖于Hive而制约了S ......

coreseek官方网站已经关门了，网上找了一个下载源 下载：https://gitee.com/sdagfsdh/coreseek?_from=gitee_search 先安装环境： yum install make gcc gcc++ gcc-c++ libtool autoconf autom ......

末尾有软件安装包,自行下载(centos环境) | centos | JDK | Jenkins | maven | tomcat | git | myslq | nginx | | | | | | | | | | | 7.9 | 11.0.19 | 2.418 | 3.8.1 | 9.0.78 | ......

# CentOS 8 Stream 使用常见问题 ## 较之前的CentOS x. version, CentOS 8 Stream 有一些改变，以下是学习linux知识时遇到的问题 ### 1. **mail**的使用 * command not found yum -y install mail ......

正在学习《Spark快速大数据分析》第七章-在集群上运行Spark，写了一个单词数量统计的Spark程序提及到Yarn，但是状态一直是Accepted，等待运行。 1、排查了Yarn资源调度器配置，配置的是公平配置，确认无问题 ```xml yarn.scheduler.fair.allocatio ......

==一、安装前必读== 在安装 Docker 之前，先说一下配置，我这里是Centos7.6 Linux 内核：官方建议 3.10 以上。 注意：本文的命令使用的是 root 用户登录执行，不是 root 的话所有命令前面要加 `sudo` 1. 查看当前的内核版本 `uname -r` 我这是：3 ......

Centos默认安装的是python 2.7版本,需要使用python3，安装过程记录如下： 1. 查看系统python2的位置： `whereis python` 2. 安装编译python3的相关系统依赖包 `yum -y install zlib-devel bzip2-devel opens ......