spark
Spark安装部署与基础实践
安装 java 运行命令 sudo apt install openjdk-8-jdk-headless 进行安装 运行java -version测试安装是否成功，结果如下，安装成功 安装Spark 运行wget http://mirror.bit.edu.cn/apache/spark/spark ......
hive on spark报错
Error in query: Detected implicit cartesian product for LEFT OUTER join between logical plansUnion Join condition is missing or trivial.Either: use th ......
Windows平台下单机Spark环境搭建
为了在有限的资源上学习大数据处理与分析技术，借鉴Linux以及部分网上的教程，在Windows10平台搭建Spark环境。本文将简单记录搭建流程以及其中遇到的坑。 Spark的部署模式主要有四种： Local模式（单机模式） Standalone模式（使用Spark自带的简单集群管理器） YARN模 ......
在CentOS上安装和配置Spark Standalone
1.确认Java已安装 在CentOS上运行以下命令以确认Java是否已安装： java -version 如果Java未安装，请按照以下步骤进行安装： sudo yum install java-1.8.0-openjdk-develx 修改/etc/profile文件，末尾添加 export J ......
使用 OpenCV、Kafka 和 Spark 技术进行视频流分析
核心要点 为了可靠且高效地处理大规模的视频流数据，需要有一个可扩展、能容错、松耦合的分布式系统； 本文中的示例应用使用开源的技术来构建这样的系统，这些技术包括 OpenCV、Kafka 和 Spark。另外，还可以使用 Amazon S3 或 HDFS 进行存储； 该系统包含了三个主要的组件：视频流 ......
Video Stream Analytics Using OpenCV, Kafka and Spark Technologies
Key Takeaways For reliable handling and efficient processing of large scale video stream data, there is a need for a scalable, fault tolerant and loos ......
Hive On Spark调优
第1章 集群环境概述 1.1 集群配置概述 本课程所用集群由5台节点构成 其中2台为master节点： 用于部署HDFS的NameNode Yarn的ResourceManager 另外3台为worker节点，用于部署HDFS的DataNode、Yarn的NodeManager等角色。 Master ......
spark
首先安装JAVA，SCALA scala安装 解压包 [root@master ~]# tar -zxvf scala-2.11.8.tgz -C /usr/local/src/ 配置环境变量 #SCALA_HOME export SCALA_HOME=/usr/local/src/scala ex ......
Spark持久化
众所周知，RDD只会保留血缘关系，不存储计算结果。如果想要让计算结果持久化存储，那就要引入cache和persist方法。 提前感受变化 禁用持久化 package com.pzb.rdd.persist import org.apache.spark.rdd.RDD import org.apac ......
Spark算子总结
Spark的算子分为两大类：transform（转换算子）和action（行动算子） transform算子：map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、r ......
解决Spark读取tmp结尾的文件报错的问题
业务场景 flume采集文件到hdfs中，在采集中的文件会添加.tmp后缀。一个批次完成提交后，会将.tmp后缀重名名，将tmp去掉。 所以，当Spark程序读取到该hive外部表映射的路径时，在出现找不到xxx.tmp文件的问题出现。 解决思路： Hdfs提供了读取文件筛选的接口PathFilte ......
Spark高级
Spark 宽依赖和窄依赖 窄依赖(Narrow Dependency)： 指父RDD的每个分区只被 子RDD的一个分区所使用， 例如map、 filter等 宽依赖(Shuffle Dependency)： 父RDD的每个分区都可能被 子RDD的多个分区使用， 例如groupByKey、 redu ......
Java语言在Spark3.2.4集群中使用Spark MLlib库完成XGboost算法
一、概述 XGBoost是一种基于决策树的集成学习算法，它在处理结构化数据方面表现优异。相比其他算法，XGBoost能够处理大量特征和样本，并且支持通过正则化控制模型的复杂度。XGBoost也可以自动进行特征选择并对缺失值进行处理。 二、代码实现步骤 1、导入相关库 import org.apach ......
Java语言在Spark3.2.4集群中使用Spark MLlib库完成朴素贝叶斯分类器
一、贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率，生活中，我们可能很容易知道P（A|B），但是我需要求解P（B|A），学习了贝叶斯定理，就可以解决这类问题，计算公式如下： P（A）是A的先验概率 P（B）是B的先验概率 P（A|B）是A的后验概率（已经知道B发生过了） P（B|A）是B的后验 ......
分布式计算技术（上）：经典计算框架MapReduce、Spark 解析
当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR ......
spark 的几个简单实例
最近写了几个简单的spark structured streaming 的代码实例。 目的是熟悉spark 开发环境搭建， spark 代码开发流程。 开发环境： 系统：win 11 java : 1.8 scala:2.13 工具：idea 2022.2 ，maven 3, git 2.37 sp ......
Spark on Yarn配置
1、Spark on Yarn配置 1.)在搭建好的Spark上修改spark-env.sh文件： # vim $SPARK_HOME/conf/spark-env.sh 添加以下配置： export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export ......
Spark学习笔记01
1、spark程序开发完成后，打包成jar包。 如何将jar包分发到 spark集群？1、启动集群 启动master ./sbin/start-master.sh 启动worker ./bin/spark-class org.apache.spark.deploy.worker.worker spa ......
Hadoop、Hive和Spark的关系
大数据技术生态中，Hadoop、Hive、Spark是什么关系？| 通俗易懂科普向 Hadoop、Hive和Spark，都是大数据相关的系统和技术。 大数据也是数据管理系统的范畴。数据管理系统涉及两个方面的问题，一个是数据怎么存储？一个是数据怎么计算？ 为了方便理解，我们需要从单机的时代来讲解。 在 ......
大数据经典论文解读 - Spark
Spark Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing 可看作一个支持多轮迭代的MapReduce模型，但是引入了 RDD 这样的函数式对象的数据集概念。Sp ......
A7--Spark部署
一、版本信息 JDK 1.8 spark 3.2.1 二、安装部署 1）上传解压缩文件 tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz 2）配置环境变量 vim /etc/profile # Spark export SPARK_HOME=/opt/spark-3.2 ......
Hive 和 Spark 分区策略剖析
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。 ......
idea中spark安装
Idea中spark的安装配置 下载Scala插件后新建scala项目 更改scala的SDK(下载的版本)和jdk并且更改工作空间 导入spark相关的架包找到安装路径导入jars或者lib(找到Libraries添加ScalaSDK和java) 设置maven全局的参数(导入maven的安装路径 ......
Spark源码解析（二）：Spark闭包检查
一、理解 Scala 闭包：Closures 1.1 闭包的定义 闭包就是一个函数和与其相关的引用环境组合的一个整体(实体)。进一步说，闭包是绑定了自由变量的函数实例。 通常来讲，闭包的实现机制是定义一个特殊的数据结构，保存了函数地址指针与闭包创建时的函数的词法环境以及绑定自由变量。 对于闭包最好的 ......
Spark源码解析（一）：RDD之Transfrom算子
一、延迟计算 RDD 代表的是分布式数据形态，因此，RDD 到 RDD 之间的转换，本质上是数据形态上的转换（Transformations） 在 RDD 的编程模型中，一共有两种算子，Transformations 类算子和 Actions 类算子。开发者需要使用 Transformations ......
常用spark优化参数
常用spark优化参数 强制使用spark engine set tqs.query.engine.type = sparkCli; set spark.yarn.priority = 4; 双写HDFS开启： set spark.shuffle.hdfs.enable=true; set spar ......
docker 搭建大数据集群（hive、hbase、ZooKeeper、Scala、Spark）
1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
Spark任务调试（Scala开发语言）
// 将dataframe存储到hdfs myDF.write.orc("hdfs://nsxxxx/user/admin/dir") // 读取操作 val mdf = spark.read.orc("hdfs://nsxxxx/user/admin/dir") ......
Spark入门到精通
一、Spark简介 1. 概念 Apache Spark 是一个开源的分布式计算系统，最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, and People Lab）开发，并于2010年加入Apache基金会进行开源。Spark 提供了一种统一的数据处理引擎，支持在 ......