spark3 spark 3.2
Spark入门
# 一、Spark框架概述 ## 1.1 spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 弹性分布式数据集RDD:RDD 是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。 ......
dolphinscheduler 调度spark on k8s
dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc ......
3.2 排序 参考代码
# P1059 [NOIP2006 普及组] 明明的随机数 - 计数排序 ```cpp #include int a[1005]; int main() { int n, cnt = 0; scanf("%d", &n); for (int i = 1; i #include using names ......
Spark
# SparkCore ## RDD基础 ### 定义 在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的 ......
五分钟了解Spark之RDD！！
# Spark之探究RDD > 如何了解一个组件，先看看官方介绍！  进入RDD.scala，引入眼帘的是这么一段描 ......
Spark
# 001 Spark框架 1、spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2、Spark VS Hadoop > 时间 Hadoop 2003（Yahoo开发）-> 2011(1.0) -> 2013（2.X） Spark 2009（伯克利大学）-> 2013（Apach ......
spark2
Rdd 几个基本的转换算子 窍诀 ：textfile得到的是按行读取的集合 filter就是一行为对象 split对象也是行，按照空格将行分割“ “1“ '2" ”” ”flat 展平，，将外层的引号去掉 map就是生成一个键值对的形式，gruopbykey就是生成键＋迭代器的形式 ruduceby ......
【Matlab学习3.2】用if语句实现选择结构
什么是选择结构 选择结构又称为分支结构，是根据给定的条件是否成立来决定程序的执行流程。 分为：用 if 语句实现选择结构。用 switch 语句实现选择结构。 单分支if语句 语句格式： if 条件 %关系运算或逻辑运算 语句组 %可以是一条语句，也可以是多条语句 end 当条件结果为标量时，非零表 ......
invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/DataFrame involved
``` ... 1 more Caused by: java.io.FileNotFoundException: File does not exist: hdfs://ns1/user/hive/warehouse/dw.db/dw_uniswapv3_position_detail/pk_day ......
源码安装Spark
# 前提条件 Spark 使用的语言是 Scala，而 Scala 需要运行在 JVM 之上。因此，搭建 Spark 的运行环境应该是 JDK 和 Scala。由于学习 Spark 源码的参考书籍是《Spark内核设计的艺术架构设计与实现》，所以就按照作者安装的版本进行安装： * Java8 * S ......
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统
课程实用性很强，老师讲的很透彻，都是面试容易问到的；紧扣当前企业所用技术，对于从事大数据或者转行大数据行业，都有很大的帮助。 比屋教育，秉承“活学活用”的教育理念，集合资深专家讲师团队，依托完善的线上教学管控平台，专注于大数据、云计算、互联网架构师等领域的职业技能培训，着力培养满足互联网企业实际需求 ......
spark 的踩坑记录（二）spark 字符串截取问题
前言 接之前的spark踩坑记录，回想起当时折磨很久的一个问题，结果导致开发中花了很长时间才完全解决。主要原因为spark 和 java 的字符串截取函数不一致导致的。 主要技术框架背景介绍 spark ： 2.4.3scala ： 2.11.12 背景 实际工作中会处理很多文本数据流，例如文章信息 ......
未安装HBase时Hive on Spark任务卡顿处理如何解决
操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 说明：Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访 ......
绝密100个Spark面试题，熟背100遍，猛拿高薪
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
用 Spark's MinHashLSH进行文本语料去重
（1）MinHashLSH进行文本去重的算法原理 MinHash (最小哈希) 是一种用于估计两个集合的 Jaccard 相似度的方法，而 MinHashLSH (局部敏感哈希) 则是一种使用 MinHash 来近似查找相似项的技术。 MinHash 算法基于以下观察：如果我们随机排列所有可能的元素 ......
mac spark+hive+hadoop 数据分析环境搭建(单机简版)
apache产品下载地址： http://archive.apache.org/dist/ mysql5.6 brew方式安装配置： Icon mysql做为元数据存储使用。 brew search mysql brew install mysql@5.6 配置mysqlhome： export M ......
Spark的一些重要概念
# Shuffle的深入理解 什么是Shuffle，本意为洗牌，在数据处理领域里面，意为将数打散。 问题：shuffle一定有网络传输吗？有网络传输的一定是Shuffle吗？ ## Shuffle的概念 通过网络将数据传输到多台机器，数据被打散，但是有网络传输，不一定就有shuffle，Shuffl ......
org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead.
# 问题描述 org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead. 最近在做Spark ......
Spark中RDD的特殊算子和重要概念
# RDD特殊的算子 ## cache、persist 将数据缓存到内存，第一次触发Action，才会将数据放入内存，以后在触发Action，可以复用前面内存中缓存的数据，可以提升技术效率 cache和persist的使用场景：一个application多次触发Action，为了复用前面RDD的数据 ......
Spark
[spark官网](https://spark.apache.org/ "spark官网") ``` https://spark.apache.org/ ``` ##### Scala学习 [Scala学习](https://www.cnblogs.com/rbcd/articles/1752466 ......
Spark中RDD的Action算子
# RDD的Action算子 Action算子会触发Job的生成，底层调用的是sparkContext.runJob方法，根据最后一个RDD，从后往前，切分Stage，生成Task ![image](https://img2023.cnblogs.com/blog/1742816/202307/17 ......
Spark中RDD的Transformation算子
# RDD的Transformation算子 ## map map算子的功能为做映射，即将原来的RDD中对应的每一个元素，应用外部传入的函数进行运算，返回一个新的RDD ```Scala val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6,7,8 ......
狂收 3.2k star！百度开源压测工具，可模拟几十亿的并发场景，太强悍了！
dperf 是一款基于 DPDK 的 100Gbps 网络性能和负载测试软件，能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。 ## 优点 ### 性能强大： - 基于 DPDK，使用一台普通 x86 服务器就可以产生巨大的流量：千万级的 HTTP 每秒新建连接数， ......
Spark使用Python开发和RDD
# 使用PySpark ## 配置python环境 在所有节点上按照python3，版本必须是python3.6及以上版本 ```Shell yum install -y python3 ``` 修改所有节点的环境变量 ```Shell export JAVA_HOME=/usr/local/jdk ......
spark常见问题
spark任务报错：KryoException: Buffer overflow. Available: xxx, required: xxx 可以适当增加spark.kryoserializer.buffer.max 的值, 默认是128m，可以尝试给到256m或512m ......
AI-3.2线性回归从零开始实现
笔记 练习 1如果我们将权重初始化为零，会发生什么。算法仍然有效吗？ 2假设试图为电压和电流的关系建立一个模型。自动微分可以用来学习模型的参数吗? 3能基于普朗克定律使用光谱能量密度来确定物体的温度吗？ 4计算二阶导数时可能会遇到什么问题？这些问题可以如何解决？ 5为什么在squared_loss函 ......
Spark编程基础
# Scala编写Spark的WorkCount ## 创建一个Maven项目 在pom.xml中添加依赖和插件 ```XML 8 8 UTF-8 3.2.3 2.12.15 org.scala-lang scala-library ${scala.version} org.apache.spark ......
Spark环境搭建及Spark shell
# StandAlone模式环境搭建 环境准备：三台Linux，一个安装Master，其他两台机器安装Worker ![image](https://img2023.cnblogs.com/blog/1742816/202306/1742816-20230627212426287-907092698 ......