小记spark
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行,不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射,很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的,改进挺多。可通过scala编程(第四版)学习。 hadoop 3.2.1 因为windows hado ......
实验七:Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包: import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时,报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息,需要看下spark端的master的日志,docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时,如果没有指定精确,使用默认值,如下图所示 则在读取该表格数据时,报错如下: 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范,YARN只负责资源的管理和调度,运行哪种应用程序由用户自己决定,因此可能在YARN上同时运行MapReduce程序和Spark程序,YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中,共享集群存 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是:Driver程序运行在哪里。 Client模式:学习测试时使用,生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式:生产环境 ......
Spark - spark on yarn 的作业提交流程
客户端(Client)通过YARN的ResourceManager提交应用程序。在此过程中,客户端进行权限验证,生成Job ID和资源上传路径,并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后,客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么?答案:Apache Spark是一个快速、通用的大数据处理引擎,它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源,如HDFS、Hive、Cassandra等,并提供了丰富的API和工具集,用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
斜率优化小记
发现别的人都对斜优很熟,就我不是(悲),所以写个小记辅助记忆一下。 1.应用范围 众所周知,单调队列优化 dp 可以解决形如 \(dp_i=val_i-val'_j\) 的问题 那么如果再加一个 \(val''_ival'''j\) 呢 这就要用斜率优化了。 2.方法 这东西非常灵活,所以直接上题目 ......
Android架构测试 套小记
Android架构测试主要是为了确保Android应用程序在不同设备和系统版本上的兼容性、性能和稳定性。这需要对应用程序的各个组件进行测试,包括活动、服务、广播接收器、内容提供程序等。以下是进行Android架构测试时可以采取的一些步骤: 单元测试:对应用程序的各个组件进行测试,确保它们能够正常工作 ......
WPF的DataGrid绑定DataTable调研小记
公司有个项目,界面很卡,同事怀疑是DataTable刷新引起的,我写了一个小Demo测试一下这块的性能。 测试的结果 DataTalbe的绑定非常的耗时 我的前台代码: <DataGrid Grid.Row="1" AutoGenerateColumns="True" BorderBrush="Li ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行:在同一时间内,有多少个tes k在同时运行并行度:并行能力的设置比如设置并行度6,其实是6个tast才并行在跑在有了6个tast并行的前提下,rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架,它们之间既有紧密的联系也有显著的区别。 联系: 生态兼容:Spark可以无缝运行在Hadoop之上,利用Hadoop Distributed File System (HDFS) 进行数据存储,并且可以通过YARN(Yet Another ......
今天了解了spark。
Apache Spark(通常简称为Spark)是一个开源的、分布式计算系统,用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架,支持多种编程语言,包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab(Algorithms, Machines, ......
spark学习
Spark提供了6大组件: Spark Core:Spark Core 是 Spark 的基础,它提供了内存计算的能力,是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集(RDD),并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含:Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib,而后四项的能力都是建立在核心引擎之上 Spark Core:Spark的核心,Spark核心功能均由Spark Core模块提供,是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架,拥有四大显著特点: 1. **速度快**:Spark基于内存的运算效率要快100倍以上,基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎,使得Spark能高效处理数据流。 2. **易用性**:Spark支持J ......
Spark开始
定义:Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎。 简而言之,Spark 借鉴了 MapReduce 思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题:Hadoop的基于进程的计算和Spark基于线程方式优缺点?
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没 有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
装载数据时报错:Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
作业7 Spark
一. 多选题(共5题,71.4分) 1. (多选题)Spark具有的主要特点包括: A. 容易使用 B. 运行模式多样 C. 运行速度快 D. 通用性 我的答案: ABCD:容易使用; 运行模式多样; 运行速度快; 通用性;正确答案: ABCD:容易使用; 运行模式多样; 运行速度快; 通用性; 1 ......
Spark任务存在大量Task失败记录分享
最近Spark任务调度任务跑的时间比平时慢很多,查看SparkUI发现有大量的Task被异常终止,查看日志发现了有几个问题,记录一下。 根据日志,主要涉及任务被终止、YARN集群中的抢占问题以及网络连接错误。 1、任务被终止的警告: WARN Lost task 87.0 in stage 6.0 ......
小记 | 使用 PyInstaller 打包和交付 Python 项目
PyInstaller 可以将 Python 项目打包成一个可执行文件,或是一个文件夹,包含可执行文件以及依赖包。方便我们将 Python 项目交付给用户,方便用户使用的同时也可以一定程度的保护项目源代码。本文将介绍如何简单使用 PyInstaller 打包。 安装 使用 pip 安装即可: pip ......
Running Spark on YARN
Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. spark自0.60版本开始支持在YARN上运行,并在后续版本 ......
spark-cdh学习
Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......
Spark运行模式之——local模式与Standalone模式
Spark有多种运行模式,可以运行在一台机器上,称为本地(单机)模式——local模式;可以使用Spark自带的资源调度系统,称为Spark Standalone模式;也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行,称为Spark On YARN模式。本文就介绍前两种运行 ......
spark小记
Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的,并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager(Master)和TaskManager(Work ......