spark3 spark 3.2
spark sql使用--创建SparkDataFrame
Spark SQL模块 这个模块是Spark中用来处理结构化数据的，提供一个叫SparkDataFrame的东西并且自动解析为分布式SQL查询数据。 在RDD阶段，程序的执行入口对象是： SparkContext 在Spark 2.0后，推出了SparkSession对象，作为Spark编码的统一入 ......
Spark入门指南：从基础概念到实践应用全解析
在这个数据驱动的时代，信息的处理和分析变得越来越重要。而在众多的大数据处理框架中，Apache Spark 以其独特的优势脱颖而出 ......
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？ - TDengine | 涛思数据 (taosdata.com) TDengine是一高效的时序空间大数据处理引擎，因为充分利用物联网、车联网、工业互联网等场景的数据特点并做了很多优化，因此性能上远胜通 ......
LAS Spark 在 TPC-DS 的优化揭秘
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 文章主要介绍了火山引擎湖仓一体分析服务 LAS Spark（下文以 LAS Spark 指代）在 TPC-DS 上的性能突破与优化策略。TPC-DS 是一个模拟复杂数据仓库环境的测试基准，LAS Spark 通过采 ......
1. Spark RDD
一、Spark RDD 1. RDD是什么 RDD，即弹性分布式数据集(Resilient Distributed Dataset)，是Spark对数据的抽象，本质上是分布在多个节点上的数据集合。 弹性是指当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。 分布式数据集是指一个数据集 ......
Spark 使用遇到的问题
Spark 使用遇到的问题 环境信息 IDEA版本：Build #IU-232.8660.185, built on July 26, 2023 系统版本：Macos 14.0 Docker版本： 一、Docker运行Spark集群 这里使用bitnami发行的spark image github文 ......
Spark相关学习之基础认识
1、Spark相关概念介绍 是一个分布式计算框架； 2、Spark的框架模块 3、Spark运行模式 Spark总结概述： 4、Local模式 ......
Spark算子实现wordCount的十种方法
//groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" " ......
Llama2-Chinese项目：3.2-LoRA微调和模型量化
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。 ......
MapReduce和Spark读取HBase快照表
1.概述 随着大数据技术的不断发展，处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型，为处理大规模数据提供了有效的解决方案。在这篇博客中，我们将探讨如何使用MapReduce框架读取快照表（Snapshot Table）的数据。快照表是一种记录某一时刻系统状态的表格，通过Ma ......
spark环境部署之wordCount初体验
一.安装spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包 # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ......
大数据 | Spark基本使用示例
欢迎参观我的博客，一个Vue 与 SpringBoot结合的产物：https://poetize.cn 博客：https://gitee.com/littledokey/poetize-vue2.git 聊天室：https://gitee.com/littledokey/poetize-im-vue ......
本地测试Spark的svm算法
上一篇介绍了逻辑回归算法，发现分类效果不好，通过这次的svm发现是因为训练数据不行，于是网上找了部分训练数据，发现实际上分类效果还可以。 训练数据，第一个值是标签，下面的数据是某种花的相关特征。 1|5.1,3.5,1.4,0.2 1|4.9,3,1.4,0.2 1|4.7,3.2,1.3,0.2 ......
本地测试Spark的逻辑回归算法
本地小数据量测试了一下Spark的LogisticRegressionWithSGD算法，效果不尽如人意。 数据样例如下，竖杠前的0,1代表两种类型，后面逗号隔开的是两个特征，两个特征只要有一个大于等于0.6就会被分为1这一类，否则就是0。 1|0.3,0.6 0|0.2,0.1 1|0.5,0.6 ......
图解Spark排序算子sortBy的核心源码
原创/朱季谦 一、案例说明 以前刚开始学习Spark的时候，在练习排序算子sortBy的时候，曾发现一个有趣的现象是，在使用排序算子sortBy后直接打印的话，发现打印的结果是乱序的，并没有出现完整排序。 例如，有一个包含多个（姓名，金额）结构的List数据，将这些数据按照金额降序排序时，代码及打印 ......
3.2 DLL注入：远程APC异步注入
APC（Asynchronous Procedure Call）异步过程调用是一种`Windows`操作系统的核心机制，它允许在进程上下文中执行用户定义的函数，而无需创建线程或等待OS执行完成。该机制适用于一些频繁的、短暂的或非常细微的操作，例如改变线程优先级或通知线程处理任务。在`APC机制`中，... ......
Spark基础——Scala1.3
For循环控制 1.To 范围数据循环 to <-规定to 前后闭合，如i<- 1 to 10,则输出包括1到10的所有数 for (i<- 1 to 12){ println("她喜欢我"+i+"次")//输出结果为1-12所有数 2.until 前闭合后开 i<-1 until 10 相当于输出 ......
Spark基础——scala1.2
if/if else/StdIn.readShort方法运用 StdIn.readShort适用于整数数据类型 println("请输入年龄") var age=StdIn.readShort//交互式 if (age<18){ println("小屁孩") }else{ println("大人") ......
Spark基础——scala基础1.0
定义对象和强制转化 1.定义规则 var 变量名 ：变量类型 =初始值 var i :Int=10 var j :Double=3.33 //var 变量名 ：变量类型 =初始值 val o:Int=2 //val 常量名 ：变量类型 =初始值 变量声明时，必须要有初始值 i=20 //var修饰的 ......
3.2 门禁系统初步
门禁系统初步 外设 步进电机 #define MA_START GPIO_SetBits(GPIOB, GPIO_Pin_0) #define MA_OFF GPIO_ResetBits(GPIOB, GPIO_Pin_0) #define MB_START GPIO_SetBits(GPIOB, ......
3.2 门禁系统初步
门禁系统初步 外设 步进电机 #define MA_START GPIO_SetBits(GPIOB, GPIO_Pin_0) #define MA_OFF GPIO_ResetBits(GPIOB, GPIO_Pin_0) #define MB_START GPIO_SetBits(GPIOB, ......
FMC AD 子卡 12bit 2 通道1.6GS/s 或 单通道3.2GS/s
概要 QT7132 是一款高分辨率、高采样率ADC FMC 子板。它提供2 路12 位1.6GS/s 或1 路3.2GS/s A/D 通道，全功率带宽可达2.8GHz。本产品是基于TI 公司ADC12D1600 模数转换芯片而设计。板卡支持2 路触发输入/ 输出通道；时钟模式支持内部参考时钟、外部参 ......
FMC ADC12DJ3200子卡12bit 两通道3.2G或单通道6.4G
概要 QT7126是一款高分辨率、高采样率ADCFMC子板。它提供2路12位3.2GS/s或1路6.4GS/s的A/D通道，全功率模拟-3dB输入带宽可达8GHz。本产品是基于TI公司ADC12DJ3200模数转换芯片而设计。板卡支持同步触发输出或者输入；内部参考时钟、外部参考两种时钟方式，可通过S ......
FMC AD子卡12bit 两通道3.2G或单通道6.4G
概要 QT7126+ 是一款高分辨率、高采样率ADC FMC+ 子板。它提供2 路12 位 3.2GS/s 或1 路6.4GS/s 的A/D 通道， 全功率模拟-3dB 输入带宽可达8GHz。本产品是基于TI 公司ADC12DJ3200 模数转换芯片而设计。板卡支持触发输出/ 输入；外触发/ 同步选 ......
spark2.4.4安装
1、环境准备： 下载spark-2.4.4-bin-hadoop2.7.tgz 上传安装包到Linux中 解压安装包 tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /hadoop/app 2、配置环境 2.1修改hadoop中yarn-site.xml <pro ......
Z-Blog火车头免登录发布教程+插件3.2+支持最新Z-Blog1.7
Z-Blog免登录采集评论，之前没有加入评论接口，今天把评论接口写好了，写一下简单的教程，（采集评论规则是一件很麻烦的事）有时候采集文章的时候也采集评论，今天教大家怎样用我的Z-Blog免登录采集插件来采集别人的评论，而且有楼层效果。如下图我测试的 首先下载安装好我的“ZBlog免登录入库插件_支持 ......
开发笔记-大数据技术栈-spark基础
Spark是一个快速、通用、可扩展的大数据分析引擎，是集批处理、实时流处理、交互式查询、机器学习与图计算为一体的大数据开源项目。 一、对比MapReduce 1.Hadoop中的job处理流程： 》从hdfs读取数据 》 在map阶段，执行mapper function,然后split到磁盘 》在r ......
Ubuntu部署Spark集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | | Spark | 2.2.0 | ### JDK ......
CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark
Apache Hudi的DeltaStreamer是一种以近实时方式摄取数据并写入Hudi表的工具类，它简化了流式数据入湖并存储为Hudi表的操作，自 `0.10.0` 版开始，Hudi又在DeltaStreamer的基础上增加了基于Debezium的CDC数据处理能力，这使得其可以直接将Debez ......
图解Spark Graphx基于connectedComponents函数实现连通图底层原理
 原创/朱季谦 第一次写这么长的graphx源码解读，还是比较晦涩，有较多不足之处，争取改进。 ### 一 ......