spark社区bug
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
net6 net8 发布失败的几个bug应急办法
定位了几个发布失败的错误，问了微软，感觉还是应急办法，目前还未修复，VS版本2022 17.8.3 net6 引用最新hosting后发布win-x64 win-x86错误 项目配置： <Project Sdk="Microsoft.NET.Sdk"> <PropertyGroup> <Output ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
Bug书写规范模板
 ![](https://img2024.cnblogs.com/blog/3351537/202401/33515... ......
BCLinux 8.2安装配置图解教程--龙蜥社区国产移动云系统
社区镜像下载地址：https://openanolis.cn/download 安装参考地址：https://www.osyunwei.com/archives/13017.html 1安装系统 界面说明： Install BigCloud Enterprise Linux 8 #安装 Test t ......
社区派出所警情日报大屏：透明警务，共建和谐社区
社区派出所警情日报大屏作为一项数字化、信息化的警务管理创新举措，为守护社区平安、提升警务工作效率和透明度发挥了重要作用。未来，随着技术的不断进步和应用的不断拓展，这一创新举措将在全国范围内得到更加广泛的应用和推广，为构建和谐社区、实现社会治安持续稳定贡献力量。 ......
[转帖]解Bug之路-记一次中间件导致的慢SQL排查过程
https://zhuanlan.zhihu.com/p/242265937 解Bug之路-记一次中间件导致的慢SQL排查过程 前言 最近发现线上出现一个奇葩的问题，这问题让笔者定位了好长时间，期间排查问题的过程还是挺有意思的，正好博客也好久不更新了，就以此为素材写出了本篇文章。 Bug现场 我们的 ......
[转帖]解Bug之路-记一次JVM堆外内存泄露Bug的查找
https://zhuanlan.zhihu.com/p/245401095 解Bug之路-记一次JVM堆外内存泄露Bug的查找 前言 JVM的堆外内存泄露的定位一直是个比较棘手的问题。此次的Bug查找从堆内内存的泄露反推出堆外内存，同时对物理内存的使用做了定量的分析，从而实锤了Bug的源头。笔者将 ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
1 月 21 日，三件事儿，线上不见不散丨社区活动
1 月 21 日，三件事儿，线上不见不散： RTE 开发者社区，三位联合主理人正式亮相，分享对于行业、社区与开发者人才发展的思考； 「实时互动行业人才洞察2024」正式发布，关于行业、人才与生态的分析与讨论； RTE 开发者后续规划分享 & 社区共建计划发布。 哈喽各位 RTE 开发者社区的小伙伴： ......
[转帖]解Bug之路-NAT引发的性能瓶颈
https://zhuanlan.zhihu.com/p/286532997 解Bug之路-NAT引发的性能瓶颈 笔者最近解决了一个非常曲折的问题，从抓包开始一路排查到不同内核版本间的细微差异，最后才完美解释了所有的现象。在这里将整个过程写成博文记录下来，希望能够对读者有所帮助。(篇幅可能会有点长, ......
element el-select value-key 的bug
element-plus value-key不生效，el-eselect tag 不显示，el-select lable不显示，"element-plus": "2.1.8 select bug，下拉选择框，绑定对象不回显。el-select__tags-text 为空，下拉框内tags不显示，内容... ......
[转帖]日常Bug排查-读从库没有原子性？
https://zhuanlan.zhihu.com/p/658508920 3 人赞同了该文章 日常Bug排查系列都是一些简单Bug排查。问题虽小，但经常遇到，了解这些问题，会让我们少走点弯路，提升效率。说不定有些问题你遇到过哦:) Bug现场 业务开发同学突然问了笔者一个问题，从库读会不会没有原 ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
python的各种bug
通过pip安装certifi后，终端下pip和conda的各种命令都会报错，python控制台里import requests也会报错，报错信息： PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。: 'C:\\Users\\LSY\\AppDat ......
OpenHarmony社区运营报告（2023年12月）
• 截至2023年12月22日，OpenAtom OpenHarmony（简称“OpenHarmony"）社区累计超过6700名贡献者，产生26.9万多个PR，2.4万多个Star，6.7万多个Fork，59个SIG。 • 2023年12月16日，以“技术创新，照见未来”为主题的首届开放原子开发者大 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......