火山 引擎bucket spark
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
2d物理引擎学习 - 斜坡上下滑的物体
效果 代码只是在之前的基础上增加了重力和摩擦力，重力的实现就是给物体加一个持续的力（即：Fg = m * g），摩擦力就是切线方向加一个修正冲量。 代码和之前的主要区别 1) 刚体MyRigidbody增加一个Friction，摩擦系数属性 2) MyRigidbody.PostSeperation ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
2d物理引擎学习 - 基于约束的公式解决接触稳定性问题
先看下直接用弹性碰撞的公式，会出现的问题： Box落在地面上后，没有停在地面上，而是还在不断的下沉。 弹性碰撞公式处理碰撞后弹开没有大问题，但是处理物体碰撞后的接触存在不稳定问题。 如何解决？ 目前物理引擎最主流的解决方法是：基于约束来组织物理公式，而不是直接套用物理公式。 什么叫约束？就是让两个物 ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
读元宇宙改变一切笔记06_虚拟世界引擎
1. 一棵虚拟的树在虚拟森林里倒下了! 1.1. 它们都是数据和代码 1.2. 数据可以描述虚拟对象的属性 1.2.1. 尺寸或颜色 1.3. 为了让我们的树由CPU处理并由GPU渲染，这些数据需要通过代码运行 1.4. 该代码必须是运行虚拟世界的更广泛代码框架的一部分 2. 现实世界 2.1. 现 ......
读元宇宙改变一切笔记06_虚拟世界引擎
1. 一棵虚拟的树在虚拟森林里倒下了 1.1. 它们都是数据和代码 1.2. 数据可以描述虚拟对象的属性 1.2.1. 尺寸或颜色 1.3. 为了让我们的树由CPU处理并由GPU渲染，这些数据需要通过代码运行 1.4. 该代码必须是运行虚拟世界的更广泛代码框架的一部分 2. 现实世界 2.1. 现实 ......
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享参考文章 Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性： 发布或者订阅数据流。 容错存储机制。 处理流数据。 老版Kafka集成表引擎参数格式： Kafka(kafka_broker_list, k ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
ThingsKit 物联网平台 可视化规则引擎发布
ThingsKit发布了可视化可拖拽规则引擎和可视化组态、可视化大屏这些新功能。这些功能的发布将为用户提供更加便捷、高效、直观的操作体验，有助于提升物联网应用的开发和管理效率。 可视化可拖拽规则引擎可以让用户通过简单的拖拽操作，快速构建出复杂的业务逻辑和规则，从而实现对设备的智能化控制和管理。这将大 ......
VB6的WinXP控件引擎 - 开源研究系列文章
这几天翻了一下原来VB6的代码，将一些有用的代码进行了整理，然后将这些代码记录下来，开源出来，让需要的朋友能够进行代码复用。 这次介绍的是一个VB6的WindowXP的控件引擎代码，主要是在程序启动的时候对所有的控件进行一个检索，然后将对应的控件的样式进行设置成WindowsXP操作系统的样式，因为 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
24-调度引擎：Kubernete 如何高效调度 Pod？
我们已经学会如何部署业务，发布 Pod。但是 Pod 创建好以后，Kubernetes 又如何调度这些 Pod 呢？如果我们希望把一个 Pod 跑在我们期望的节点上，该如何操作呢？如果我们希望把某些关联性强的 Pod 跑在特定的节点上，或者同一个节点上，又该怎么操作呢？ 今天我们就来揭晓。 Kube ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
Unity DOTS物理引擎的核心分析与详解
最近DOTS发布了正式的版本,同时基于DOTS的理念实现了一套高性能的物理引擎，今天我们来给大家分享和介绍一下这个物理引擎的使用。 Unity.Physics的设计哲学 Unity.Physics是基于DOTS设计思想的一个高性能C#物理引擎的实现, 包含了物理刚体的迭代计算与碰撞检测等查询。Uni ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
DOTS Unity.Physics物理引擎碰撞查询核心分析
最近DOTS发布了正式的版本,同时基于DOTS的理念实现了一套高性能的物理引擎，今天我们给大家分享和介绍一下这个物理引擎的碰撞查询以及核心相关概念。 Unity.Physics碰撞查询概述 碰撞查询(Collison Qurey)是Unity.Physics物理引擎中的一个很重要的功能。很多游戏逻辑 ......
JavaScript和WebSocket：打造高效的实时搜索引擎
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
EasyMR：为 AI 未来赋能，打造弹性大数据引擎的革命
如果要评一个2023科技圈的热搜榜，那么以人工智能聊天机器人 ChatGPT 为代表的 AI大模型 绝对会霸榜整个2023。 ChatGPT 于2022年11月30日发布。产品发布5日，注册用户数就超过100万。推出仅两个月后，它在2023年1月末的月活用户已经突破了1亿，成为史上用户增长速度最快的 ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
重新认识Elasticsearch-一体化矢量搜索引擎
前言 2023 哪个网络词最热？我投“生成式人工智能”一票。过去一年大家都在拥抱大模型，所有的行业都在做自己的大模型。就像冬日里不来件美拉德色系的服饰就会跟不上时代一样。这不前段时间接入JES，用上好久为碰的RestHighLevelClient包。心血来潮再次访问Elasticsearch官网，发 ......