架构 角色spark
大数据治理技术核心，可扩展的元数据架构设计（转）
转自：https://blog.csdn.net/weixin_45727359/article/details/127662364 元数据管理是随着数据仓库的建设逐渐完善起来的，这也决定了元数据管理主要集中在数据领域。例如数据结构、数据加工转换关系等。而随着我们对元数据理解的不断深入，其实元数据广 ......
Running Spark on YARN
Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. spark自0.60版本开始支持在YARN上运行，并在后续版本 ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
spark-cdh学习
Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......
Spark运行模式之——local模式与Standalone模式
Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式——local模式；可以使用Spark自带的资源调度系统，称为Spark Standalone模式；也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式。本文就介绍前两种运行 ......
Kubernetes架构及安装
K8s架构 k8s内部是有几个组件的，分别是controller manager，api-server，scheduler，kubelet以及etcd，kube-proxy还有k8s客户端kubectl controller manage 首先介绍的是controller manager，他是相当于 ......
软件架构实践 V2：第一章
第一部分 预想架构 第一章 架构商业周期 作为设计过程的重要组成部分，现在已经提出了构架的概念。构架是本书的主题。“软件构架”包含大型软件系统的结构。系统的构架视图是抽象的，它不考虑实现、算法和数据表示的细节，集中研究“黑盒”元素的行为和交互。在设计具有所期望属性的系统时，开发软件架构是第一步。 定 ......
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
spark小记
Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
架构整洁之道笔记4
软件架构 架构师的定位 工作实质：规划如何将系统切分为组件，并安排好组件之间的排列关系，以及组件之间互相通信的方式。 目的：更好地对组件开发、部署、运行、维护。 如果想设计一个更方便推进各项工作的系统，策略就是在设计中尽可能长时间地保留尽可能多的可选项。 开发的角度 难以开发的系统也不会健康长久。 ......
开启Android学习之旅-2-架构组件实现数据列表及添加(kotlin)
Android Jetpack 体验-官方codelab 1. 实现功能 使用 Jetpack 架构组件 Room、ViewModel 和 LiveData 设计应用； 从sqlite获取、保存、删除数据； sqlite数据预填充功能； 使用 RecyclerView 展示数据列表； 2. 使用架构 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
spark小记
Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
spark-scala-mysql 编译报错
用spark接收mysql数据，编译时报错 java: cannot access scala.Serializable class file for scala.Serializable not found 问题原因： scala 2.13及以上版本，缺少类 Serializable 解决： 使用 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
No Magic—复杂机电产品系统架构开发套件
CATIA Magic，原名MagicDraw，俗称No Magic，被达索收购后融入3DExperience产品协同研发管理平台中，形成更具协同体验的系统工程解决方案。该软件提供对SysML/UML/UAF语言的完整支持，提供独有的MagicGrid方法论，涵盖：业务和任务分析、利益攸关者需要及需... ......
似乎有点理解指令集和架构的区别了
架构就是造房子的图纸，而指令集就是造房子的材料【玩过俄罗斯方块可能就比较好理解什么是指令集了】 比如指令集里只有：L型的砖，I型的砖，田字形的砖等； 而架构就是基于上面的砖（指令集）设计好的房子的造法，即最底层是用什么砖，往上是用什么砖等等； 不过还是有疑问，如果真的是这么理解的话，那图纸一模一样， ......
DDD落地实践-架构师眼中的餐厅 | 京东云技术团队
本文以餐厅场景为叙事主线，以领域驱动为核心思想，结合架构设计与功能设计方法论。是从领域分析到落地的全过程案例，内容偏重于落地，因此不乏一些探讨，欢迎指正。 文章较长、全程干货、耐心读完、必有收获。 本文不针对餐厅的实现细节，重在探讨设计思想和方法。 1、领域设计 让我们抛开技术人员的本能技术视角、站 ......
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？ 我们这里指的并不是查询，而是利用Ef的迁移原理，生成可用的其它表架构操作的Sql。 例如你想在Ef Core里建表，并且可能程序里有多个provider，那么写Sql将是一件痛苦的事情，我们就是利用Ef Core迁移时的操作，来为 ......
Spark Yarn模式
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。 在国内工 ......
字节面试：DDD架构，如何落地？
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
Spark 3.5.0 高可用部署
1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.安装Zookeeper ZooKeeper 3.9.1 集群模式安装 ......
API架构大全(SOAP、Restful、GraphQL、Grpc、Websocket)
一、SOAP SOAP是一种基于XML的简单对象访问协议，适合企业应用 二、Restful Restful基于HTTP应用，提供简介和可靠的网络通信 三、GraphQL GraphQL是一种用于构建和查询API的语言，用来请求特定数据应用，减少多次请求的网络开销，响应速度快 四、Grpc Grpc是 ......
vue-router动态路由 - 角色切换或退出登录时重置路由表
vue-router@4以上可以使用removeRoute()方法来移除. router.getRoutes().forEach(route => { // 这里还需要条件判断哪些是静态路由不需要移除 router.removeRoute(route.name); }); 但是vue-router@ ......
优惠券系统架构分层测试
数据层测试：主要测试优惠券数据存储的正确性和可靠性，包括优惠券的生成、存储、读取等操作是否符合要求。 网络层测试：主要测试网络通信的稳定性和安全性，包括网络连接、数据传输、加密传输等是否正常。 业务逻辑层测试：主要测试优惠券业务逻辑的正确性和合理性，包括优惠券的领取、使用、过期等逻辑是否符合业务需求 ......
Spark与RDD是什么
大数据框架可不是只有Hadoop哦，还有一个非常厉害的框架，它就是——Spark。 一：什么是Spark Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在一些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的 ......
大数据开发的总体架构
很多小伙伴在学习了多年大数据后，最后不得不感慨：“大数据的知识太繁杂了，我已经被淹没在大数据的海洋里了！”确实是的，在大数据学习的过程中，随着学习的深入，越来越多的新名词和新框架让学习者有种欲哭无泪的感觉，那么，这篇博文就对大数据开发的一个总体架构做一个介绍吧，让大家学习过程中，不至于迷失方向。先上 ......
低代码如何实现插件化架构？
大家好，本文介绍了实现插件化的低代码架构的思路，以及在Meta3D（开源Web3D低代码平台）中具体实现的方案 需求 有同学想做个编辑器，希望可以随意替换引擎、编辑器UI，能以插件的形式进行扩展，问该如何实现？ 下面，我们首先给出抽象的解决方案： 抽象的解决方案 如上图所示，编辑器由多个积木组成，其 ......