架构spark yarn on
开启Android学习之旅-2-架构组件实现数据列表及添加(kotlin)
Android Jetpack 体验-官方codelab 1. 实现功能 使用 Jetpack 架构组件 Room、ViewModel 和 LiveData 设计应用； 从sqlite获取、保存、删除数据； sqlite数据预填充功能； 使用 RecyclerView 展示数据列表； 2. 使用架构 ......
QTREE2 - Query on a tree II - solution
目录QTREE2 - Query on a tree II前置知识定义First. 求 \(dis_{u, v}\)Second. 求 \(u\) 到 \(v\) 路径上的第 \(k\) 个点时间复杂度Code QTREE2 - Query on a tree II \(\mathtt {TAGS} ......
QTREE2 - Query on a tree II - solution
目录QTREE2 - Query on a tree II前置知识定义First. 求 \(dis_{u, v}\)Second. 求 \(u\) 到 \(v\) 路径上的第 \(k\) 个点时间复杂度Code QTREE2 - Query on a tree II \(\mathtt {TAGS} ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
spark小记
Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
spark-scala-mysql 编译报错
用spark接收mysql数据，编译时报错 java: cannot access scala.Serializable class file for scala.Serializable not found 问题原因： scala 2.13及以上版本，缺少类 Serializable 解决： 使用 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
No Magic—复杂机电产品系统架构开发套件
CATIA Magic，原名MagicDraw，俗称No Magic，被达索收购后融入3DExperience产品协同研发管理平台中，形成更具协同体验的系统工程解决方案。该软件提供对SysML/UML/UAF语言的完整支持，提供独有的MagicGrid方法论，涵盖：业务和任务分析、利益攸关者需要及需... ......
似乎有点理解指令集和架构的区别了
架构就是造房子的图纸，而指令集就是造房子的材料【玩过俄罗斯方块可能就比较好理解什么是指令集了】 比如指令集里只有：L型的砖，I型的砖，田字形的砖等； 而架构就是基于上面的砖（指令集）设计好的房子的造法，即最底层是用什么砖，往上是用什么砖等等； 不过还是有疑问，如果真的是这么理解的话，那图纸一模一样， ......
DSU on tree 学习笔记
DSU on tree 通常用来解决不带修树上子树问题。 主要思想： 剖分。 先搜轻儿子，记录轻儿子子树的答案，删去轻儿子的贡献。 搜重儿子，记录重儿子子树的答案，保留重儿子的贡献。 回溯，重新搜轻儿子，把轻儿子子树的贡献加上，构成本子树的答案。 CF600E Lomsat gelral #incl ......
DDD落地实践-架构师眼中的餐厅 | 京东云技术团队
本文以餐厅场景为叙事主线，以领域驱动为核心思想，结合架构设计与功能设计方法论。是从领域分析到落地的全过程案例，内容偏重于落地，因此不乏一些探讨，欢迎指正。 文章较长、全程干货、耐心读完、必有收获。 本文不针对餐厅的实现细节，重在探讨设计思想和方法。 1、领域设计 让我们抛开技术人员的本能技术视角、站 ......
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？ 我们这里指的并不是查询，而是利用Ef的迁移原理，生成可用的其它表架构操作的Sql。 例如你想在Ef Core里建表，并且可能程序里有多个provider，那么写Sql将是一件痛苦的事情，我们就是利用Ef Core迁移时的操作，来为 ......
Spark Yarn模式
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。 在国内工 ......
AMOS: Enabling Automatic Mapping for Tensor Computations On Spatial Accelerators with Hardware Abstraction
AMOS: Enabling Automatic Mapping for Tensor Computations On Spatial Accelerators with Hardware Abstraction Abstract 为了实现性能提升，硬件专用化是一个趋势。空间硬件加速器利用专门的层次 ......
字节面试：DDD架构，如何落地？
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
Spark 3.5.0 高可用部署
1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.安装Zookeeper ZooKeeper 3.9.1 集群模式安装 ......
API架构大全(SOAP、Restful、GraphQL、Grpc、Websocket)
一、SOAP SOAP是一种基于XML的简单对象访问协议，适合企业应用 二、Restful Restful基于HTTP应用，提供简介和可靠的网络通信 三、GraphQL GraphQL是一种用于构建和查询API的语言，用来请求特定数据应用，减少多次请求的网络开销，响应速度快 四、Grpc Grpc是 ......
如何在无窗口模式下运行GPG——如何在命令行模式下使用gpg生成秘钥：How to make gpg prompt for passphrase on CLI——GPG prompt for password in command line
参考： Unable to generate a key with GnuPG (agent_genkey failed: No such file or directory) ["No such file or directory" when generating a gpg key](https ......
大模型评测-微软亚洲研究院：A Survey on Evaluation of Large Language Models论文分享
《A Survey on Evaluation of Large Language Models》 一、论文介绍：微软亚洲研究院公开了介绍大模型评测领域的论文《A Survey on Evaluation of Large Language Models》。该论文一共调研了219篇文献，以评测内容 ......
优惠券系统架构分层测试
数据层测试：主要测试优惠券数据存储的正确性和可靠性，包括优惠券的生成、存储、读取等操作是否符合要求。 网络层测试：主要测试网络通信的稳定性和安全性，包括网络连接、数据传输、加密传输等是否正常。 业务逻辑层测试：主要测试优惠券业务逻辑的正确性和合理性，包括优惠券的领取、使用、过期等逻辑是否符合业务需求 ......
The Stable Manifold Theorem on Maps
The Stable Manifold Theorem on Maps 在动力系统中, 主要有两种类型的研究对象: 其一是以映射迭代为主要研究对象的离散动力系统和以微分方程为主要研究对象的连续动力系统. 在动力系统的研究中, 人们企图通过寻找不变流形来对研究的系统进行降维以达到简化研究的目的. 在以 ......
Spark与RDD是什么
大数据框架可不是只有Hadoop哦，还有一个非常厉害的框架，它就是——Spark。 一：什么是Spark Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在一些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的 ......
大数据开发的总体架构
很多小伙伴在学习了多年大数据后，最后不得不感慨：“大数据的知识太繁杂了，我已经被淹没在大数据的海洋里了！”确实是的，在大数据学习的过程中，随着学习的深入，越来越多的新名词和新框架让学习者有种欲哭无泪的感觉，那么，这篇博文就对大数据开发的一个总体架构做一个介绍吧，让大家学习过程中，不至于迷失方向。先上 ......
The stable manifold theorem on maps
The Stable Manifold Theorem on Maps 在动力系统中, 主要有两种类型的研究对象: 其一是以映射迭代为主要研究对象的离散动力系统和以微分方程为主要研究对象的连续动力系统. 在动力系统的研究中, 人们企图通过寻找不变流形来对研究的系统进行降维以达到简化研究的目的. 在以 ......
低代码如何实现插件化架构？
大家好，本文介绍了实现插件化的低代码架构的思路，以及在Meta3D（开源Web3D低代码平台）中具体实现的方案 需求 有同学想做个编辑器，希望可以随意替换引擎、编辑器UI，能以插件的形式进行扩展，问该如何实现？ 下面，我们首先给出抽象的解决方案： 抽象的解决方案 如上图所示，编辑器由多个积木组成，其 ......
浅谈sql执行流程、innodb架构设计、buffer pool缓存池
一.从服务端到数据库sql执行流程： 1.SQL接口：负责处理接收到sql的语句 2.查询解析器：负责将sql变成数据库可以看懂的语言 3.查询优化器：选择最优的查询路径（针对你编写的复杂sql语句生成查询路径树，然后从中选择一条最优的查询路径） 4.执行器：根据执行计划调用存储引擎接口（执行器会根 ......
Stanford is a world famous university on the west coast of the U. S.
Stanford is a world famous university on the west coast of the U. S. It was built by Stanford and his wife in memory of their only son who died of a s ......
20.业务架构分析工具 plantuml
plantuml 介绍 UML：统一建模语言 plantuml：第三方插件工具 plantuml 官网：https://plantuml.com/zh/ plantuml 中文文档：https://ceshiren.com/t/topic/4530 plantuml 在线绘图地址：https://p ......