深入浅出application架构yarn
简单地配置MySQL数据库application.properties
在springboot项目中，有两种配置文件，一种是application.properties,另一种是application.yml,两种都可以配置spring boot 项目中的一些变量的定义，参数的设置等。下面来说说两者的区别： 用简单配置数据库为例： application.propert ......
大数据治理技术核心，可扩展的元数据架构设计（转）
转自：https://blog.csdn.net/weixin_45727359/article/details/127662364 元数据管理是随着数据仓库的建设逐渐完善起来的，这也决定了元数据管理主要集中在数据领域。例如数据结构、数据加工转换关系等。而随着我们对元数据理解的不断深入，其实元数据广 ......
Elasticsearch存储目录结构深入详解
在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path.home：运行Elast ......
Running Spark on YARN
Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. spark自0.60版本开始支持在YARN上运行，并在后续版本 ......
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用 1.文本特征表示方法: TF-IDF 在信息检索, 文本挖掘和自然语言处理领域, IF-IDF 这个名字, 从它在 20 世纪 70 年代初被发明, 已名震江湖近半个世纪而不曾衰歇. 它表示的简单性, 应用的有效性, 使 ......
深入 Hyperf：HTTP 服务是如何处理请求的？
本文详细介绍了 Hyperf 框架中 HTTP 服务处理请求的整个过程。通过阅读本文，你将更加深入地了解 HTTP 服务的内部运作机制，这为你进一步使用和研究 HTTP 服务提供了坚实的基础。 ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
Kubernetes架构及安装
K8s架构 k8s内部是有几个组件的，分别是controller manager，api-server，scheduler，kubelet以及etcd，kube-proxy还有k8s客户端kubectl controller manage 首先介绍的是controller manager，他是相当于 ......
深入理解C指针
深入理解C指针 #C语言 # #C指针 # 1 认识指针 指针：一个存放内存地址的变量 1.1 指针和内存 阅读指针声明时候，可以选择倒过来读，会更容易理解。 指针被赋值为NULL时候，会被解释为二进制0. void指针 具有和char指针相同的形式和内存对齐方式。 只能用作数据指针 ......
软件架构实践 V2：第一章
第一部分 预想架构 第一章 架构商业周期 作为设计过程的重要组成部分，现在已经提出了构架的概念。构架是本书的主题。“软件构架”包含大型软件系统的结构。系统的构架视图是抽象的，它不考虑实现、算法和数据表示的细节，集中研究“黑盒”元素的行为和交互。在设计具有所期望属性的系统时，开发软件架构是第一步。 定 ......
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
设计你生活的Hadoop yarn
去年十月份，我决定考雅思。然而，除了这项任务之外，我还有其他四个主要任务需要同时兼顾：学校的学业、数据结构和算法的学习、LeetCode的刷题以及大数据网课的学习。这五项任务都非常重要，但由于每天可用于学习的时间是固定的，我发现很难在这些任务之间找到平衡。事实上，在当时我并没有达到良好的平衡，因此结 ......
架构整洁之道笔记4
软件架构 架构师的定位 工作实质：规划如何将系统切分为组件，并安排好组件之间的排列关系，以及组件之间互相通信的方式。 目的：更好地对组件开发、部署、运行、维护。 如果想设计一个更方便推进各项工作的系统，策略就是在设计中尽可能长时间地保留尽可能多的可选项。 开发的角度 难以开发的系统也不会健康长久。 ......
深入理解经典红黑树 | 京东物流技术团队
本篇我们讲红黑树的经典实现，Java中对红黑树的实现便采用的是经典红黑树。前一篇文章我们介绍过左倾红黑树，它相对来说比较简单，需要大家看完上篇再来看这一篇，因为旋转等基础知识不会再本篇文章中赘述。本篇的大部分内容参考 《算法导论》和 Java 实现红黑树的源码，希望大家能够有耐心的看完。 在正文开始 ......
开启Android学习之旅-2-架构组件实现数据列表及添加(kotlin)
Android Jetpack 体验-官方codelab 1. 实现功能 使用 Jetpack 架构组件 Room、ViewModel 和 LiveData 设计应用； 从sqlite获取、保存、删除数据； sqlite数据预填充功能； 使用 RecyclerView 展示数据列表； 2. 使用架构 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
深入探讨：设计模式中的原型模式
原型设计模式是一种创建型模式，旨在通过复制现有对象创建新对象，而无需向客户端暴露对象的创建逻辑。该模式适用于当需要创建的对象的类型和数量无法在编译时确定，或者对象的创建过程比较复杂时。通过原型设计模式，我们可以使用原型对象作为模板，然后通过复制这个原型对象来创建新的对象。
原型设计模式的核心在于原型... ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
No Magic—复杂机电产品系统架构开发套件
CATIA Magic，原名MagicDraw，俗称No Magic，被达索收购后融入3DExperience产品协同研发管理平台中，形成更具协同体验的系统工程解决方案。该软件提供对SysML/UML/UAF语言的完整支持，提供独有的MagicGrid方法论，涵盖：业务和任务分析、利益攸关者需要及需... ......
springboot项目中application.properties无法变成小树叶问题解决
1.检查我们的resources目录的状态，看看是不是处在普通文件夹的状态，如果是的话，我们需要重新mark一下 右键点击文件夹，选择mark directory as → resources root 此时我们发现配置文件变成了小树叶 2.如果执行了上述方法还是不行的话，可以尝试重新指定配置文件， ......
深入理解左倾红黑树 | 京东物流技术团队
平衡二叉搜索树 平衡二叉搜索树（Balanced Binary Search Tree）的每个节点的左右子树高度差不超过 1，它可以在 O(logn) 时间复杂度内完成插入、查找和删除操作，最早被提出的自平衡二叉搜索树是 AVL 树。 AVL 树在执行插入或删除操作后，会根据节点的平衡因子来判断是否 ......
似乎有点理解指令集和架构的区别了
架构就是造房子的图纸，而指令集就是造房子的材料【玩过俄罗斯方块可能就比较好理解什么是指令集了】 比如指令集里只有：L型的砖，I型的砖，田字形的砖等； 而架构就是基于上面的砖（指令集）设计好的房子的造法，即最底层是用什么砖，往上是用什么砖等等； 不过还是有疑问，如果真的是这么理解的话，那图纸一模一样， ......
深入@component注解与@Configuration
1、@Configuration 从Spring3.0，@Configuration用于定义配置类，可替换xml配置文件，被注解的类内部包含有一个或多个被@Bean注解的方法，这些方法将会被AnnotationConfigApplicationContext或AnnotationConfigWebA ......
DDD落地实践-架构师眼中的餐厅 | 京东云技术团队
本文以餐厅场景为叙事主线，以领域驱动为核心思想，结合架构设计与功能设计方法论。是从领域分析到落地的全过程案例，内容偏重于落地，因此不乏一些探讨，欢迎指正。 文章较长、全程干货、耐心读完、必有收获。 本文不针对餐厅的实现细节，重在探讨设计思想和方法。 1、领域设计 让我们抛开技术人员的本能技术视角、站 ......
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？ 我们这里指的并不是查询，而是利用Ef的迁移原理，生成可用的其它表架构操作的Sql。 例如你想在Ef Core里建表，并且可能程序里有多个provider，那么写Sql将是一件痛苦的事情，我们就是利用Ef Core迁移时的操作，来为 ......
Spark Yarn模式
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。 在国内工 ......
字节面试：DDD架构，如何落地？
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
API架构大全(SOAP、Restful、GraphQL、Grpc、Websocket)
一、SOAP SOAP是一种基于XML的简单对象访问协议，适合企业应用 二、Restful Restful基于HTTP应用，提供简介和可靠的网络通信 三、GraphQL GraphQL是一种用于构建和查询API的语言，用来请求特定数据应用，减少多次请求的网络开销，响应速度快 四、Grpc Grpc是 ......
聊聊ChatGLM-6B部署与微调的深入理解
ChatGLM的部署，主要是两个步骤： 在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节，比如神经网络、激活函数、损 ......