思考题 分布式mvc-mvp-mvvm架构
触发器设计的一些思考
触发器这东西貌似N年（大约90年代）很流行。比如那时候用Oracle Forms做开发的，大量的业务逻辑都放在触发器里。后来好像就少用了，最多的是用来审计，比如在数据库里放个历史记录表，每次原表数据有变化时，就在触发器里，将改动前后的数据复制到历史记录表里，便于以后的审计或者排错。 为什么现在少用触 ......
轻松存储千亿级数据，知乎基于Doris的DMP系统架构实践
1）提升查询效率
自动探测 SQL 复杂查询条件预先合并成一个派生特征的 bitmap，预测和圈人时对复杂条件 SQL 重写为派生特征。
2）提升导入速度
Spark 直接写 Doris Tablet 文件，并挂载到 FE。
针对大导入场景与 Doris 团队共建，提升写入效... ......
redisson 分布式锁
@RequestMapping(value = "/testLock", method = RequestMethod.POST) public BaseResponse<Boolean> testLock(@RequestBody TestLockRequest testLockRequest) ......
火山引擎 DataLeap 下 Notebook 系列文章三：架构升级详解
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 当使用 Notebook 的项目日渐增加时，火山引擎 DataLeap 研发团队发现运行中的 PaaS 服务实在太多了，之前的架构有如下缺点： 部署麻烦。全量升级 JupyterLab 较为痛苦。尽管有升级脚本，但 ......
织密“安全云网”，天翼云探索构建分布式多场景云服务稳定性保障体系！
近日，中国信息通信研究院（以下简称“中国信通院”）主办，混沌工程实验室承办的信息通信领域系统稳定性保障沙龙·北京站成功举办。沙龙以“共筑数字免疫韧性长城，助力信息通信行业稳定安全运行”为主题，旨在促进信息通信领域系统稳定性保障技术交流，推动信息通信领域稳定安全运行水平提升，加强“稳保”领域的先进技术 ......
如何计算 两个beta分布的KL散度
读论文 Sequential Recommendation with Probabilistic Logical Reasoning 中碰到的问题。 结论大概是这样： 对于Beta分布，KL散度的公式为： $$D_{KL}(Beta(\alpha_1, \alpha_2)||Beta(\beta_1 ......
数据在线迁移思考
背景 数据需要从一个库迁移到另外一个库，比如客户新买一个软件，使用的旧服务数据需要迁移到新软件内。 或者数据压力较大，需要分库分表， 数据需要迁移到新的库 方案1 双写 开启双写 可以在服务内增加配置，是否写新库、旧库。 迁移期间， 开启配置 当天的数据同时写入新库和旧库。历史数据不会变走迁移程序。 ......
正态分布可视化
正态分布可视化 可视化函数 def set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend): """设置matplotlib的轴""" axes.set_xlabel(xlabel) axes.set_ylabel(yla ......
全球不到400人拥有该证书，成为Salesforce技术架构师前景如何？
Salesforce技术架构师认证于2011年推出，是认证领域的“巅峰”。迄今为止，全球范围内的技术架构师还不到400人，成为技术架构师似乎是一个虚幻的目标。 技术架构师是多年学习、多项必备认证和经验的累积成果，仅考试费用就高达6000美元。并且，还需要投入大量时间学习相关知识，参加相关培训。成为认 ......
架构思路
作为一个Java架构师，负责设计一个项目的后端代码开发框架，要首先了解业务需求，然后按照以下步骤进行设计和实施。 创建项目结构： 使用Spring Initializr或者IDE（如：IntelliJ IDEA）创建基于Spring Boot的项目，选择适合的依赖，如：Web（Spring MVC） ......
一统天下 flutter - widget 架构类: BottomSheet - 底部弹出框
源码 https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: BottomSheet - 底部弹出框 示例如下: lib\widget\structure\scaffold_bottom_sheet. ......
如何借助分布式存储 JuiceFS 加速 AI 模型训练
传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像 JuiceFS 这样的分布式存储并不是必需品。 随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。AI 团队通常会面临以下几种问题： 数据集太 ......
AutoGPT的架构及工作流程
最近我发现自己完全着迷于AutoGPT 的试验，许多其他人也是如此。将 AutoGPT 用作黑匣子，我开始好奇它是如何在引擎盖下工作的。值得庆幸的是代码是开源的，所以我决定看一看。 以下是我对 AutoGPT 架构的笔记。希望这对那些对 AutoGPT 的工作原理感到好奇的人有所帮助。此外，Auto ......
Power BI实现组织架构的数据权限过滤，上级可以看下级，也可以看下下级的数据
1.建立人员的层级关系 2.建立人员和销售订单的关联关系 3.在人员表增加过滤：路径包含当前人登录账号的 PATHCONTAINS('系统人员'[path], MaxX( Filter('系统人员', [账号]=USERPRINCIPALNAME() ) ,'系统人员'[账号] ) ) ......
深入思考右值引用
一般来说引用指的是左值引用，它存在的目的是为了给左值起个别名。在 C++ 新版本里面出了一个新的概念——右值引用。类比前面对左值引用的理解，右值引用是应该是对右值起的别名。不过这个所谓的右值引用已经不能用右值的方式来理解，往常对右值的认识一般以常量居多，但是这个被起别名的引用居然能做一些变量才有的操 ......
如何解决通信架构迁移时的消息格式不一致问题
有时候，当进行通信架构迁移时，会遇到消息格式不一致的兼容性问题，可采用定义内嵌引用的方式来解决，如下示例： 1 #include <iostream> 2 3 class A { 4 5 int a = 1; 6 int& b; 7 8 struct Request { 9 int c; 10 } ......
redis完成分布式锁
1. 正文 1. Redis完成分布式锁 2. redis的面试题。 2. 缓存 当执行增删改操纵时必须保证缓存和数据库数据一致性。 删除缓存 @Override public Dept insert(Dept dept) { int i = deptMapper.insert(dept); ret ......
Redis - -分布式锁
Redis完成分布式锁 # 1.1 缓存 > 当执行增删改操纵时必须保证缓存和数据库数据一致性。 删除缓存 ```java @Override public Dept insert(Dept dept) { int i = deptMapper.insert(dept); return dept; ......
分布式编译系统的搭建
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 作者：dan 文章来源：GreatSQL社区原创 由于MySQL 源码编译单机耗费的时间过于长，最近MySQL 变成8.0.27 以后编译时间明显更耗时 ......
滑动窗口算法实现分布式第三方请求限频
一. 业务背景 第三方服务接口存在频率调用限制（例如，1s5次，超过5次返回超出频率），己方服务存在并发处理的情况，为了保证服务的成功率，且达到第三方限制的最大吞吐量，故需要一个限频调用的算法 二.实现思路 常见限频算法一般有五种，漏桶算法、令牌桶算法、固定窗口算法，滑动窗口算法，漏斗算法，五种算各 ......
基于ovs+tk+KVM的分布式隔离网络建立
直接上代码 import subprocess import tkinter as tk from tkinter import messagebox import libvirt import re host_ip = '172.27.243.60' # 获取VLAN标签 def get_vlan ......
SAAS架构方案
SAAS（Software as a Service）是一种软件交付模型，它允许用户通过互联网访问和使用应用程序。SAAS架构方案需要考虑以下几个因素： 多租户架构 SAAS应用通常被多个租户共享，因此必须具有多租户架构。这意味着每个租户都可以拥有自己的数据和配置，但他们共享相同的应用程序实例。 通 ......
下一代大数据分布式存储技术Apache Ozone初步研究
如果还在为HDFS上存储海量的小文件而烦恼，不烦多留意号称下一代分布式存储技术Apache Ozone，其诞生初衷就是解决HDFS面临棘手问题，本篇从了解其特性和总体架构，基于开发测试需求通过docker和docker-compose方式启动Ozone本地集群，最后通过命令行接口和兼容hadoop命... ......
IRF（智能弹性架构）
IRF概述 IRF（智能弹性架构）,将多台设备通过IRF物理端口连接在一起，进行必要的配置后，虚拟化成一台“分布式设备”。使用这种虚拟化技术可以实现多台设备的协同工作、统一管理和不间断维护。 IRF的优点： （1）简化管理：用户通过任意成员设备即可对IRF内所有成员设备进行统一管理。 （2）高可靠性 ......
【动手学深度学习】第四章笔记：多层感知机、权重衰减、暂退法、数值稳定性和模型初始化、环境和分布偏移
为了更好的阅读体验，请点击这里 4.1 多层感知机 4.1.1 隐藏层 由于仿射变换中的线性是一个很强的假设，因此导致了线性模型可能会不适用。线性意味着单调假设：任何特征的增大都会导致模型输出的增大或者模型输出的减小。 但是违反单调性的例子比比皆是。除此之外，分类任务中，仅依托像素强度分类也很不合理 ......
ray-分布式计算框架-集群与异步Job管理
0. ray 简介 ray是开源分布式计算框架，为并行处理提供计算层，用于扩展AI与Python应用程序，是ML工作负载统一工具包 Ray AI Runtime ML应用程序库集 Ray Core 通用分布式计算库 Task -- Ray允许任意Python函数在单独的Python worker上运 ......
aarch64架构下配置JDK和Tomcat服务
环境说明： 本次采用瑞芯微RK3568核心板，其CPU架构基于aarch64架构。因在上面运行的业务需求，需要托管在tomcat下。 1. 版本选择： 因为我们在Windows下，使用的Tomcat版本也是8，故这边选择Tomcat 8，官网推荐版本为：Apache Tomcat 8.5.88 To ......
一次说透，4大服务性幂等场景架构设计方案！
服务幂等性架构设计 作者: 博学谷狂野架构师 GitHub：GitHub地址 （有我精心准备的130本电子书PDF） 只分享干货、不吹水，让我们一起加油！😄 防重表实现幂等 对于防止数据重复提交，还有一种解决方案就是通过防重表实现。 防重表的实现思路也非常简单，首先创建一张表作为防重表，同时在该表 ......