火山 架构bytehouse引擎
URule规则引擎
前段时间，在做项目重构的时候，遇到很多地方需要做很多的条件判断。当然可以用很多的if-else判断去解决，但是当时也不清楚怎么回事，就像玩点别的。于是乎，就去调研了规则引擎。 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
ByteHouse实时导入技术演进
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ByteHouse 是火山引擎上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量离线数据分析；便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性，助力客户数字化转型。 本文将从需求动机、 ......
学会规则引擎Drools，让你早点下班
前言 现在有这么个需求，网上购物，需要根据不同的规则计算商品折扣，比如VIP客户增加5%的折扣，购买金额超过1000元的增加10%的折扣等，而且这些规则可能随时发生变化，甚至增加新的规则。面对这个需求，你该怎么实现呢？难道是计算规则一变，就要修改业务代码，重新测试，上线吗。 其实，我们可以通过规则引 ......
联邦学习开源框架FATE架构
作者：京东科技 葛星宇 1.前言 本文除特殊说明外，所指的都是fate 1.9版本。 fate资料存在着多处版本功能与发布的文档不匹配的情况，各个模块都有独立的文档，功能又有关联，坑比较多，首先要理清楚各概念、模块之间的关系。 2.网络互联架构 1. 概念解释： RollSite是一个grpc通信组 ......
架构师日记-软件高可用实践那些事儿
关于软件的高可用，是一个老生常谈的话题。“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。其计算公式是：可用率=（总时间-不可用时间）/总时间。 ......
ArchKeeper (开篇)：架构守护平台的问题与理念
在敏捷开发环境下，系统通过迭代增量的交付价值，系统架构也是如此。团队不可能在项目之初就建立完美的系统架构，系统架构应该随着系统迭代不断演进。架构演进和架构腐化是看待架构的不同视角：架构腐化着眼于现状，架构演进侧重于未来架构腐化不可避免，随着时间流转腐化现象必然发生。而我们需要做的是：通过某种方式及早... ......
基于 Istio 的灰度发布架构方案实践之路
灰度发布，是指能够平滑过渡的一种发布方式。尤其是对于toB业务和SAAS类平台，很多情况需要根据租户或用户维度进行灰度控制，实现业务上的A/Best功能。尽管几经迭代，但仍存在系统入侵性强、新版本接口异常等问题。因此，探索了一条基于Istio的服务流量治理方案下的灵活可配置的灰度发布方案。 ......
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
XView 架构升级之路
Xview是由webview框架改造而来的神器，通常用于大促弹窗等营销场景中。但是在实际的开发中使用Xview中常常存在产研效率低、曝光率不高等问题，本文基于此问题，介绍了XView 架构升级方案。 ......
Hbase学习二：Hbase数据特点和架构特点
转载请注明出处： 1.Hbase数据特点 大：一个表可以有上亿行，上百万列。 面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。 稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表 ......
.Net Core后端架构实战【1-项目分层框架设计】
摘要：基于.NET Core 7.0WebApi后端架构实战【1-项目结构分层设计】 2023/02/05, ASP.NET Core 7.0, VS2022 引言 从实习到现在回想自己已经入行四年了，很庆幸自己一直还是从事着开发的工作。这几年不管是工作还是生活都有很多不甘与失落还有收获，从学校出来 ......
【白话科普】聊聊网络架构变革的关键——SDN
最近二狗子在网上冲浪的时候，不小心将 CDN 搜索成了 SDN，结果跳出来了一大堆相关的知识点。 好学的二狗子当然不会随随便便糊弄过去，于是认认真真学习了好久，终于了解了 SDN 是什么。 原来，SDN 的全称是 Software Defined Networking，是一类将网络控制平面与数据平面 ......
推荐系统[八]算法实践总结V0：腾讯音乐全民K歌推荐系统架构及粗排设计
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：
1. 召回是源头，在某种意义上决定着整个推荐的天花板；
2. 粗排是初筛，一般不会上复杂模型；
3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ......
TikTok 推荐引擎强大的秘密
作者：Heorhii Skovorodnikov 深入研究TikTok令人惊叹的实时推荐系统的内部工作原理，了解是什么使它成为该领域最好的产品之一。 为什么TikTok的feed如此让人上瘾？秘诀在于他们的推荐引擎，这正是使TikTok成为最大的社交媒体平台之一的原因。 似乎feed可以读取你的思想 ......
用ChatGPT，绘制一个账号系统的C4架构图
hi，我是熵减，见字如面。 昨天我们用ChatGPT来设计一个账号系统，并尝试输出：模型表，类关系图，序列图，状态图等常用的架构设计中常用的元素。 今天，我们继续向更高层级延伸一下，看ChatGPT能不能更进一步释放工程师的生产力，创造更多的可能性。 所以，这次我们就来尝试用ChatGPT，来构建账 ......
C4模型，架构设计图的脚手架，你值得拥有
hi，我是熵减，见字如面。 对于软件开发团队来说，写软件设计文档，花架构图，是日常工作中的关键一项。 而其中，如何画好系统设计的架构图呢？ Simon Brown 就 提出 C4 模型，来解决这个问题。 基于C4模型的脚手架，架构师们就可以统一团队内的不同层级的视角，交付一个成体系的架构设计。 下面 ......
图解Nginx，系统架构演变 + Nginx反向代理与负载均衡
大家好，我是哪吒。 本系列为SpringCloud微服务系列，先从微服务的入口Nginx开始学习，读哪吒编程，品技术人生。 一、系统架构演变 最开始接触Java语言的时候，我写的第一个项目是图书管理系统，当时是用JSP+servlet写的，感觉很吊的样子，全班领先水平。 慢慢的变成了JSP+SSM架 ......
【JavaScript】JS引擎中执行上下文如何顺序执行代码
首先我们知道JavaScript引擎包括一个调用栈和堆，调用栈是代码实际执行的地方，使用执行上下文(执行环境)来完成；堆是非结构化的内存池，存储了应用程序所需要的所有对象。 执行上下文是什么？ 执行上下文包括全局执行上下文和执行上下文。 全局执行上下文：代码编译完成后进入调用栈执行首先创建全局执行上 ......
小公司需要使用微服务架构吗？
一、使用微服务的四大门派 2.1、跟风派 技术大环境分析，到目前为止（2023.02）技术大环境： 各大公司都在宣传微服务以及自家实践情况 各种技术媒体也发布很多关于微服务的文章 和别人讨论技术相关的架构时，必然会提到微服务架构 这样的氛围下，微服务这 3 个字时不时的出现在眼前，加深你对它的印象。 ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介
📚️Reference: IoT 边缘计算系列文章 什么是边缘容器？ 边缘容器的概念 边缘容器是分散的计算资源，尽可能靠近最终用户或设备，以减少延迟、节省带宽并增强整体数字体验。 可以访问互联网的设备数量每天都在增加。有包括但不限于： 智能电视 智能家居 智能手机 智能汽车 物联网 IoT 创造的 ......
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 📚️Reference: IoT 边缘计算系列文章 Rancher + K3s 简介 Rancher： Kubernetes 统一管理平台， Rancher 是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个 K ......
大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 📚️Reference: IoT 边缘计算系列文章 HashiCorp 解决方案 - Nomad + Docker 简介 Nomad: 一个简单而灵 ......
透明多级分流系统（架构扫盲贴）
引子 现代互联网系统，架构设计时避不开的一点就是流量规划、负载均衡。期望做到透明、多级的分流系统。“多级”就是在各个层面的技术组件来分流，“透明”就是业务无感知（甚至是技术无感知）。本文期望能够给各位架构师作为扫盲贴使用。 两条普适性原则： 1.尽最大限度减少到达单点部件的流量。引导请求分流至最合适 ......
【ARM架构】armv8 系统安全概述
ARMv8-A 系统中的安全 一个安全或可信的操作系统保护着系统中敏感的信息，例如，可以保护用户存储的密码，信用卡等认证信息免受攻击。 安全由以下原则定义： 保密性：保护设备上的敏感信息，防止未经授权的访问。有以下几种方法可以做到，比如密码和加密密钥。 完整性：使用公钥来保护敏感信息防止被修改。 可 ......