实践
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
9.4语言是一种实践2
人类符号媒介系统的发展都是尝试性的。开始是为了一些具体有限的目的，人们自觉不自觉地尝试一些媒介工具与方法，方法的有效性会强化与延伸所用的工具与方法，反之则会放弃所用的工具与方法。形成系列的工具与方法，就会固化出一个媒介系统，发展出相应的语言类型。本书对语言机器的构想，把符号媒介系统的发展更多变成了技 ......
Mybatis Plus 框架项目落地实践总结
在使用了Mybatis Plus框架进行项目重构之后，关于如何更好的利用Mybatis plus。在此做一些总结供大家参考。 主要总结了以下这几个方面的实践。 基础设计 BaseEntity 逻辑删除 自动填充字段 代码生成类 查询操作 Query基类(复用+PageQuery) 普通Query L ......
vivo 自研Jenkins资源调度系统设计与实践
本文从目前业界实现Jenkins的高可用的实现方案，分析各方案的优缺点，引入vivo目前使用的Jenkins高可用方案，以及目前Jenkins资源的调度方案的设计实践和目前的落地运行效果。 ......
vivo版本发布平台：带宽智能调控优化实践-平台产品系列03
随着分发规模地逐步增长，各企业对CDN带宽的使用越来越多。并且，各类业务使用CDN的场景各式各样，导致带宽会不断地出现骤增骤降等问题。基于成本考虑，国内CDN厂商的计费模式主要用峰值点的带宽来计费，就算不用峰值点的带宽，也会因为峰值问题所产生的成本而抬高带宽单价。基于此，控制CDN带宽的峰谷具有重要... ......
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画... ......
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】 ......
推荐系统[八]算法实践总结V0：腾讯音乐全民K歌推荐系统架构及粗排设计
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：
1. 召回是源头，在某种意义上决定着整个推荐的天花板；
2. 粗排是初筛，一般不会上复杂模型；
3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ......
Iceberg 数据治理及查询加速实践
数据治理 Flink 实时写入 Iceberg 带来的问题 在实时数据源源不断经过 Flink 写入的 Iceberg 的过程中，Flink 通过定时的 Checkpoint 提交 snapshot commit 操作到 Iceberg，将已写入到 Iceberg 的数据文件通过 Snapshot ......
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
《Terraform 101 从入门到实践》 Terraform在公有云GCP上的应用
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 Terraform支持的公有云有很多，如AWS、Azure、Google、Alibaba等。将Terraform应用于公有云，才最能发挥其强 ......
《Terraform 101 从入门到实践》 Terraform在公有云Azure上的应用
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 简介 Azure是微软的公有云，它提供了一些免费的资源，具体可以查看： https://azure.microsoft.com/en-us/ ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
Python:Excel自动化实践入门篇 甲【留言点赞领图书门票】
*以下内容为本人的学习笔记，如需要转载，请声明原文链接 微信公众号「englyf」 https://mp.weixin.qq.com/s/yii52ItDI7IWsj-IF-NxDw 正文开始之前，先给朋友们宣布个好消息，文末有送图书和门票的福利活动，不要错过哦！ 今天周五，马上就到下午6点钟，该下 ......
Jest + React 单元测试最佳实践
我们是袋鼠云数栈 UED 团队，致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神，探索前端道路，为社区积累并传播经验价值。 前言 单元测试是一种用于测试“单元”的软件测试方法，其中“单元”的意思是指软件中各个独立的组件或模块。开发者需要为他们的代码编写测试用例以确保这些代码可以正常使用。 在 ......
限流器算法实现(JUC原子类使用实践)
系列文章目录和关于我 一丶限流器存在的意义 在高并发系统中，出于系统保护角度考虑，通常会对流量进行限流。 限流*的目的是在遇到流量高峰期或者流量突增（流量尖刺）时，通过对流量速率进行限制，当达到限制速率时，可以拒绝服务（定向到错误页或告知资源没有了）、排队或等待（比如秒杀、评论、下单）、降级（返回兜 ......
高复用性自动化脚本设计实践
作者：京东物流 刘红妍 导读： 在自动化测试实践中，为了更好的契合被测业务场景，需要不断优化框架分层结构。本文结合产品模块化思路，意在介绍通过策略模式改造原本复杂分支语句代码，通过理论讲解、思路分析、方案设计、及代码演示，提供自动化脚本重构的落地方案。 在今年的敏捷团队建设中，我通过Suite执行器 ......
国际财务系统基于ShardingSphere的数据分片和一主多从实践
作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨 ......
vivo 超大规模消息中间件实践之路
作者：vivo 互联网存储技术团队-Luo Mingbo、中间件团队- Liu Runyun 本文根据“2022 vivo开发者大会"现场演讲内容整理而成。 本文主要介绍超大数据规模场景下分布式消息中间件在vivo的应用实践。 在线业务侧主要从RocketMQ集群部署架构、平台系统架构、日常运维操作 ......
用户行为分析模型实践（三）——H5通用分析模型
本文从提升用户行为分析效率角度出发，详细介绍了H5埋点方案规划，埋点数据采集流程，提供可借鉴的用户行为数据采集方案；且完整呈现了针对页面分析，留存分析的数仓模型规划方案。 ......
Jenkins搭建与数据迁移实践
概述 本文主要介绍内容如下： 1.使用Docker搭建Jenkins 2.迁移原Jenkins数据到新搭建的Jenkins中 3.在Jenkins容器内部配置Maven的私服配置 4.在Jenkins容器内部配置Nodejs 使用Docker搭建Jenkins Jenkins的最新版本已经全面支持j ......
《Terraform 101 从入门到实践》 Functions函数
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 Terraform的函数 Terraform为了让大家在表达式上可以更加灵活方便地进行计算，提供了大量的内置函数（Function）。目前并 ......
《Terraform 101 从入门到实践》 第五章 HCL语法
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 介绍了Terraform一些比较基础的概念后，我们可以先了解一下Terraform的语法，也就是HCL的语法。 变量Variables 变量 ......
《Terraform 101 从入门到实践》 第一章 Terraform初相识
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 初闻不知Terraform，再闻已是云中人。 什么叫基础设施即代码？ 在以前，当我们需要把应用部署在服务器时，需要购买多台服务器和机房、组装 ......
《Terraform 101 从入门到实践》 第二章 Providers插件管理
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 不怕出身低，行行出状元。 插件 Terraform可以对多种平台的多种资源进行管理，这个是通过插件来实现的。 这里的插件，在Terrafor ......
《Terraform 101 从入门到实践》 第四章 States状态管理
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 军书十二卷，卷卷有爷名。 为什么需要状态管理 Terraform的主要作用是管理云平台上的资源，通过声明式的HCL配置来映射资源，如果云平台 ......
《Terraform 101 从入门到实践》 第三章 Modules模块化
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 模块的概念 模块化是Terraform实现代码重用的方式。模块可以理解为一个包含多个资源的容器模板。封装好之后，可以给大家使用。也可以理解为 ......
Redis 异步客户端选型及落地实践
为了支持更加广泛的业务场景，可视化编排系统近期需要支持对缓存的操作功能，为保证编排系统的性能，服务的执行过程采用了异步的方式，因此我们考虑使用Redis的异步客户端来完成对缓存的操作。 ......