引擎 火山bytehouse场景
如何分析并设计性能测试场景
转载：https://www.cnblogs.com/imyalost/p/16500205.html 前几天写了一篇文章《如何设计自动化测试case》，里面聊到了为什么要设计case： 便于业务活动开展 确保业务场景覆盖 质量度量和质量内建 其实这几点原因，在性能测试活动中同样适用。 这篇文章，我 ......
【UE技术案例】场景交互雪
一. “画笔”与“画板” 1.1 RT的使用 Render Target 可以当Texture使用，相当于一张画布，通过蓝图节点或函数在上面绘制图案 Render Target 的两种使用方式： 直接使用 Draw Material to Render Target，直接绘制材质 Begin Dra ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译
一、任务详情 安装Ubuntu和OpenEuler虚拟机 下载最新的OpenSSL源码(1.1版本) 用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 参考 https://www.cnblogs.com/rocedu/p/5087623.html 先在Ubuntu中完成Open ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译
#一、任务详情 1.安装Ubuntu和OpenEuler虚拟机 2.下载最新的OpenSSL源码(1.1版本) 3.用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 4.参考 https://www.cnblogs.com/rocedu/p/5087623.html 先在Ubun ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译 _
一、任务详情 安装Ubuntu和OpenEuler虚拟机 下载最新的OpenSSL源码(1.1版本) 用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 参考 https://www.cnblogs.com/rocedu/p/5087623.html 先在Ubuntu中完成Open ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析
该引擎继承于MergeTree，并在数据块合并算法中添加了折叠行的逻辑。CollapsingMergeTree会异步的删除（折叠）这些除了特定列Sign有1和-1的值以外，其余所有字段的值都相等的成对的行。没有成对的行会被保留。因此，该引擎可以显著的降低存储量并提高SELECT查询效率。 简单来说就 ......
Java Agent场景性能测试分析优化经验分享
摘要：本文将以Sermant的SpringBoot 注册插件的性能测试及优化过程为例，分享在Java Agent场景如何进行更好的性能测试优化及在Java Agent下需要着重注意的性能陷阱。 作者：栾文飞 高级软件工程师 一、背景介绍 Sermant是一个主打服务治理领域的Java Agent框架 ......
详解数仓中sequence的应用场景及优化
摘要：本文简单介绍sequence的使用场景及如何修改sequence的cache值提高性能。 本文分享自华为云社区《GaussDB(DWS)关于sequence的那些事》，作者：Arrow0lf 。 什么是sequence sequence，也称作序列，是用来产生唯一整数的数据库对象。序列的值按照 ......
URule规则引擎
前段时间，在做项目重构的时候，遇到很多地方需要做很多的条件判断。当然可以用很多的if-else判断去解决，但是当时也不清楚怎么回事，就像玩点别的。于是乎，就去调研了规则引擎。 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
ByteHouse实时导入技术演进
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ByteHouse 是火山引擎上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量离线数据分析；便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性，助力客户数字化转型。 本文将从需求动机、 ......
学会规则引擎Drools，让你早点下班
前言 现在有这么个需求，网上购物，需要根据不同的规则计算商品折扣，比如VIP客户增加5%的折扣，购买金额超过1000元的增加10%的折扣等，而且这些规则可能随时发生变化，甚至增加新的规则。面对这个需求，你该怎么实现呢？难道是计算规则一变，就要修改业务代码，重新测试，上线吗。 其实，我们可以通过规则引 ......
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
基于FLink实现的实时安全检测（一段时间内连续登录失败20次后，下一次登录成功场景）
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+1的定时 ......
加密,各种加密,耙梳加密算法(Encryption)种类以及开发场景中的运用(Python3.10)
不用说火爆一时，全网热议的Web3.0区块链技术，也不必说诸如微信支付、支付宝支付等人们几乎每天都要使用的线上支付业务，单是一个简简单单的注册/登录功能，也和加密技术脱不了干系，本次我们耙梳各种经典的加密算法，试图描摹加密算法在开发场景中的运用技巧。 可逆加密算法(对称加密) 加密算法是一种将原始数 ......
白话谈区块链和其应用场景
这篇文章半年前就写了，但是一直没有发表，今天对其进行简单的修改，主要是聊一聊区块链的一些原理（非技术层面）和应用场景，虽然自己不从事这一块，但是进行了解也是很有必要的，因为时代在发展，眼光也要看前嘛。 前言 随着社会的不断发展，数字经济的普及，传统行业不得不向数字化转型，以后一定是数字化时代，这点我 ......
TikTok 推荐引擎强大的秘密
作者：Heorhii Skovorodnikov 深入研究TikTok令人惊叹的实时推荐系统的内部工作原理，了解是什么使它成为该领域最好的产品之一。 为什么TikTok的feed如此让人上瘾？秘诀在于他们的推荐引擎，这正是使TikTok成为最大的社交媒体平台之一的原因。 似乎feed可以读取你的思想 ......
【JavaScript】JS引擎中执行上下文如何顺序执行代码
首先我们知道JavaScript引擎包括一个调用栈和堆，调用栈是代码实际执行的地方，使用执行上下文(执行环境)来完成；堆是非结构化的内存池，存储了应用程序所需要的所有对象。 执行上下文是什么？ 执行上下文包括全局执行上下文和执行上下文。 全局执行上下文：代码编译完成后进入调用栈执行首先创建全局执行上 ......
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
K8S Pod Sidecar 应用场景之一-加入 NGINX Sidecar 做反代和 web 服务器
Kubernetes Pod Sidecar 简介 Sidecar 是一个独立的容器，与 Kubernetes pod 中的应用容器一起运行，是一种辅助性的应用。 Sidecar 的常见辅助性功能有这么几种： 服务网格 (service mesh) 代理 监控 Exporter（如 redis ex ......
搜索EE场景排序链路升级
EE模块是搜索系统中改善生态、探索商品的重要链路，其目标是缓解数据马太效应导致模型对商品排序丰富性、探索性不足，带来的系统非最优解问题。以下分别从模型迭代、在线实验指标、离线评估体系介绍相应模块的优化。 ......
在日报、读后感、小说、公文模版、编程等场景体验了一把chatGPT
相比传统的搜索引擎，它省去了“搜”的时间，只剩下“索”的结果。——题记 总结/朱季谦 昨晚经过一顿操作猛如虎的捣鼓，终于将chatGPT的访问环境在Mac笔记本上搭建了起来。 基于日报、读后感、短文、公文模版、编程这五个场景，我进行了一下简单的体验。 一、让chatGPT写日报 在网上随便找到一个日 ......
【Redis场景3】缓存穿透、击穿问题
【Redis场景3】缓存穿透、击穿问题，涉及缓存穿透、缓存击穿问题的原因分析及解决方案，并进行压测实践；每1~2周学习整理redis中的知识点和场景实现，希望有所输入输出，每天进步一点点。 ......
【Redis场景4】单机环境下秒杀问题
【Redis场景4】单机环境下秒杀问题；涉及到全局唯一ID的生成，并发问题，库存超卖问题，一人一单秒杀问题等，相关场景进行压测，不局限于文字，注重实操。 ......
ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。 可以使用AggregatingMergeTree表来做增量数据的聚合统计， ......