bytehouse一体 引擎olap
实验一 密码引擎-1-OpenEuler-OpenSSL编译
任务详情 0. 安装Ubuntu和OpenEuler虚拟机 下载最新的OpenSSL源码(1.1版本) 用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 参考https://www.cnblogs.com/rocedu/p/5087623.html先在Ubuntu中完成OpenS ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译
0. 安装Ubuntu和OpenEuler虚拟机 安装openEuler-20.09 安装登入openEuler系统 1. 下载最新的OpenSSL源码(1.1版本) Ubuntu 22.04 OpenSSL 1.1.1t Ubuntu最新版本下载参见http://www.ubuntu.com/do ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译
一、任务详情 安装Ubuntu和OpenEuler虚拟机 下载最新的OpenSSL源码(1.1版本) 用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 参考 https://www.cnblogs.com/rocedu/p/5087623.html 先在Ubuntu中完成Open ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译
#一、任务详情 1.安装Ubuntu和OpenEuler虚拟机 2.下载最新的OpenSSL源码(1.1版本) 3.用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 4.参考 https://www.cnblogs.com/rocedu/p/5087623.html 先在Ubun ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译 _
一、任务详情 安装Ubuntu和OpenEuler虚拟机 下载最新的OpenSSL源码(1.1版本) 用自己的8位学号建立一个文件夹，cd 你的学号，用pwd获得绝对路径 参考 https://www.cnblogs.com/rocedu/p/5087623.html 先在Ubuntu中完成Open ......
ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析
该引擎继承于MergeTree，并在数据块合并算法中添加了折叠行的逻辑。CollapsingMergeTree会异步的删除（折叠）这些除了特定列Sign有1和-1的值以外，其余所有字段的值都相等的成对的行。没有成对的行会被保留。因此，该引擎可以显著的降低存储量并提高SELECT查询效率。 简单来说就 ......
URule规则引擎
前段时间，在做项目重构的时候，遇到很多地方需要做很多的条件判断。当然可以用很多的if-else判断去解决，但是当时也不清楚怎么回事，就像玩点别的。于是乎，就去调研了规则引擎。 ......
ByteHouse实时导入技术演进
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ByteHouse 是火山引擎上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量离线数据分析；便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性，助力客户数字化转型。 本文将从需求动机、 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
学会规则引擎Drools，让你早点下班
前言 现在有这么个需求，网上购物，需要根据不同的规则计算商品折扣，比如VIP客户增加5%的折扣，购买金额超过1000元的增加10%的折扣等，而且这些规则可能随时发生变化，甚至增加新的规则。面对这个需求，你该怎么实现呢？难道是计算规则一变，就要修改业务代码，重新测试，上线吗。 其实，我们可以通过规则引 ......
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
TikTok 推荐引擎强大的秘密
作者：Heorhii Skovorodnikov 深入研究TikTok令人惊叹的实时推荐系统的内部工作原理，了解是什么使它成为该领域最好的产品之一。 为什么TikTok的feed如此让人上瘾？秘诀在于他们的推荐引擎，这正是使TikTok成为最大的社交媒体平台之一的原因。 似乎feed可以读取你的思想 ......
【JavaScript】JS引擎中执行上下文如何顺序执行代码
首先我们知道JavaScript引擎包括一个调用栈和堆，调用栈是代码实际执行的地方，使用执行上下文(执行环境)来完成；堆是非结构化的内存池，存储了应用程序所需要的所有对象。 执行上下文是什么？ 执行上下文包括全局执行上下文和执行上下文。 全局执行上下文：代码编译完成后进入调用栈执行首先创建全局执行上 ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。 可以使用AggregatingMergeTree表来做增量数据的聚合统计， ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
火山引擎 DataLeap：3 个关键步骤，复制字节跳动一站式数据治理经验
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。 本 ......
应用容器引擎-Docker
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 @Author：Akai-yuan @更新时间：2023/1/31 ......
ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储 ......
工作流引擎架构设计
原文链接： 工作流引擎架构设计 最近开发的安全管理平台新增了很多工单申请流程需求，比如加白申请，开通申请等等。最开始的两个需求，为了方便，也没多想，就直接开发了对应的业务代码。 但随着同类需求不断增多，感觉再这样写可要累死人，于是开始了工作流引擎的开发之路。查找了一些资料之后，开发了现阶段的工作流引 ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
还原火山引擎 A/B 测试产品——DataTester 私有化部署实践经验
作为一款面向ToB市场的产品——火山引擎A/B测试（DataTester）为了满足客户对数据安全、合规问题等需求，探索私有化部署是产品无法绕开的一条路。 在面向ToB客户私有化的实际落地中，火山引擎A/B测试（DataTester）也遇到了字节内部服务和企业SaaS服务都不容易遇到的问题。在解决这些 ......
图计算引擎分析——Gemini
前言 Gemini 是目前 state-of-art 的分布式内存图计算引擎，由清华陈文光团队的朱晓伟博士于 2016 年发表的分布式静态数据分析引擎。Gemini 使用以计算为中心的共享内存图分布式 HPC 引擎。通过自适应选择双模式更新（pull/push），实现通信与计算负载均衡 [1]。图 ......
企业级自定义表单引擎解决方案（十八）--列表视图属性设置
表格对于后台管理类的系统来说，至关重要，系统大多数功能都需要以表格的方式展示业务内容，系统开发人员多数时间也是围绕着表格进行业务编码，接触过很多后台管理系统的框架，我个人第一首先也是看表格功能是否强大。 对于低代码平台来说，也是非常核心的内容，关系到系统好不好用，功能能不能支撑各种业务场景的需求，所 ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
通过surging的后台托管服务编写任务调度并支持规则引擎自定义脚本
简介 过去，如果在业务中需要处理任务调度的时候，大家都会使用第三方的任务调度组件，而第三方组件有一套自己的规则，在微服务的中显得那么格格不入，这样就会造成代码臃肿，耦合性高，如果有分布式还需要搭建新的分布式环境，如果把任务调度做成组件服务，这个就完全满足了微服务的模块化，组件化，而下面谈的是在sur ......