双十 火山bytehouse商家
火山引擎DataLeap数据质量动态探查及相关前端实现
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 需求背景 火山引擎DataLeap数据探查上线之前，数据验证都是通过写SQL方式进行查询的，从编写SQL，到解析运行出结果，不仅时间长，还会反复消耗计算资源，探查上线后，只需要一次探查，就可以得到整张表的探查报告， ......
火山引擎DataLeap：更强数据目录搜索能力，做到一步找数
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着数据管理变得更加复杂，元数据的重要性呈指数级增加。 如今，Data Catalog（数据目录）被看成是元数据管理的最佳工具，而一个通用的Data Catalog平台，通常包含元数据管理，搜索，血缘，标签，术语等 ......
火山引擎DataLeap的Data Catalog系统搜索实践 （上）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景，其中搜索是Data Catalog的主要功能之一 ......
火山引擎ByteHouse：云原生数据库如何提升MySQL兼容性？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 当前各类软件层出不穷，单独某一款软件往往难以满足企业应用需求，一般都需要与各类软件组合使用，这时软件生态兼容性就显得格外重要。作为关系数据库管理系统的代表之一，MySQL支持大多数操作系统、编程语言、程序语言，具备 ......
火山引擎数智平台旗下DataWind升级半年报 6大功能助力企业数据消费
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 “以数据消费促数据生产”——是火山引擎提出的数据飞轮的核心理念，在这一理念的指导下，智能数据洞察作为数据消费环节的重要工具，从数据与业务之间的互动关系出发，一直在迭代产品能力。2023年上半年，智能数据洞察发布了3 ......
打通数据治理全链路，火山引擎DataLeap数据治理平台公有云版本正式发布
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎DataLeap正式对外发布数据治理平台公有云版。DataLeap是火山引擎大数据研发治理套件，随着其子套件数据治理平台与CDH引擎底座成功适配，火山引擎决定通过公有云，进一步对外开放从规划、诊断到经 ......
火山引擎AB测试：广告实验深度打通巨量引擎，高效测试广告素材
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近期，火山引擎AB测试DataTester上线了新版的广告AB实验，还推出了与巨量引擎深度打通的能力。用户可以在DataTester中直接进行广告落地页的创建，并可以完成与巨量2.0广告投放的适配，企业广告主及广告 ......
活动回顾｜火山引擎 DataLeap 分享：DataOps、数据治理、指标体系最佳实践（文中领取 PPT）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 在 7 月 21 日至 22 日举行的 ArchSummit 全球架构师峰会（深圳站）及 DataFunCon.数据智能创新与实践大会（北京站）上，来自火山引擎 DataLeap 的三位专家分别就 DataOps、 ......
CompletableFuture进阶篇-外卖商家端API的异步化
CompletableFuture进阶篇-外卖商家端API的异步化 背景 为何需要并行加载 并行加载的实现方式 同步模型 NIO异步模型 为什么会选择CompletableFuture？ CompletableFuture使用与原理 CompletableFuture的背景和定义 Completab ......
火山引擎VeDI最新分享：消费行业的数据飞轮从“四更”开始
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 数据飞轮，正在为消费行业的数字化升级提供一套全新模式。 在刚刚结束的《全链路增长：数据飞轮转动消费新生力》专场活动上，火山引擎数智平台（VeDI）为消费行业带来了数据飞轮实践的最新分享。 数据飞轮是火山引擎今年4月 ......
火山引擎DataLeap的Data Catalog系统公有云实践 （下）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Data Catalog公有云遇到的挑战 Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发布10+版本的过程，在这个过程中经历不少挑战，下面将介绍其中比较典型的问题以及我们探索并实践 ......
火山引擎DataLeap的Data Catalog系统公有云实践 （上）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 前言 Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景。本篇内容源自于火山引擎大数据研发治理套件DataLeap中的Data Catalog 功能模 ......
火山引擎DataLeap如何解决SLA治理难题（三）： 平台架构与未来展望
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 平台架构总结 火山引擎 DataLeap SLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块，系统组件架构图如下： 规划式治理服务 所谓“规划式治理”，即在问题发现前治理，通过主动规划约定SLA的 ......
2023厦门双十中学夏令营游记
## Day1 上午讲数学，基本上听不太懂，~~但是老师准点下课了，好评~~。双十附近不熟，好像没找到什么好吃的，随便找了一家之前在一中夏令营那会吃过的饭店，人挺少，接下来这几天也是去这家吃的饭。下午四题全写的暴力，但是第三题因为打表打太长了直接交不上去，现在是属于一个但凡和数学沾点边的东西都不会做 ......
火山引擎DataTester：三类AB实验，让企业营销拥有灵敏“网感”
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作者：火山引擎AB测试 近日，火山引擎数智平台举办了“走进火山-全链路增长：数据飞轮转动消费新生力”的活动，其中火山引擎AB测试DataTester产品负责人分享了AB测试在消费行业的应用实践。 AB测试是科学设计 ......
火山引擎DataLeap如何解决SLA治理难题（二）：申报签署流程与复盘详解
申报签署流程详解 火山引擎DataLeap SLA保障的前提是先达成SLA协议。在SLA保障平台中，以申报单签署的形式达成SLA协议。平台核心特点是优化了SLA达成的流程，先通过“系统卡点计算”减少待签署任务的数量，再通过“SLA推荐计算”自动签署部分任务，最后为剩下的待签署任务智能提供合适的SLA ......
补齐OLAP引擎短板！ByteHouse 是如何实现流批一体的？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 计算机领域一直流传一句话——“没有银弹”，这句话出自计算机科学家布鲁克斯《没有银弹》一书，意思是软件工程是一个超级复杂系统，没有任何特效的方法，可以一直提高效率。 在数据库选型当中也是如此。一款面向实时查询场景的计 ......
火山引擎DataLeap如何解决SLA治理难题（一）：应用场景与核心概念介绍
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 基于火山引擎分布式治理的理念，数据平台数据治理团队自研了火山引擎DataLeap SLA保障平台，目前已在字节内部得到广泛使用，并支持了绝大部分数据团队的SLA治理需求，每天保障的SLA链路数量过千，解决了数据SL ......
火山引擎 DataLeap 构建Data Catalog系统的实践（三）：关键技术与总结
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 关键技术 构建一个好的Data Catalog系统，需要考虑的核心产品设计和技术设计有很多。篇幅所限，本文只概要介绍技术设计中最核心重要的部分，更多细节展开可参照后续的文章。 数据模型统一 将不同元数据的数据模型统 ......
北京汽车牵手火山引擎数智平台，探寻车企数字化升级新通路
“北京汽车正在为车企数字化升级跑出一条新通路。” 汽车行业的竞争向来激烈，随着数字化浪潮的持续推进，特别是一大批互联网背景的人物和企业入场，各大车企加速在数据智能应用上发力，以打破如今“用户越来越懂车，但车企却越来越难懂用户”的市场僵局。 作为国内领先的车企之一，北京汽车对此早有感知，并积极拥抱变化 ......
火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览
技术与产品概览 架构设计 元数据的接入 元数据接入支持T+1和近实时两种方式 上游系统：包括各类存储系统（比如Hive、 Clickhouse等）和业务系统（比如数据开发平台、数据质量平台等） 中间层： ETL Bridge：T+1方式运行，通常是从外部系统拉取最新元数据，与当前Catalog系统的 ......
火山引擎 DataLeap 套件下构建数据目录（Data Catalog）系统的实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 Data Catalog 产品，通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了火山引擎 DataLeap 套件下Da ......
火山引擎VeDI落地消费行业数据飞轮，提出“四更”新主张
7月6日，火山引擎数智平台（VeDI）《全链路增长：数据飞轮转动消费新生力》主题活动在北京举办，会上分享了行业、企业、产品视角下的数据飞轮实践，并针对消费行业提出业务应用“四更”新主张：“更懂业务”、“更会决策”、“更准触达”和“更快行动”。 数据飞轮，是火山引擎基于字节跳动10年数据驱动理念沉淀而 ......
火山引擎开发者社区一周资讯精选（7.1-7.7）
🔥技术干货 1. 字节跳动开源KubeAdmiral：基于 K8s 的新一代多集群编排调度引擎 2. 使用Redis-Shake迁移AWS Elasticache Redis到火山引擎Redis操作指南 3. 火山引擎DataLeap数据质量解决方案和最佳实践（二）：解决方案 4. 火山引擎Dat ......
多领域应用落地，火山引擎ByteHouse加速云数仓升级
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎数智平台VeDI直播活动「超话数据」在线举办，来自火山引擎的产品及解决方案专家分享了以ByteHouse为代表的云数仓产品在字节跳动的演进过程、关键技术以及最佳实践，并通过五个步骤拆解，带领开发者快速 ......
火山引擎DataLeap数据质量解决方案和最佳实践（三）：最佳实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 最佳实践 前面介绍了DataLeap数据质量平台的一些实现方式，下面为大家介绍一些我们在数据量和资源这两个方面的最佳实践。 表行数信息-优先 HMS 获取 内部的离线监控中，表行数的监控占比非常大，可能至少 50% ......
分面火山图--分别展示top25的基因
点击查看代码 ``` object.markers 0.15) #所有差异基因 #View(sig_dge.all) library(dplyr) object.markers % filter(p_val_adj % mutate(Difference = pct.1 - pct.2) libra ......
差点错过！火山引擎VeDI帮这家企业成功挖掘200余条商机
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 与个体消费市场临时性需求大、决策参与人少等情况不同，企业消费市场往往因为长线需求复杂、商品/服务的价格高、参与决策节点多，而导致购买决策链路漫长。 在企业市场场景中，一条营销线索的孵化少则需要几天，多则需要持续几个 ......
火山引擎 DataLeap 构建Data Catalog系统的实践（一）：背景与调研思路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 Data Catalog 产品，通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了火山引擎 DataLeap 套件下Da ......