DataLeap
QA团队基于DataLeap开放平台能力的数据测试实践
背景 &痛点 随着生态体系扩展和业务发展，数据在业务中承担的决策场景越来越多样化，一部分数据已应用在资损、高客诉等高风险场景，因此对数据质量的要求，尤其是高风险场景的质量要求非常之高。但在保障过程中往往面临以下痛点： 无标准化流程，管控能力较弱 研发 QA 人力比高达 20:1，因此 QA 采用分级 ......
火山引擎DataLeap：助你实现从数据研发1.0到数据研发3.0的跨越
近日，火山引擎开发者社区 Meetup 第 12 期暨超话数据专场在深圳举办，本次活动主题为“数智化转型背景下的火山引擎大数据技术揭秘 ”，来自 DataLeap 的产品经理黄虹带来了 DataOps 相关实践的分享，以下内容经小编整理编辑后发布。 ......
活动预告｜ 字节跳动基于DataLeap的DataOps最佳实践
DataOps概念从2014年首次被提出，不断演化和发展，在2018 年Gartner 的数据管理成熟度曲线中确定了 DataOps，标志着 DataOps 被业界接纳和认可。随着数字化转型的推进以及业务数仓建设不断完善，大数据开发体量及复杂性逐步上升，如何保证数据稳定、正确、持续产出成为数据开发者 ......
构建满足流批数据质量监控用火山引擎DataLeap
面对今日头条、抖音等不同产品线的复杂数据质量场景，火山引擎 DataLeap 数据质量平台如何满足多样的需求？ ......
火山引擎 DataLeap 计算治理自动化解决方案实践和思考
本文旨在探讨火山引擎 DataLeap 在处理计算治理过程中所面临的问题及其解决方案，并展示这些解决方案带来的实际收益。主要内容包括：探讨面临的痛点和挑战、提供自动化的解决方案、分析实践效果和收益、提出结论和未来展望。 ......
直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 业务背景 随着字节业务的高速增长，业务场景越来越丰富，业务基于数据做的决策也越来越多，对数据的时效性要求也越来越高。原有离线批处理的数据仓库已经无法满足诉求，因此需要打造一套同时具备高时效性和高稳定性的计算能 ......
治理效率提升77%！揭秘基于DataLeap实时健康分的最佳实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 某企业实时数仓团队通过数据收集、整合、计算和存储构建实时数据仓库，为企业提供快速、准确、可靠的实时数据分析和决策支持。目前该实时数仓团队已运行了上万的实时任务，依赖的组件繁多（例如：Flink、Yarn、Ab ......
9月活动回顾（免费领取PPT）｜火山引擎DataLeap、ByteHouse多位专家带来DataOps、实时计算等前沿技术分享！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 在上月举行的火山引擎开发者社区 Meetup 第12期暨超话数据专场《数智化转型背景下的火山引擎大数据技术揭秘》上，来自火山引擎DataLeap、EMR、DataSail、Bytehouse、LAS的五位专家，分别 ......
可视大盘 + 健康分机制，火山引擎 DataLeap 为企业降低资源优化门槛！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着数仓及研发技术团队维护的数据量大、资源使用量大、成本越高、优化压力越大。如何主动发现无效或低效使用的资源，并且可以周期性高效的进行主动治理变为团队治理目标核心诉求之一。在传统情况下，资源优化多数依靠团队经验和人 ......
火山引擎DataLeap一站式数据治理解决方案及平台架构
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 在字节跳动内部，DataLeap数据平台数据治理团队致力于建立一站式、全链路的数据治理解决方案平台。 数据治理的概念 数据治理是一种数据管理的概念，确保组织能在数据的全生命周期中具有高质量的数据质量能力，并且实现对 ......
从“概念”到“应用”，字节跳动基于 DataLeap 的 DataOps 实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎数智平台 VeDI Meetup「超话数据」在深圳举办，来自火山引擎的产品专家分享了字节跳动基于 DataLeap 的 DataOps 实践，数据研发面临的挑战以及字节跳动最佳实践。 现如今，越来越多 ......
火山引擎DataLeap推出两款大模型应用： 对话式检索与开发 打破代码语言屏障
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 自上世50年代，以“计算机”作为代表性象征的信息革命开始，社会对于先进生产力的认知便开始逐步更迭——从信息化（通常认为是把企业中的信息资源与信息技术有机结合，从而提高企业的管理水平和效率）到数字化（普遍认为是以数据 ......
数据探索神器：火山引擎 DataLeap Notebook 揭秘
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景介绍 Notebook 解决的问题 部分任务类型（python、spark等）在创建配置阶段，需要进行分步调试； 由于探索查询能力较弱，部分用户只能通过其他平台 or 其他途径进行开发调试，但部署到 Dorad ......
企业如何高效平滑迁移数据？火山引擎DataLeap上线整库搬迁解决方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎大数据研发治理套件DataLeap上线整库搬迁解决方案，包括整库离线同步、整库实时同步两大能力，大大提升数据上云便捷性，降低数据迁移成本，使用户易上手，低运维。 该解决方案基于成熟的技术引擎底座，同时 ......
火山引擎DataLeap的数据血缘用例与设计概述
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 数据血缘描述了数据的来源和去向，以及数据在多个处理过程中的转换。数据血缘是组织内使数据发挥价值的重要基础能力。本文从字节的数据链路概况开始，介绍了数据血缘在字节的应用场景，总体设计，数据模型以及衡量指标。 字节数据 ......
火山引擎DataLeap数据血缘技术建设实践
DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。 ......
火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Notebook 是一种支持 REPL 模式的开发环境。所谓「REPL」，即「读取-求值-输出」循环：输入一段代码，立刻得到相应的结果，并继续等待下一次输入。Notebook通常使得探索性的开发和调试更加便捷，在 ......
智定义、易调整，火山引擎DataLeap助力企业轻松实现全流程值班管理
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎大数据研发治理套件DataLeap全新上线值班管理模块，企业可通过该模块体系化智能化创建值班计划、管理值班人员，适用于运维排班、值班提醒、计划管理、监控报警等实际应用场景。 值班工作是确保数字化企业及 ......
火山引擎 DataLeap：从短视频 APP 实践看如何统一数据指标口径
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 短视频正在成为越来越多人发现世界的窗口，其背后的创作者生态建设是各大短视频 APP 不可忽视的重要组成部分。 为了激励更多优质内容生产，某短视频 APP 经常面向创作者主办投稿活动，而在复盘投稿数据过程中，该团队音 ......
火山引擎DataLeap基于Apache Atlas自研异步消息处理框架
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存 ......
字节跳动基于DataLeap的DataOps实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 本文根据 ArchSummit 全球架构师峰会（深圳站）来自抖音数据研发负责人王洋的现场分享实录整理而成（有删减），本次分享主要包含字节跳动数据研发的模式与挑战、DataOps理念在字节的具象 、DataOps产品 ......
开发调试更便捷！火山引擎 DataLeap 提供 Notebook 交互式开发体验
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Notebook 是一种支持 REPL 模式的开发环境。 所谓「REPL」，即「读取-求值-输出」循环：输入一段代码，立刻得到相应的结果，并继续等待下一次输入。Notebook 通常使得探索性的开发和调试更加便捷， ......
火山引擎DataLeap：助力PICO落地数据流程规范，提升开发效率
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作为目前中国市场领跑的头部XR品牌之一，字节跳动旗下的PICO已经拥有了超百万客户。 过去一年，PICO在XR场景中不断建设和发力，为运动、娱乐等消费级场景带来了全新体验，并广泛应用在教育、医疗和企业培训等商用场景 ......
挖掘优质短视频超百万条，火山引擎DataLeap助力电商平台生态治理
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 在人们的日常生活中，网购已经成为人们生活中不可或缺的购物形式。 根据《中国社交电商行业发展白皮书（2022）》的数据显示，2022年社交电商市场交易规模达到28542.8亿元，预计2023年中国社交电商行业交易规模 ......
火山引擎DataLeap的Data Catalog系统公有云实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Data Catalog是一种元数据管理的服务，会收集技术元数据，并在其基础上提供更丰富的业务上下文与语义，通常支持元数据编目、查找、详情浏览等功能。目前Data Catalog作为火山引擎大数据研发治理套件Dat ......
字节跳动基于火山引擎DataLeap的一站式数据治理架构实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 在7月22日举行的 ArchSummit 全球架构师峰会（深圳站）上，来自火山引擎DataLeap的技术专家为大家带来了字节跳动基于火山引擎DataLeap的全域数据治理方案分享。 本次分享共分为机遇挑战、字节数据 ......
火山引擎DataLeap数据质量动态探查及相关前端实现
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 需求背景 火山引擎DataLeap数据探查上线之前，数据验证都是通过写SQL方式进行查询的，从编写SQL，到解析运行出结果，不仅时间长，还会反复消耗计算资源，探查上线后，只需要一次探查，就可以得到整张表的探查报告， ......
火山引擎DataLeap：更强数据目录搜索能力，做到一步找数
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着数据管理变得更加复杂，元数据的重要性呈指数级增加。 如今，Data Catalog（数据目录）被看成是元数据管理的最佳工具，而一个通用的Data Catalog平台，通常包含元数据管理，搜索，血缘，标签，术语等 ......
火山引擎DataLeap的Data Catalog系统搜索实践 （上）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景，其中搜索是Data Catalog的主要功能之一 ......