Catalog
Dynamics 365 Finance Operations Data Event Catalog - Power Platform Convergence
Dynamics 365 Finance Operations Data Event Catalog - Power Platform Convergence Hello the Community, long time no post, but so much to talk about now ......
Trino418版本动态加载catalog不需要重启集群修改思路及实现
熟悉Trino 的同学应该都知道Trino新增、删除 catalog 都需要重启集群，这个生产环境里如果需要频繁增加数据源的场景是非常不友好的操作。 网上关于动态加载Catalog的方案有一些，但是在Trino比较新的版本里面已经无法适用。 目前官方关于这个功能一直都没有完成，详细issue Dyn ......
火山引擎DataLeap的Data Catalog系统公有云实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Data Catalog是一种元数据管理的服务，会收集技术元数据，并在其基础上提供更丰富的业务上下文与语义，通常支持元数据编目、查找、详情浏览等功能。目前Data Catalog作为火山引擎大数据研发治理套件Dat ......
火山引擎DataLeap的Data Catalog系统搜索实践 （上）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景，其中搜索是Data Catalog的主要功能之一 ......
火山引擎DataLeap的Data Catalog系统公有云实践 （下）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Data Catalog公有云遇到的挑战 Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发布10+版本的过程，在这个过程中经历不少挑战，下面将介绍其中比较典型的问题以及我们探索并实践 ......
火山引擎DataLeap的Data Catalog系统公有云实践 （上）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 前言 Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景。本篇内容源自于火山引擎大数据研发治理套件DataLeap中的Data Catalog 功能模 ......
火山引擎 DataLeap 构建Data Catalog系统的实践（三）：关键技术与总结
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 关键技术 构建一个好的Data Catalog系统，需要考虑的核心产品设计和技术设计有很多。篇幅所限，本文只概要介绍技术设计中最核心重要的部分，更多细节展开可参照后续的文章。 数据模型统一 将不同元数据的数据模型统 ......
火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览
技术与产品概览 架构设计 元数据的接入 元数据接入支持T+1和近实时两种方式 上游系统：包括各类存储系统（比如Hive、 Clickhouse等）和业务系统（比如数据开发平台、数据质量平台等） 中间层： ETL Bridge：T+1方式运行，通常是从外部系统拉取最新元数据，与当前Catalog系统的 ......
火山引擎 DataLeap 套件下构建数据目录（Data Catalog）系统的实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 Data Catalog 产品，通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了火山引擎 DataLeap 套件下Da ......
火山引擎 DataLeap 构建Data Catalog系统的实践（一）：背景与调研思路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 Data Catalog 产品，通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了火山引擎 DataLeap 套件下Da ......
Doris 1.2.0 JDBC外表 及 Mutil Catalog
# 环境 1. doris 需要版本**1.2以上** 2. jar包 根据不同的**数据源** 需要不同的jar包 https://mvnrepository.com/ a. MySQL mysql-connector-java-5.1.47.jar b. PostgreSQL postgresq ......
【源码阅读】2. Catalog和Database
Catalog 创建 | KW_CREATE KW_CATALOG opt_if_not_exists:ifNotExists ident:catalogName opt_properties:properties {: RESULT = new CreateCatalogStmt(ifNotExi ......
什么是 SAP Commerce Cloud 的 Content Catalog 概念
SAP Commerce Cloud的Content Catalog是一个核心概念，用于管理和组织网站内容。Content Catalog是一个包含页面、组件和其他相关资源的容器，它允许您以结构化和可重用的方式创建和管理网站的不同部分。在本文中，我们将详细介绍Content Catalog的概念、用 ......
曝光！Apache SeaTunnel Catalog 功能设计为何能大大简化用户启用步骤？
 Catalog（目录）提供了关于数据库、表格和访问数据所需的信息的元数据，以及统一的 API 来管理元 ......
DBeaver连接Kyuubi成功，但不能获取catalog
关键信息如下标红， operationHandle字段未设置，这个很容易想到是版本不一致，在DBeaver里修改kyuubi的驱动即可 asdfa 2023-06-12 08:55:29.756 INFO org.apache.kyuubi.server.KyuubiTBinaryFrontendS ......
oracle数据库的catalog和nocatalog
1、 https://blog.csdn.net/weixin_39996496/article/details/116338950?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefa ......
火山引擎DataLeap的Catalog系统搜索实践（三）：Learning to rank与后续工作
Learning to rank Learning to rank主要分为数据收集，离线训练和在线预测三个部分。搜索系统是一个Data-driven system，因此火山引擎DataLeap的Catalog系统设计之初就需要考虑数据收集。收集的数据可以用来评估和提升搜索的效果。数据收集和在线预测前 ......
火山引擎DataLeap的Catalog系统搜索实践 （二）：整体架构
整体架构 火山引擎DataLeap的Catalog搜索系统使用了开源的搜索引擎Elasticsearch进行基础的文档检索（Recall阶段），因此各种资产元数据会被存放到Elasticsearch中。整个系统包括4个主要的数据流程： 实时导入。资产元数据变更时相应的平台发出实时变更消息，Data ......
火山引擎DataLeap的Catalog系统搜索实践（一）：背景与功能需求
火山引擎DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景，其中搜索是Data Catalog的主要功能之一。本文详细介绍了火山引擎DataLeap的Catalog系统搜索实践：功能的设计与实现。 Data Catalo ......
KingbaseES数据库运维案例之---permission denied to create "sys_catalog.xxx"
KingbaseES数据库运维案例之 permission denied to create "sys_catalog.bdsj_bdgl_test" 案例说明： 在KingbaseES数据库kingbase.conf修改了search_path='"$user",sys_catalog'后，在 ......
Flink 1.17 自定义 MySQL Catalog
Catalog 类型 以下内容来自官网： Hive Catalog 支持Flink 元数据的持久化存储，以前一直用 Hive Catalog 存，偶尔需要用的时候把 Hive Catalog 开启（需启动 hive metastore 和 hiveserver2，还要启动 Hadoop），大部分时候 ......
SystemVerilog for Design Edition 2 Catalog
SystemVerilog for Design Edition 2 Catalog Part 10: The 2022 Wilson Research Group Functional Verification Study - Verification Horizons (siemens.com) ......
【论文笔记】A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT 使用ChatGPT增强提示工程的提示模式目录
简介 论文原文 https://arxiv.org/pdf/2302.11382.pdf 参考笔记 https://qiita.com/sonesuke/items/981925cfcc610a602e94 16种prompt模式并附例 prompt patterns是什么 A prompt is ......
详解 Flink Catalog 在 ChunJun 中的实践之路
我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录） 的概念。 本文将为大家带来 Flink Catalog 的介绍以及 Flink Catalog 在 ......
IBM DB2 Catalog & Uncatalog
DB2 Catalog（中文翻译：编目）就是将远程的DB Server的信息“映射”到本地来，方便接下来的DB操作。 DB2 Catalog把远程的数据库信息加载到本地一般分为两步： 第一步， 为远程DB编目一个Node，命令如下： db2 catalog tcpip node db2node re ......
azure databricks中使用Unity Catalog 03--Data Sharing
本文介绍 Azure Databricks 中的 Delta Sharing，这是安全的数据共享平台，可用于与组织外的用户共享 Azure Databricks 中的数据。sharing分两类：开放共享：可与任何用户共享数据（无论他们是否有权访问 Azure Databricks）。Databric ......
azure databricks中使用Unity Catalog 02--功能体验
目录先决条件在Azure Databricks环境中设置Unity Catalog元存储步骤1：为元存储创建blob存储步骤2：创建Azure Databricks访问连接器步骤3：在Azure Databricks帐户控制台中创建元存储步骤4a：创建catalog和托管表步骤4b：创建一个外部表U ......
azure databricks中使用Unity Catalog 01--基础概念
先总结下unity catalog是databricks的数据治理解决方案，他提供了统一的元数据管理、权限访问控制、数据审核、数据质量、数据血缘、数据发现、数据共享等功能。目前unity catalog在azure中国(Mooncake)还不能使用，如果要使用，需要单独联系databricks客户代 ......