databend cdh
spark-cdh学习
Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......
Databend 开源社区上榜 2023 年度 OSCHINA 优秀开源技术团队
2023 年 12 月 8 日，OSCHINA 对其平台上众多认证的官方技术团队和开源社区进行了全面评估，并颁发了“ 2023 年度优秀开源技术团队”奖项，以表彰各团队在推动中国开源生态系统发展方面所展现的创新能力和显著贡献。 在这一评选中，Databend 开源社区有幸获得了 2023 年度优秀开 ......
Databend 源码阅读： Meta-service 数据结构
作者：张炎泼（XP） Databend Labs 成员，Databend 分布式研发负责人 https://github.com/drmingdrmer 引言 Databend 是一款开源的云原生数据库，采用 Rust 语言开发，专为云原生数据仓库的需求而设计。 面向云架构：Databend 是完全 ......
Databend 开源周报第 124 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 新增对 De ......
kylin&CDH理论基础
Kylin&CDH理论基础 一、维度与度量 维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。 度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube ......
【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍
2023 年 12 月 7 日，作为 KubeSphere 的合作伙伴，Databend 荣幸地受邀参与了 KubeSphere 社区主办的云原生技术直播活动。本次活动的核心议题为「Databend 云数仓与 Databend Playground 扩展组件介绍」，此次分享由 Databend La ......
Databend 开源周报第 123 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 支持统计和显 ......
Rusty Tuesday ：Rust 基金会一行来访 Databend Labs，共话技术创新！
在当今快速发展的技术浪潮中，Rust 作为一种新兴的编程语言，凭借其卓越的内存安全特性和高效的性能，吸引了全球开发者的广泛关注。2023 年 12 月 05 日，由 Databend Labs 主办的首届 Rusty Tuesday 活动正式在北京揭开序幕。 在本次活动中，我们非常荣幸地邀请到了多位 ......
Ranger2.1集成CDH 6.3.2
Ranger介绍 针对Ranger与CDH平台的集成，需要通过编译ranger的源码，解决兼容性问题。当然，网上也有提供好的tar包，但是这种方式比较适合社区版本。对应的下载地址为: https://mirrors.tuna.tsinghua.edu.cn/apache/ranger/2.4.0/a ......
KubeSphere Marketpalce 上新！Databend Playground 助力快速启动数据分析环境
12 月 5 日，Databend Labs 旗下 Databend Playground（社区尝鲜版）成功上架青云科技旗下 KubeSphere Marketplace 云原生应用扩展市场，为用户提供一个快速学习和验证 Databend 解决方案的实验环境。 关于 Databend Playgro ......
Databend 如何利用 GPT-4 进行质量保证
背景 在数据库行业，质量是核心要素。 Databend 的应用场景广泛，特别是在金融相关领域，其查询结果的准确性对用户至关重要。因此，在快速迭代的过程中，如何确保产品质量，成为我们面临的重大挑战。 随着 Databend 开源社区的快速发展，新功能的持续增加和现有功能的优化提出了新的测试挑战。我们致 ......
Databend 开源周报第 121 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 支持追加流 ......
开源之夏 2023 | Databend 社区项目总结与分享
开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。 官方网站 https://summer-ospp.ac.cn/ 在开源之夏 2023 ......
Databend 开源周报第 120 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 使用自定义 ......
Databend 源码阅读： Storage 概况和 Read Partitions
作者：张祖前 Databend Labs 成员，数据库研发工程师 https://github.com/zhyass ❤️ 友情提示：代码演进较快，请注意文档的时效性哦！ 引言 Databend 将存储引擎抽象成一个名为 Table 的接口，源码位于 query/catalog/src/table. ......
Hibench对大数据平台CDH/HDP基准性能测试
一、部署方式 1.1、源码/包:https://github.com/Intel-bigdata/HiBench 部署方法： https://github.com/Intel-bigdata/HiBench/blob/master/docs/build-hibench.md 注意：hibench执行 ......
Databend 与海外某电信签约：共创海外电信数据仓库新纪元
海外某电信，是某国的主要国有电信服务供应商，不仅致力于为民众和企业提供全面的电信服务，还肩负着推动国家通信基础设施和信息技术进步的重任。在数字化转型的关键时期，海外某电信选择与 Databend 携手合作，开启了数据驱动业务决策的新篇章。 为什么选择 Databend 海外某电信面临的主要挑战是随着 ......
Databend 开源周报第 119 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 用户案例：D ......
Databend Cloud 如何助力 AIGC 初创公司成本下降百倍
某主营虚拟社交的 AIGC 领域海外初创公司，致力于将虚拟世界与现实世界联系起来。旗下平台基于开源的 Stable Diffusion 生态，专注于动漫角色制作，提供集 AI 绘图、图片搜索与社交分享于一体的一站式服务。 Databend Cloud 提供了易用、高效率和经济高效的大数据处理方案。通 ......
Databend 开源周报第 118 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 MERGE ......
Databend + lakeFS：将数据版本控制嵌入你的分析工作流
作者：尚卓燃（PsiACE） 澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committerhttps://github.com/PsiACE 云计算为以数据为中心的应用提供了廉价、弹性、共享的存储服务，这为现代数据处理工作流提供了 ......
Databend 开源周报第 117 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 特性预览：只 ......
SQLSmith: Databend 如何利用随机化测试检测 Bug
作者：白 珅 Databend 研发工程师 https://github.com/b41sh 为什么需要 SQLSmith？ 在数据库系统的开发和维护过程中，测试扮演着至关重要的角色。它不仅可以验证功能的正确性，还可以发现潜在的问题，确保数据库在每个变更和迭代后保持性能和稳定性。Databend 的 ......
利用 Databend + COS助力 CDH 分析 | 某医药集团
作者： 黄志武 某医药集团信息中心数据库组组长，13 年数据库行业从业经历，Oracle OCM，关注 Oracle、MySQL、Redis、MongoDB、Oceanbase、Tidb、Polardb-X、TDSQL、CDH、Clickhouse、Doris、Databend 等多方面的关键领域技 ......
Databend 开源周报第 116 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 特性预览：使 ......
CDH集群日志清理
CDH集群日志清理 一、查看磁盘占用情况 df -h 二、查看日志占用情况 cdh的各种组件日志一般在 /var/log 目录下，因此需要关注“/”根目录， 查看 /var/log 下使用空间较大的文件夹，并又大到小排列 cd /var/log/ du -s ./* |sort -nr 还有一个是 ......
使用 LF Edge eKuiper 将物联网流处理数据写入 Databend
作者：韩山杰 Databend Cloud 研发工程师 https://github.com/hantmac LF Edge eKuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件，可以运行在各类资源受限的边缘设备上。eKuiper 的主要目标是在边缘端提供一个流媒体软件框架 ......
Databend hash join spill 设计与实现 | Data Infra 第 16 期
本周六，我们将迎来最新一期的 Data Infra 直播活动，本次活动我们邀请到了 Databend 研发工程师-王旭东，与大家分享主题为《 Databend hash join spill 设计与实现 》的相关知识。 通过本次分享，我们能更加了解 Databend 的 hash join spil ......
Databend 开源周报第 115 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 聚合索引 D ......