databend hive
Rusty Tuesday ：Rust 基金会一行来访 Databend Labs，共话技术创新！
在当今快速发展的技术浪潮中，Rust 作为一种新兴的编程语言，凭借其卓越的内存安全特性和高效的性能，吸引了全球开发者的广泛关注。2023 年 12 月 05 日，由 Databend Labs 主办的首届 Rusty Tuesday 活动正式在北京揭开序幕。 在本次活动中，我们非常荣幸地邀请到了多位 ......
Hive与MySQL的版本关系
Hive支持的MySQL版本 Hive的元数据存储在MySQL数据库中，因此必须要安装和配置MySQL，以便与Hive配合使用。但是，Hive不支持所有MySQL版本，以下是Hive所支持的MySQL版本： MySQL 5.5.x (推荐) MySQL 5.6.x MySQL 5.7.x MySQL ......
KubeSphere Marketpalce 上新！Databend Playground 助力快速启动数据分析环境
12 月 5 日，Databend Labs 旗下 Databend Playground（社区尝鲜版）成功上架青云科技旗下 KubeSphere Marketplace 云原生应用扩展市场，为用户提供一个快速学习和验证 Databend 解决方案的实验环境。 关于 Databend Playgro ......
hive身份验证
Hive 通过HiveServer2对外提供服务,HiveServer2 是一种能使客户端执行 Hive 查询的服务。 HiveServer2 实现了一个新的基于 Thrift 的 RPC 接口，该接口可以处理客户端并发请求。当前版本支持 Kerberos，LDAP 以及自定义可插拔身份验证。新的 ......
EMR-hive集成openldap
LDAP认证：https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/use-ldap-authentication?spm=a2c4g.11186623.0.i4 OpenLDAP试用说明参考：https://help.aliyun.com/zh/ ......
Databend 如何利用 GPT-4 进行质量保证
背景 在数据库行业，质量是核心要素。 Databend 的应用场景广泛，特别是在金融相关领域，其查询结果的准确性对用户至关重要。因此，在快速迭代的过程中，如何确保产品质量，成为我们面临的重大挑战。 随着 Databend 开源社区的快速发展，新功能的持续增加和现有功能的优化提出了新的测试挑战。我们致 ......
实验6熟悉的hive的基本操作
今天完成了大数据实验六的hive的基本操作 参照实验6 熟悉Hive的基本操作_hive环境搭建实验报告-CSDN博客、 这位博主的代码，但是前期的启动hive并没有按照博主的来，启动hive大家参照我之前的一篇博客来就行 我是从黑马教程跟着下载的hive ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
DBeaver连接hive
配置maven仓库：窗口，首选项，连接，驱动，Maven，添加 https://repo.huaweicloud.com/repository/maven/ ......
datax采集txt文件数据到hive
1、提前创建hive表结构 DROP TABLE IF EXISTS ods.ods_log_1diu; CREATE TABLE IF NOT EXISTS ods.ods_log_1diu ( SI_NO STRING, --varchar(10) not null,主键 SEND_TABLE ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
hive向表中导入数据出现FAILED: SemanticException
完整错误信息 FAILED: SemanticException Line 1:23 Invalid path ''~/Downloads/stocks.csv'': No files matching path file:/home/lcz/~/Downloads/stocks.csv 路径错误， ......
hive启动出现Cannot create directory /tmp/hive. Name node is in safe mode.
原因：进入了安全模式，hdfs在启动开始时会进入安全模式，这时文件系统中的内容不允许修改也不允许删除，直到安全模式结束。 执行命令： hadoop dfsadmin -safemode leave 退出安全模式即可 出现 Safe mode is OFF 表示成功退出 ......
hive启动时有一堆WARN信息
hive启动时有一堆WARN信息 比如： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.17.1 ......
Hive的安装与配置
第1关：Hive的安装与配置 在修改 conf 下面的hive-site.xml文件这里，题目给的信息是错误的，正确的内容如下： <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xs ......
hive启动出现Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables"
hive启动出现： Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either ......
hive升级元数据报错The reference to entity "useSSL" must end with the ';' delimiter.
使用Hive自带的schematool工具升级元数据，也就是把最新的元数据重新写入MySQL数据库中。 执行以下命令 cd /usr/local/hive ./bin/schematool -initSchema -dbType mysql 出现The reference to entity "us ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
java使用hive-jdbc查询超时：java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out at org.apache.hive.jdbc.HiveSt ......
spark离线分析--本地Spark1.6版本读写hive表
1. 搭建好hive环境，并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav ......
hive+mysql的伪分布式数据仓库搭建
1.前言 1.1所使用的配置 VMware 16pro #虚拟机 unbuntu22.04 #操作系统 jdk-8u202 hadoop-3.3.6 hive-3.1.1 mysql-8.054 mysql-connect-j-8.1.0 2.mysql和navicat的安装和使用 2.1mysql ......
Databend 开源周报第 121 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 支持追加流 ......
开源之夏 2023 | Databend 社区项目总结与分享
开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。 官方网站 https://summer-ospp.ac.cn/ 在开源之夏 2023 ......
Databend 开源周报第 120 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 使用自定义 ......
Databend 源码阅读： Storage 概况和 Read Partitions
作者：张祖前 Databend Labs 成员，数据库研发工程师 https://github.com/zhyass ❤️ 友情提示：代码演进较快，请注意文档的时效性哦！ 引言 Databend 将存储引擎抽象成一个名为 Table 的接口，源码位于 query/catalog/src/table. ......
crontab任务以user用户执行hive -f命令不生效解决记录
现象：创建了一个shell脚本任务，使用crontab进行任务调度，其中hive执行为： hive -f /opt/test.sql > /opt/test.log 2>&1 任务调度起来后一直报错提示： /usr/bin/hive:行3: /parcels/sbin/configure.sh: 没 ......
Hive_解析 get_json_object
get_json_object ( string json_string, string path ) 说明： 第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组。 如果输入的json字符串无效，那么返回NULL。 每次只能返回一个数据项。 举 ......
Databend 与海外某电信签约：共创海外电信数据仓库新纪元
海外某电信，是某国的主要国有电信服务供应商，不仅致力于为民众和企业提供全面的电信服务，还肩负着推动国家通信基础设施和信息技术进步的重任。在数字化转型的关键时期，海外某电信选择与 Databend 携手合作，开启了数据驱动业务决策的新篇章。 为什么选择 Databend 海外某电信面临的主要挑战是随着 ......
Databend 开源周报第 119 期
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。 用户案例：D ......
datax抽取mysql数据到hive报错：javax.net.ssl.SSLException: Connection reset
datax抽取mysql数据报错： [INFO] 2023-11-09 12:35:14.090 +0000 - -> 2023-11-09 20:35:13.492 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Excepti ......