事务hive
Atlas集成Hive
修改atlas-application.properties 添加atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries=3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=pri ......
分布式事务管理
南航航班号sno，日期sdate，国航航班号zno，日期zdate，姓名uname，身份证号uid，用户账号uno，电商账号bno 根代理ROOT begin transcation; input(sno, sdate, zno, zdate, uname, uid, uno, bno)； EXEC ......
Hive之set参数大全-1
A 控制是否允许在需要时按需加载用户定义函数（UDF） hive.allow.udf.load.on.demand 是 Apache Hive 中的一个配置属性，用于控制是否允许在需要时按需加载用户定义函数（UDF）。 在 Hive 中，UDFs是用户编写的自定义函数，可以在 Hive SQL 查询 ......
Hive之set参数大全-2
C 指定是否启用表达式缓存的评估 hive.cache.expr.evaluation 是 Hive 中的一个配置属性，用于指定是否启用表达式缓存的评估。表达式缓存是一项优化技术，它可以在执行查询时缓存表达式的评估结果，以减少计算开销。 在 Hive 配置中，可以使用以下方式设置 hive.cach ......
Hive之set参数大全-3
D 是否启用本地任务调试模式 hive.debug.localtask 是 Apache Hive 中的一个配置参数，用于控制是否启用本地任务调试模式。在调试模式下，Hive 将尝试在本地模式下运行一些任务，以便更容易调试和分析问题。 具体来说，当 hive.debug.localtask 被设置为 ......
Hive之set参数大全-4
F 指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器 hive.fetch.output.serde 是 Hive 的一个配置参数，用于指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器。 以下是一个示例： -- 设置 hive.fetch.output.serde 为 o ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
SpringBoot的多数据源以及事务解决方案(下)
SpringBoot的多数据源以及事务解决方案(下) 下面1-3实现方法来之看过的文章SpringBoot 多数据源及事务解决方案，4后为自己项目中用到的方法 多数据源事务处理 1.1 关于事务的理解 首先我们先理解下事务的本质 提到Spring事务，就离不开事务的四大特性和隔离级别、七大传播特性。 ......
hive小记
Hive介绍 1、Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能 3、Hive处理的数据存储在HDFS，底层实现是MapReduce，执行 ......
7、SpringBoot2之整合事务及AOP
本文在SpringBoot2之整合Mybatis的基础上进行 7.1、整合事务 7.1.1、mapper接口 int deleteEmployeeById(int id); 7.1.2、mapper映射文件 <delete id="deleteEmployeeById" parameterType= ......
XA事务模式支持
运行机制 执行阶段（借助于数据库的XA协议，执行阶段通过预执行将数据持久化，但分支事务没做提交）： 可回滚：业务 SQL 操作放在 XA 分支中进行，由资源对 XA 协议的支持来保证 可回滚 持久化：XA 分支完成后，执行 XA prepare，同样，由资源对 XA 协议的支持来保证 持久化（即，之 ......
Mysql 事务隔离级别
Mysql 事务隔离级别 隔离级别 脏读 不可重复读 幻读 READ-UNCOMMITTED √ √ √ READ-COMMITTED × √ √ REPEATABLE-READ × × √ SERIALIZABLE × × × MySQL InnoDB 存储引擎的默认支持的隔离级别是 REPEAT ......
SpringBoot的多数据源以及事务解决方案(上篇)
SpringBoot的多数据源以及事务解决方案 背景 一个主库和N个应用库的数据源，并且会同时操作主库和应用库的数据，需要解决以下两个问题： 如何动态管理多个数据源以及切换？ 如何保证多数据源场景下的数据一致性（事务）？ 数据切换原理 通过扩展Spring提供的抽象类AbstractRoutingD ......
hive小记
Hive介绍 1、Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能 3、Hive处理的数据存储在HDFS，底层实现是MapReduce，执行 ......
AT事务模型使用
机制 两阶段提交协议的演变： 一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。 二阶段： 提交异步化，非常快速地完成。 回滚通过一阶段的回滚日志进行反向补偿。 集成过程 参考Seata客户端集成 工作机制 一阶段 根据update语句的条件组成select脚本，查询得到更 ......
Spring 七种事务传播性介绍
本文主要介绍了Spring事务传播性的相关知识。在Spring环境中，含有事务的方法嵌套调用，事务是如何传递的规则，以及每种规则是如何开展工作的。文章还提到每种事务传播性是如何使用的，方便读者依据实际的场景，使用不同的事务规则。 ......
Hive理论知识
1、什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。 2、数据模型有哪些？ 星形模式(Star Schema)：星 ......
Docker+SEATA+Nacos+SpringBoot实现分布式事务
Docker+SEATA+Nacos+SpringBoot实现分布式事务 1. 服务端 示例SEATA版本：1.6.1 1.1. 配置的创建 docker pull seataio/seata-server:1.6.1 # 这里的运行只是为了获取里面的配置，将配置拿出来到宿主机后进行配置再删除容器再 ......
【2023-12-28】家庭事务
20:00 积极勇敢地面对现实，我们还应团结起来，面对困难、渡过难关。困难是存在的，留得青山在不怕没柴烧。记住中国是中国人的中国，解决问题只能靠自己。 ——曹德旺 如上用所预测，奶奶今天就要老家，开始帮堂哥进行婚事打理。昨晚回到家后，奶奶便跟我商量要买今天几点的车票回去。近期我确实忙，希望她能傍晚再 ......
Hive事务表转换为非事务表
环境：hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
Hive的存储格式
一、简介 1、hive建表时存储格式 一般情况下hive在创建表时默认的存储格式是textfile，hive常用的存储格式有五种，textfile、sequencefile、rcfile、orc、parquet。 2、五种存储格式的区别 hive五种存储格式的区别 存储格式文件存储编码格式建表指定 ......
本地事件总线和事务
本地事件总线和事务 通过重写Ef Core的SaveChanges/SaveChangesAsync来实现事务。当然，如果您愿意实现仓储层，可以在仓储层实现展开对应实体包含的事件，并且调整事件的处理顺序。 Github仓库地址：soda-event-bus 实现AggregateRoot类 Aggr ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
Hive基本操作
Hive的基本操作很简单，与SQL的写法很类似，总结如下： 进入Hive环境 $HIVE_HOME/bin/hive 数据库操作 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LO ......
Spring 事务快速上手
Spring事务与数据库事务关系 spring事务本质上使用数据库事务，而数据库事务本质上使用数据库锁，所以spring事务本质上使用数据库锁，开启spring事务意味着使用数据库锁。 spring事务是对数据库事务的封装，最后本质的实现还是在数据库，如果数据库不支持事务，spring的事务是不起作 ......
华为云耀云服务器L实例--Hive的部署
华为云耀云服务器L实例--Hive的部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，继续Hive的部署 Hive 是建立在 Ha ......
华为云耀云服务器L实例-大数据学习-Hive的部署-1
华为云耀云服务器L实例-大数据学习-Hive的部署-1 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍Hive的部署 Hive ......