身份hive
自己的身份，不仅是老师，也是同学们的学(长)姐
自己的身份，不仅是老师，也是同学们的学(长)姐 wangchuang2017 于 2023-05-31 02:12:13 发布 17 收藏公开文章标签： 其他编辑 版权获奖班主任代表李渊老师、获奖任课教师代表闫睿老师、优秀级部主任代表刘崇欣老师分别发言，或分享学习经验，或抒发获奖感受，或给予学法指导 ......
hive处理字符串化数组
大数据在进行ETL过程中，为了避免因为源、目标表字段因为数据类型不一致造成抽数失败，所以在目标表一般都会将字段设置成string类型，后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例： 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE ......
hive 的order by ,sort by，distribute by，cluster by
order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r ......
大数据-hive 添加分区
1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置 ......
身份与消费：自我的探索与现代社会的交织
## 引言 在这个快速变化的时代，"做自己"似乎已成为一种时尚的口号。然而，在消费文化的影响下，这个概念变得模糊不清。通过深入探讨心理学和社会学视角，我将分享我的一些见解和思考。 ## 第一部分：自我与环境的交织 ### 1. 自我与环境的互动 自我是一个复杂的概念，是在与外界交互的过程中生成的（" ......
nacos的 Spring Security 身份认证绕过漏洞
检测出了这个漏洞，但是nacos官方还没有升级文档，所以只能自行下载源码对 Spring-security -config的版本进行调整 如图，对原先的需要进行排除然后在引入漏洞以外的版本，因为是自己修改的，不确定升级版本是否会有未知的隐患，所以对版本是进行了降级的操作，需要修改的POM文件有两处， ......
Hive之分区表
在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易了 同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易得多了。 如图，一个典型的按月份分 ......
右键打开命令行（cmd）以及以管理员身份打开命令窗口
win键+r ，输入regedit ，打开注册表编辑器，进入目录：计算机\HKEY_CLASSES_ROOT\Directory\Background\shell shell右键新建项openCmd(名字随意)，默认数据改为打开命令行（右键时展示的名称）；新建字符串Icon，数据改为cmd.exe（ ......
linux 用户身份验证和密码管理
用户身份验证方法： 密码身份验证：用户通过输入用户名和密码来登录系统。这是最常见的身份验证方法。 公钥/私钥身份验证：用户使用公钥/私钥对进行身份验证。用户将公钥添加到服务器上，服务器通过匹配私钥进行验证。 双因素身份验证：用户需要提供两种不同类型的验证因素，如密码和手机生成的验证码，以增加安全性。 ......
【Windows】Windows10系统下Hadoop和Hive环境搭建
环境准备 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop 3.3.1 - Apache Hive 3.1.2 - Apache Hive src ......
hive之内部表与外部表
hive之内部表与外部表 内部表&外部表定义：未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.war ......
数仓 Hive HA 介绍与实战操作
[TOC] ## 一、概述 在数据仓库中，`Hive HA（High Availability）` 是指为 `Apache Hive` 这个数据仓库查询和分析工具提供高可用性的架构和解决方案。Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hi ......
Hive Merge详解
说明Hive在2.2版本之后开始支持Merge操作，并且Merge只能在支持ACID的表上执行 语法MERGE INTO <target table> AS T USING <source expression/table> AS SON <boolean expression1>WHEN MATC ......
Hive执行过程中出现 ArrayIndexOutOfBoundsException: -128
记一次Hive的运行过程中的错误 `Error: java.lang.RuntimeException: Hive Runtime Error while closing operators at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.close( ......
C# 实现身份验证之WebApi篇
【转】https://www.cnblogs.com/zhaoshujie/p/9761005.html 今天再来总结关于如何实现WebApi的身份验证，以完成该系列所有文章，WebApi常见的实现方式有：FORM身份验证、集成WINDOWS验证、Basic基础认证、Digest摘要认证 第一种：F ......
hive建表以\t分割,直接put文件到表目录下进行查询
建表语句 ``` CREATE external TABLE `login_number`( serial_number string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEP ......
hive同时使用where,group by,having,order by的执行顺序
###hive中分组排序过滤使用顺序。 ``` where,group by,having,order by同时使用，执行顺序为 （1）where过滤数据 （2）对筛选结果集group by分组 （3）对每个分组进行select查询，提取对应的列，有几组就执行几次 （4）再进行having筛选每组数 ......
RDBMS与Hbase对比 HDFS与HBase对比 Hive与HBase对比
RDBMS: HBASE： HDFS与HBase对比： Hive与HBase对比： Hive与HBase总结 ......
java日志脱敏（密码/身份证/其他自定义等）logback
java日志脱敏（密码/身份证/其他自定义等） logback 原文链接：https://blog.csdn.net/weixin_39286166/article/details/126889660 一.脱敏规则类 import ch.qos.logback.classic.pattern.Mes ......
Hive 内置函数
Hive 常用的内置函数 --查看内置函数 show functions; --查看函数的用法 describe function extended count; String Functions 字符串函数 select length("itcast");--长度 select reverse(" ......
Hive select查询语句
创建表 CREATE TABLE t_usa_covid19( count_date string, county string, state string, fips int, cases int, deaths int) row format delimited fields terminate ......
24-Hive优化(下)
# 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 ......
23-Hive优化(上)
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 ......