身份hive
22-Hive函数应用
# 1. 多字节分隔符 ## 1.1 问题与需求 【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row ......
21-Hive运算符&函数
# 1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： ......
身份、权限、用户
iidentity 身份 claim 身份信息 claimPrincipal 有多个身份，但有一个主身份 claims 所有身份，表示用户。。一个用户有多个身份，每个身份里面有多个信息 采用基于票据的认证！ AuthenticationTicket 票据,对claimPrincipal的封装。包括c ......
20-Hive-DML&DQL
# 1. Load DATA 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产 ......
19-Hive-DDL
数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 ......
18-Hive入门&安装
# 1. Hive 概述 ## 1.1 什么是 Hive？ Apache Hive 是一款**建立在 Hadoop 之上的开源数据仓库工具**，可以将存储在 Hadoop 文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似 SQL 的查询模型，称为 Hive 查询语言（HQL） ......
xshell连接liunx服务器身份验证不能选择password
ssh用户身份验证不能选择password 只能用public key的解决办法 问题现象 使用密码通过Workbench或SSH方式（例如PuTTY、Xshell、SecureCRT等）远程登录ECS实例时，遇到服务器禁用了密码登录方式错误. 可能原因 该问题是由于SSH服务对应配置文件/etc/ ......
Asp.Net Core 集成JWT采用Rsa非对称密钥并实现自定义身份验证
授权和鉴权分为了两个项目。 首先是授权： 建立Asp.net core 项目，并在Nuget包安装 System.IdentityModel.Tokens.Jwt 新建一个Web Api 用于登录，这里使用账户密码方便调试。另外BaseResult是我封装的一个统一返回数据类型。需要注意的是 aud ......
Hive查看所有表/分区更新时间
业务需求: 开始环境可能不太稳定, 需要每天手动检查 Hive 里面的数据是否同步 ```shell ## 步骤 1. 查看分区 show partitions table_name; 2.查看分区更新时间 - 获取hdfs路径 desc formatted table_name; 3. 通过dfs ......
Hive SQL之表与建表
数据类型： 建表 create database itheima; --1.创建一张表 -- 表名 --字段 名称 类型 顺序 --字段之间的分隔符 create table itheima.t_archer( id int, name string , hp_max int, mp_max int ......
数据仓库——Hive
数据仓库：是一个用于储存，分析，报告的数据系统 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持 数仓专注分析 数据仓库仓库为何而来，解决什么问题的？ 为了分析数据而来，分析结果给企业决策提供支撑。 ......
hadoop hive hbase
公司报表是基于数仓开发的，分层是ods>dwd>dwm>dm，sqoop再同步到传统数据库，帆软展示，或tableau展示，这块涉及的是离线计算。 记录下大数据开发设计的概念： 1、hadoop：分布式计算（MapReduce）+分布式文件系统（HDFS），后者可以独立运行，前者可以选择性使用，也可 ......
HIVE中对于时间变换的处理
### 一、获取月份第一天/最后一天 ``` --需求一：获取月份第一天/最后一天 --方式一：last_day --获取当月第一天 select date_add(last_day(add_months('2020-06-14',-1)),1); --获取当月最后一天 select last_da ......
Smartbi 身份认证绕过漏洞
因为自己搭建的环境存在一些问题，可能是版本过高的原因，(奇奇怪怪的问题，用户没有权限)，所以目前仅仅做概念性验证，对漏洞的原理进行分析。 ......
基于SVD奇异值分解算法的人脸身份识别matlab仿真
1.算法理论概述 人脸身份识别是计算机视觉领域中的一个重要研究方向，它可以对人脸图像进行识别和验证。人脸身份识别在人脸识别门禁系统、安全监控等领域有着广泛的应用。将介绍一种基于SVD奇异值分解算法的人脸身份识别方法，该方法使用SVD分解将人脸图像表示为低维特征向量，然后使用最近邻分类器将待分类的人脸 ......
Hive安装与启动
## 一、mysql安装 在配置Hive之前一般都需要安装和配置MySQL，因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。 为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存储到mysql ......
史上最全Hive面试题，高薪必备，架构必备
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
sql 练习（hive，spqrk）
# 数据准备 ## 表1 课程表（course） | ***\*字段名\**** | ***\*数据类型\**** | | | | | 课程编号（CNO） | string | | 课程名称（CNAME） | string | | 教室编号（TNO） | string | ## 表2 成绩表（sco ......
Sqoop 数据导入hive size大小如何控制？
描述：sqoop 从 hana 导入数据到 hive，数据量1300万，当 设置参数 -m 7 时，产生7个文件，但只有 3 个有数据，且大小不一，600多m，300dm，40m，修改参数为 -m 5，文件变成了5个，但是有数据的还是那三个，奇怪 该如何控制文件大小接近块大小。 修改 -m 1时，倒 ......
Cisco Identity Services Engine (ISE) 3.3 - 思科身份服务引擎
Cisco Identity Services Engine (ISE) 3.3 - 思科身份服务引擎 请访问原文链接：，查看最新版。原创作品，转载请保留出处。 作者主页：[sysin.org](https://sysin.org) Cisco 现已发布 ISE 3.3。 分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力 分区的目的是提升查询效率,将原来的文件进行多层次的管理 分区有三种,静态分区,动态分区,混合分区 关键字:**partitioned by(字段) ......
【计算机网络】身份认证Oauth2
# 身份认证Oauth2 ## 授权码模式  读取二代身份证uid
背景 笔者住的地方大门是智能门禁锁，需要刷身份证或指纹进出，但指纹识别不灵敏经常验证失败，使用身份证可以打开，但是身份证携带不便，更糟糕的是丢失了比较麻烦，笔者通过互联网检索资料了解到二代证是一种ic卡，是遵循ISO14443 Type B协议的卡片，这种ic卡与手机nfc的频率相同，都是13.56 ......
成员、身份运算符、流程控制、分支结构、if嵌套、循环结构.....
### 成员运算符 ```python 1. 什么是成员运算符 # 就是查看某个个体是不是在某个群体内 关键字：in(在) not in(不在) names_list = ['kevin', 'jack', 'tank', 'tony'] print('kevin' in names_list) # ......
Hive列值转换为列名处理方案
1.背景 最近有个朋友问了一个问题，如何把列值转换为列名进行展示，比如一个表有销售名称，销售日期，销售金额，他想统计这个销售每个月的销售额，然后每个月作为列字段。 2.实施 方法1使用case when: select t1.sale_name ,sum(case when t1.month_id= ......