身份hive
关于身份认证
CAS和SAML都是用于身份认证的协议，但它们在实现方式和使用场景上存在一些差异。 CAS（Central Authentication Service）是一种基于令牌的身份认证协议，它提供了一种集中的身份验证服务，用于在多个系统之间进行单点登录。当用户在一个系统上登录后，CAS会发放一个令牌，该令 ......
Hive函数入门——内置函数+用户定义函数
1、内置函数 1、字符串、时间类型函数 之前也是在c语言里面学过，包括concat、split等； 时间类型函数： 前不久用到的函数： date_add >当前日期的后的第几天的日期； date_sub >当前日期的前的第几天的日期； 2、数学函数、集合函数 round--取整数值（还能指定保留的精 ......
Hive内置运算符（就当是缓缓脑袋吧~）
1、查看所有运算符 show functions; 2、关系运算符--是二元运算符，执行的是比较运算 每个关系运算符返回的都是boolean类型； 3、算术运算符--操作数必须为数字类型，分为一元运算符和二元运算符 4、逻辑运算符 与之前学过的一样，没难度； ......
使用CSS、HTML、JavaScript实现一个简单的身份验证页
这是我在博客园的第一篇博客，也是我人生中的第一篇博客。希望它能够记录我的成长，帮助更多的人。 最近在写我们社团的社团网站，有一个页面不太希望普通访客能访问到,所以想做一个“统一身份验证验证”，但是又苦于社团网站搭建是纯静态站，没法做数据库，只能妥协，将账号密码字符串组写到JavaScript脚本里， ......
每日随笔——hive数据分析4
在前面的博客中，我们已经完成了数据的导入，清洗以及将hive数据库中的数据导入到windows系统的mysql数据库 到目前为止，我们已将项目完成了大部分，现在就剩下实现可视化界面，完成柱状图了，这个需要eharts 下面是网址：https://echarts.apache.org/zh/index ......
大数据 | Hive使用示例
数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。Hive对数据的访问延迟较高，决定了Hive不适合在线数据查询。 ......
Hive学习之CLIS和Commands客户端命令
1、Batch Mode批处理模式 在bin/hive后面使用-e或者-f时，就会进入到批处理模式，运行完成这一句命令，就会直接退出hive命令行 例如， bin/hive -e 'show databases' 2、Interactive Shell 交互式模式 该模式运行完成后并不退出hive命 ......
Hive学习之DQL
1、update和delete操作 hive表如果不是事务表，就无法进行update操作 stored as orc TBLPROPERTIES('transactional'='true') 将表定义为事务表，之后进行update操作，就不会报错了。 2、select查询数据 就是跟mysql十分 ......
Hive中创建ETL表进行数据清洗
问题描述 今天看到这么一个问题： 看到清洗这两个字，就觉得可高级可高级了！！！ 所以，就把这个问题的解决方法也看了看，学了学； 问题的具体解决方法 看到了对ETL的分析（抽取-->过滤-->加载）： 首先创建一个在原表的结构基础上，新增我们所需数据的字段的表； 然后执行insert+select操作 ......
Hive学习4（ETL）
etl数据清洗：案例一 需求1：对字段为空的不合法数据进行过滤 Where过滤 需求2：通过时间字段构建天和小时字段 Substr函数 需求3：从GPS的经纬度中提取经度和维度 Split函数 需求4：将ETL以后的结果保存到一张新的Hive表中 Create table …… as select ......
Hive数据仓库的学习——DML学习
1、load加载 load语法： 2、Hive3.X新特性 能够使用load将文件数据存储到分区中，将分区默认作为表格数据的最后一列； 3、insert+select向表插入数据 这个语法就是在上次测试的时候遇到过的问题嘞！ insert+values这个语法执行效率就很慢，而换用insert+se ......
Hive数据仓库的学习——DDL之内部表、外部表、分区表、分桶表
1、内部表和外部表 没有指定建表的类型的话，默认为内部表（Internal Table或者是Managed Table） 可以通过这行代码查看表的类型： describe formatted 表名; 内部表和外部表的区别以及适合使用的范围： 2、分区表--避免全表扫描，提高查询效率 需要注意的是，在 ......
合合信息、上海大学、华南理工大学发布业内首个古彝文编码“大字典” ，为古文字打造“身份证”
“乌蒙山连着山外山，月光洒向了响水滩。”近期在各大短视频平台爆火的《奢香夫人》你听过吗？奢香夫人是一位彝族“巾帼英雄”，这首同名歌曲早在2009年便已发布，如今突然“翻红”，不仅体现了大众对于少数民族文化高涨的兴趣，也见证着优秀的传统文化不息的生命力。 文字是文化的重要载体，古彝文承载了深远的彝族历 ......
Hive数据仓库的学习--DDL部分
1、建表语法 2、数据类型转换函数CAST--也就是强制转换 例如， CAST('100' AS INT) 3、有关于SerDe的描述 序列化和反序列化————用于从文件中读取和数据写入文件的操作（通俗来说，就是分辨分隔符，读取有效数据存储到数据库中）； 4、rowformat 指定具体的分隔符是什 ......
.net webapiSwagger启用ApiKey身份验证
直接在SwaggerConfig中设置请求头，这里请求头用的默认值apiKey，也可以自己定义一个 private const string swaggerApikey = "Authorization"; GlobalConfiguration.Configuration .MessageHand ......
hive考试总结
这次测试的流程主要分为五个步骤。 1、数据导入 2、数据清洗 3、数据分析处理 4、Sqoop导入Hive数据到MySQL 5、通过javaweb+echarts进行数据可视化 一、数据导入： 建表： create table sales_sample_20170310 ( `day_id` str ......
hive string, map, struct类型的建表和导入数据语句
本文转载于 https://blog.51cto.com/u_14405/6419362，https://blog.csdn.net/tototuzuoquan/article/details/115493697 和 https://blog.csdn.net/weixin_43597208/art ......
hive数据分析
HIVE数据分析实验报告 信2105-3 20213728杨申龙 数据导入 将csv文件导入到虚拟机的hive数据库中，并通过datagrip软件实现对数据库的可视化操作 数据清洗 在datagrip中进行如下操作，将数值清洗为真实日期 insert overwrite table test2 se ......
hive
hive测试步骤 1.在hive中建表，一个表存放原始数据，一个表存放清洗后的数据 create table sales_initial ( day_id varchar(30), sale_nbr varchar(30), buy_nbr varchar(30), cnt varchar(30), ......
软件工程测试--hive数据分析，步骤
  as age ,student_temp.name ,coalesce(student_temp.dt,student.dt) as dt FROM student_temp ......
Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)
今天发现连接beeline是时候连接不上，不应该啊昨晚还可以的qaq 破案了，我启动了metastore之后忘记去启动hiveserver2 hiveserver2都没启动能连上就怪了 一定一定要记得启动顺序！！！ hadoop+metastore+hiveserver2+beeline ......
使用sqoop export命令将hive数据导入mysql
描述一下 因为我前两天的测试里面，用的是另外一种方法，所以今天想要尝试一下sqoop export的方法，这个方法我之前也试过，但是一直报错，但是！我又来啦！！！ 相关步骤 自己设置一个数量不多的csv文件： 然后按照之前的步骤：上传，导入数据库： 然后在mysql里面同时创建一个与hive数据库中 ......
hive的一些操作（防忘）
create database test_1; 创建数据库 drop database test_1; 删除数据库 show databases; 查看数据库 ......