身份hive
HBase-通过外部表将Hive数据写入到HBase
a) 准备测试数据 这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 ......
关于Hive的常用HiveQL操作
创建hive数据仓库： create table docs(line string); 从hdfs上传文件到数据库： load data inpath 'file:///usr/local/hadoop/input' overwrite into table docs; 根据词汇查询词汇数量： cr ......
使用go语言开发hive导出工具
前言 新版 hive 提供了 beeline 工具，可以执行SQL并导出数据，不过操作还是有点复杂的，团队里有些同学不会Linux的基本操作，所以我花了亿点点时间写了个交互式的命令行工具方便使用。 效果 命令行工具，就是这么朴实无华。 探索过程 一开始是打算用 bash 脚本，结果发现根本不会写，b ......
hive词频统计
1.首先在hadoop目录下创建一个input文件夹,并在文件夹里建立两个txt文件并写入信息 第三行的echo命令会讲引号里的内容写入后边的文件,文件不存在的话会自动创建一个. 2.启动hive,创建一个名为docs的表,只含一列,列名为line,类型为string 3.将第一步input文件夹中 ......
2FA(双因素身份验证)之手机令牌(TOTP)逻辑
2FA(双因素身份验证)之手机令牌(TOTP)逻辑 纯猜测，没试过，有空试 分为移动端、客户端以及网页端 Steam那种属于APP是网页，客户端是网页，网页端也是网页，挺抽象的 关键点： 时间一致(时钟同步)：移动端、客户端与网页端的服务器时间要保持一致(应用部署在同一台服务器或者NTP服务进行时间 ......
终于知道如何利用hive的日期转换函数进行日期格式的清洗啦~（之前用的外部数据清洗）
1、创建合适格式的表result10 create table result10( ip String, time1 String, day String, traffic String, type String, id String) row format delimited fields ter ......
基于Docker搭建Hadoop+Hive
基于Docker搭建Hadoop+Hive 本文主要是照搬这篇文章的https://zhuanlan.zhihu.com/p/242658224，但是这篇文章有一些细节配置没有讲清楚，这里对其进行完善 零、环境信息 电脑配置 Ubuntu 20.04.6 LTS (Focal Fossa) 5.15 ......
hive清洗数据sql语句报错
在本次的测试中sql语句清洗数据时下面,同时观察第一个语句中Date为啥要加这个单引号，原因是Date是sql语句里的可以说是一个关键字的存在，所以必须要单独引用起来以示区别 insert overwrite table article select ip as ip ,`Date` as `Dat ......
hive大数据测试（时间数据清洗UDF打包到hive中调用自定义函数，hive表数据导出到本机）
1.数据清洗 pom依赖： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEnco ......
《Hive性能优化实战》读书笔记
写在前面 《Hive性能优化实战》是比较不错的一本hive技术书籍，介绍了hive相关的一些技术，一些基本的理论，看完能对hive优化方面略有了解； 但有俩地方每种不足，一是没有那么多的实际的综合情况分析优化案例，这个有点可惜，要是多几个案例就很不错了；而是执行计划部分大多数 整本书最吸引人的地方在 ......
Loadrunner12.5-录制http://www.gw.com.cn/网页时提示“SSL身份验证失败”错误
问题：LR产品，录制http://www.gw.com.cn/ 网页时提示下图错误，这是为什么呢？ 请在如下recording options中选择正确的SSL版本，再进行录制。 注：如何确定那个SSL版本是正确的呢？ 答：需要与网站这边进行确认， 问他们网站使用的SSL版本是多少？ ......
Hive-服务启动和停止命令
1、启动命令 #！/bin/bash nohup hive --service metastore >> $HIVE_HOME/logs/metasotre.log 2>&1 & nohup hive --service hiveserver2 >> $HIVE_HOME/logs/hiveserv ......
虚拟机如何打开hive数据库
1、启动hodoop 2.、启动 hive的服务: metastore cd /export/server/apache-hive-3.1.2-bin/bin ./hive --service metastore 后台启动 nohup ./hive --service metastore & 3、 ......
hive数据清洗,导入mysql
-- 用于清洗的表create table data1( `ip` string comment '城市', `date1` string comment '日期', `day` string comment '天数', `traffic` double comment '流量', `type` s ......
转换日期数据的格式函数（hive）
1、转换成标准格式--from_unixtime和unix_timestamp--默认情况下转成yyyy-MM-dd:HH:mm:ss select from_unixtime(unix_timestamp('16/08/2018','dd/MM/yyyy')); 2、原文件字段含有英文--月份英文 ......
hive数据库指定删除首行数据
在我们将csv文件或者txt文件导入到虚拟机本地时，要是不提前将首行的数据指引删除，就会跟随着我们的期望数据显示在hive的数据库里面， 上次测试，我就是直接在csv文件里面删除了，但是运行起来确实稍微慢了一点，要是数据条数再多一些，就很难直接在根文件里面进行删除，所以，我找到了一个新的方法， 来排 ......
win10远程桌面连接报错：出现身份验证错误，要求的函数不受支持（CredSSP）
问题 解决办法 找到路径：计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System 在System文件夹内创建文件夹项：\CredSSP\Parameters 在Parameters文件夹内，新建 ......
SQL Server 手机、身份证中间转为星号
SELECT UniqID as 账号,isnull(NickName,'') as 姓名, case when Tel1 is null or Tel1='' then '' else CONCAT( LEFT(Tel1, 3), -- 前三位 '****', -- 四个星号 RIGHT(Tel1 ......
【大数据】FindBi配置Hive
安装FineBi 1：百度云链接：https://pan.baidu.com/s/1u9QHGzo9v9Wcrn5iJU4hQg?pwd=sotc （这里安装的时候你可能需要登录到官网注册获取激活码）https://www.finebi.com/ 2： 将Hive驱动包放入指定目录 D:\FineB ......
【大数据】HIVE大全
HIVE 内部表与外部表的区别 # HIVE储存数据位置 [hadoop@test1 hive]$ hadoop fs -ls /user/hive/warehouse/testhive.db/info/ Found 1 items -rw-r--r-- 3 hadoop supergroup .. ......
nginx+lua实现人机身份验证
前言 现在很多网站考虑安全，会做人机验证，可以有效的防刷，防爬虫，防止暴力破解。 你是否遇到过这个 这个 还有这个 如何实现？ 如何实现人机验证，又不用和前端耦合在一起，类似waf，在第一层做验证，不通过就直接拦截。nginx支持调用lua脚本，于是可以使用nginx_lua_module来实现。 ......
记一次Smanga 身份验证绕过漏洞挖掘（CVE-2023-36079）
记录一次本人CVE漏洞挖掘的过程，此漏洞已被分配编号：CVE-2023-36079 引言 本文介绍了一次针对某开源项目的身份验证绕过漏洞，此开源项目是一个流媒体管理平台。 代码审计 审计代码发现功能接口点使用 check_user_power() 函数进行权限校验。 跟踪该函数，发现没有使用常规的J ......
【大数据】HIVE部署（文档版本）
Mysql 安装配置远程登录 # 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 # 安装Mysql yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-rele ......
视频监控/安防视频监控平台EasyCVR助力消费者画像精准、消费者身份识别，打造智慧门店
安防视频监控平台EasyCVR是一个具有强大拓展性、灵活的视频能力和轻便部署的平台。它支持多种主流标准协议，包括国标GB28181、RTSP/Onvif、RTMP等，还可以支持厂家的私有协议和SDK接入，例如海康Ehome、海大宇等设备的SDK。该平台不仅拥有传统安防视频监控的功能，还具备接入AI智 ......
hive知识点散记
在不切换数据库的前提下查询某一数据库下的所有表 show tables in 数据库名； 查询显示某一张表的元数据信息 desc formatted 表名； 查询当前数据库名称 select current_databases(); 对查询结果进行去重 select distinct cname f ......
LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
如图，问题表现为linux中可直接通过hive进行数据插入 但在通过datagrip却更改不了 此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。 yarn的 <property> <name>yarn.sch ......
linux中hive常用命令
kill -9 29676 杀死进程 ps -ef|grep 23697 查看进程 tail -f logs/hiveserver2.log 查看2信息 nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 & 后台加载报 ......
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值... ......
从Redmi Note 13系列发布看当前UP主身份立场
Redmi Note 13 系列发布了，不出意外，出现了很多UP主在吹捧这款手机，外观在线，有性价比，性能够用。这些UP基本都可以确定，和小米存在某种关系，要么是合作关系，要么是自来水。 Redmi Note 13 系列，有人说缺点，就一大堆人在下面攻击UP。你说是偶然吗？我不相信。Redmi No ......