格式hive
centos7 格式化磁盘
磁盘挂载lsblk 查看所有识别到的磁盘 df -h查看磁盘是否全部挂载fdisk -l 如果有的没有挂载且没有分区的磁盘 先分区 执行： parted /dev/sdb输入：mklabel gpt 重新格式化的话会问你确认，没格式化过的不用输入y,也不会弹出输入y 全部都只分成一块磁盘执行：mkp ......
Hive数据仓库的学习--DDL部分
1、建表语法 2、数据类型转换函数CAST--也就是强制转换 例如， CAST('100' AS INT) 3、有关于SerDe的描述 序列化和反序列化————用于从文件中读取和数据写入文件的操作（通俗来说，就是分辨分隔符，读取有效数据存储到数据库中）； 4、rowformat 指定具体的分隔符是什 ......
三维模型3DTile格式轻量化顶点压缩主要技术方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
Json输出List集合对象和map对象 JSON格式
Json输出List集合对象和map对象 JSON格式 //Json输出List集合对象 [{"属性1":["值1"],"属性2":"值2"}, {"属性3":["值3"],"属性4":"值4"}] import com.alibaba.fastjson.JSONObject; import jav ......
hive考试总结
这次测试的流程主要分为五个步骤。 1、数据导入 2、数据清洗 3、数据分析处理 4、Sqoop导入Hive数据到MySQL 5、通过javaweb+echarts进行数据可视化 一、数据导入： 建表： create table sales_sample_20170310 ( `day_id` str ......
SpringBoot学习2(springboot引导类，Rest基础学习，yml格式)
1.parent、starter 基础篇-08-入门案例解析：parent_哔哩哔哩_bilibili 基础篇-09-入门案例解析：starter_哔哩哔哩_bilibili 2.引导类 引导类扫描所在包加载bean，不在该包内扫描不到。 3.Rest开发 RESR（Representational ......
数字字符串格式化，位数不足前面补0
我是这样写的：BigDecimal b1 = new BigDecimal("0.01");BigDecimal result = b1.multiply(new BigDecimal("1000")).setScale(0, RoundingMode.DOWN);System.out.printl ......
hive string, map, struct类型的建表和导入数据语句
本文转载于 https://blog.51cto.com/u_14405/6419362，https://blog.csdn.net/tototuzuoquan/article/details/115493697 和 https://blog.csdn.net/weixin_43597208/art ......
ovftool导出vmware虚机为ovf格式
下载并安装ovftool sudo /bin/sh VMware-ovftool-4.3.0-7948156-lin.x86_64.bundle ovftool -v #查看ovftool版本 #查看vcenter下的所有虚机信息ovftool --noSSLVerify vi://username ......
hive数据分析
HIVE数据分析实验报告 信2105-3 20213728杨申龙 数据导入 将csv文件导入到虚拟机的hive数据库中，并通过datagrip软件实现对数据库的可视化操作 数据清洗 在datagrip中进行如下操作，将数值清洗为真实日期 insert overwrite table test2 se ......
hive
hive测试步骤 1.在hive中建表，一个表存放原始数据，一个表存放清洗后的数据 create table sales_initial ( day_id varchar(30), sale_nbr varchar(30), buy_nbr varchar(30), cnt varchar(30), ......
debian 安装包中changelog.Debian 日志格式
官方说明文档 ： https://www.debian.org/doc/debian-policy/index.html#contents A、 debian/changelog应该简单就介绍安装包的版本，当然也可以包含与上一个版本的些改变。changelog应该能够使安装工具(例如：dpkg)去发 ......
软件工程测试--hive数据分析，步骤
 : ffff8000205d1e4b: 3C010800 1851AC04 000118FF 6BF08100 *<....Q......k...* [1 ......
hive测试
这次的hive测试的流程主要分为以下几个步骤 1、数据导入到hive数据库里 2、对数据清洗 3、数据分析处理 4、将处理后的数据导出到MySQL 5、 通过网页进行数据可视化 一．数据导入到hive数据库里 1）建立初始表 create table sales_sample_20214044 ( ......
三维模型3DTile格式轻量化压缩在移动智能终端应用方面的重要性分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
hadoop和hive的兼容问题
本人之前搭建的集群是hadoop3.3.5+hive3.1.3版本，后来发现这两个版本不兼容，虽然官方文档里面说hive3.1.3版本兼容hadoop3.x.y版本，但是当我在使用hive 执行插入语句时发现一直报同一个错误 java.lang.ClassCastException: org.apa ......
Http访问格式刨析
* 概念：Hyper Text Transfer Protocol 超文本传输协议 * 传输协议：定义了，客户端和服务器端通信时，发送数据的格式 参考火狐浏览器，其它浏览器没找到 * 特点： 1. 基于TCP/IP的高级协议 2. 默认端口号:80 3. 基于请求/响应模型的:一次请求对应一次响应 ......
HIVE增量同步方案2
SELECT student_temp.id ,coalesce(student_temp.age,student.age) as age ,student_temp.name ,coalesce(student_temp.dt,student.dt) as dt FROM student_temp ......
mybatis plus生成的日期时间格式LocalDateTime与String的相互转换
mybatis plus生成的日期时间格式为LocalDateTime LocalDateTime转为String : 将现在的时间转String String nowDate = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyy ......
Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)
今天发现连接beeline是时候连接不上，不应该啊昨晚还可以的qaq 破案了，我启动了metastore之后忘记去启动hiveserver2 hiveserver2都没启动能连上就怪了 一定一定要记得启动顺序！！！ hadoop+metastore+hiveserver2+beeline ......
notepad安装json格式化工具
Notepad++ 是Windows下一款非常好用的免费多语言代码编辑器，可以通过添加JSON格式化插件，更方便的协助我们将JSON数据格式化为观看更直观友好的格式 插件名称：JSON Viewer 1. 在线安装 1.1 打开 Notepad++，选择插件 > 插件管理 > 可用 > 搜索关键词 ......
使用sqoop export命令将hive数据导入mysql
描述一下 因为我前两天的测试里面，用的是另外一种方法，所以今天想要尝试一下sqoop export的方法，这个方法我之前也试过，但是一直报错，但是！我又来啦！！！ 相关步骤 自己设置一个数量不多的csv文件： 然后按照之前的步骤：上传，导入数据库： 然后在mysql里面同时创建一个与hive数据库中 ......
hive的一些操作（防忘）
create database test_1; 创建数据库 drop database test_1; 删除数据库 show databases; 查看数据库 ......
关于Hadoop和hive启动关闭的一些命令
Hadoop启动/关闭：start-all.sh / stop-all.sh HDFS：start-dfs.sh / stop-dfs.sh YARN：start-yarn.sh / stop-yarn.shhive 启动metastore服务： 前台启动 /export/server/apache ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(四)---连接idea使用echarts可视化界面
说来惭愧，我的javaweb烂得一批，其他步骤我还是很顺利地，这个最简单的，我遇到了一系列问题。只能说，有时候失败也是一种成功吧 这一步其实就是正常的jdbc，没什么可说明的，但是关于使用echarts我还是遇到了一些困难，如果有高手能指正一二，感激不尽 echarts获取前端数据要使用Ajax，我 ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里
1、安装sqoop 我的版本 jdk1.8 hadoop3.1.3 sqoop1.4.6 基本上就安装这个版本都没问题，如果是执行连接数据库命令时报错：java.lang.NoClassDefFoundError;报错，在lib下再放一个commons-lang-2.6.jar即可， sqoop安装 ......