散记 知识点 知识hive
Hive常见问题
Hive常见问题 1、hive创建数据库 在使用hive指令创建数据库时，指定创建位置 create database bigdata_demo1 location '/bigdata_29'; 在shell脚本中显示创建返回结果 但是在hdfs中并未找到该数据库； 这里可能是bug，于是我们通过第 ......
学习方法：知识模块
学习方法：知识模块 知识，是“某个问题解决方案”的思想、原理、技术、方法。每个学科，就是“一组问题的解决方案”的思想、原理、技术、方法。 模块，一个相对独立的、能够解决问题的知识的基本单位。每个学科，由若干个“模块”组成。每个学科的“模块”，叫做“知识模块”。“知识模块”，是每个学科的基本单位。 如 ......
一些Mybatis的知识点&易错点总结
1、映射文件配置容易出错 在映射文件中，我们很习惯想要在sql语句后面添加';'。 结果是报了一堆错误： 你能从下面的配置中找到哪些错误？ 总共有三处错误： 建议使用parameterType，而不是使用"parameterMap" 不使用$进行绑定数据，而是使用#{} sql语句后面不要以";"结 ......
寒假1高数知识部分
今天是寒假正式复习的第一天，一整天都在和高数对线，数学真是一个非常好的避难所 首先是几个必背的公式，必须无条件准确熟虑的记住 1、三角函数的公式，特别是那两个平方和与1的公式，不要总依赖那个三角形图，要理解熟练，随时想到能用的出来 2、半角公式，都是正派、然后都要变三角函数，只有一个要加负号 3、斯 ......
Hive - 面试题
什么是Hive？答案：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 Hive的数据存储在哪里？答案：Hive的数据通常存储在Hadoop分布式文件系统（HDFS）上。Hive将HDFS上的数据映射成表格形式，并提供类似SQL的查询语 ......
网络基础知识学习
1、网络基础知识 ·OSI 七层模型 TCP/IP（Transmission Control Protocol/Internet Protocol）是传输控制协议和网络协议的简称，它定义了电子设备如何连入因特网，以及数据如何在它们之间传输的标准。TCP/IP 不是一个协议，而是一个协议族的统称，里面 ......
Elastic 安全相关知识
Elastic 安全相关知识 证书相关 CA证书 docker 部署不要使用自动生成的证书，找不到 CA 私钥，对于后续证书的生成是个很大的问题，建议先自己生成 CA，再使用自己的CA生成相应证书。 # 生成一个压缩包，包含一个 crt 格式的 CA 证书文件和 私钥 elasticsearch-c ......
数据库基本理论知识
1. 数据库 数据库是一个以某种有组织的方式存储的数据集合。最简单的方法是将数据库想象为一个文件柜。这个文件柜是一个存放数据的物理位置，不管数据是什么，也不管数据如何组织。 数据库 (database)：保存有组织的数据的容器（通常是一个文件或者一组文件）。 数据库软件应该称为数据库管理系统（DBM ......
【C/C++】知识点笔记
1 - 联合体内嵌结构体初始化赋值 union { struct { int i; float f; char *p; }; int o; } obj3 = { 1, 2.2, "sk", 4, 9 }; printf("struct inlay union: %d, %f, %s, %d\n", ......
「云渲染知识」建筑效果图用什么软件制作？
高品质的建筑效果图需要利用插件来模拟复杂的场景、光线照射和天气变化。然而，许多专业人士可能不清楚有哪些软件可以实现这样的效果。下面将介绍一些常用的软件来帮助实现高品质的建筑效果图。 一、建筑效果图必备软件 1、三维建模工具 Autodesk 3ds Max：强大的建模工具，用于创建复杂的三维模型和高 ......
生活常识-贵金属-黄金知识
前言全局说明 生活常识-贵金属-黄金知识 内容来源于网络 一、单位 Au 黄金化学符号 g 是黄金 gold 的缩写 来源：微信视频号“西安黄金小郭” 二、标号 AU999 或 g999 是纯黄金 AU750 或 g750 代表含金量 75% 三、没有字母只有数字标号 999 这种不是黄金规范标号， ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
数据结构 图的基本知识
图的基本知识： 在n个结点的无向图中，若该图是连通图,则其边数大于等于n-1， 在n个结点的无向图中，若边数大于(n-2)(n-1)/2+1，则该图必是连通图 就是说连通是比较强的条件 2.用邻接矩阵法存储一个图所需的存储单元数目与图的边数有关。（） 正确 错误 这一题有歧义：如果不考虑邻接矩阵的压 ......
数据结构图的基本知识题
判断题 1.在n个结点的无向图中，若边数大于n-1,则该图必是连通图。 T F 解释： 以下两种说法是对的： 在n个结点的无向图中，若该图是连通图,则其边数大于等于n-1， 在n个结点的无向图中，若边数大于(n-2)(n-1)/2，则该图必是连通图 就是说连通是比较强的条件 2.用邻接矩阵法存储 ......
涨知识 —— 别寄辣味泡面了，日本灾区不欢迎
相关: 别寄辣味泡面了，日本灾区不欢迎 给灾区送事物要注意： 不能送辣的（除非是冬天天冷需要一定的御寒提温），因为灾区往往都缺饮用水。 不能送太咸的事物（咸菜这种单独的配菜除外），因为灾区往往都缺饮用水。 不能送熟食，因为灾区往往食物保存条件差，不可能有冰箱来提供，需要保质期长的事物。 不能送与救援 ......
作业6 数据仓库Hive
一. 单选题（共3题，9分） 1. (单选题, 3分)下面关于Hive的描述错误的是： A. Hive是一个构建在Hadoop之上的数据仓库工具 B. Hive是由Facebook公司开发的 C. Hive在某种程度上可以看作是用户编程接口，其本身并不存储和处理数据 D. Hive定义了简单的类似S ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
Flink Sql On Hive
TableEnvironment // ********************** // FLINK STREAMING QUERY // ********************** import org.apache.flink.streaming.api.environment.Stream ......
Hive建表语句示例
CREATE EXTERNAL TABLE `ods_baidu_news`( `domain` string, `sitename` string, `sourceurl` string, `casedatatype` string, `fetchtype` int, `casename` str ......
齿轮知识
机械齿轮齿数要不少于17 17+3 或者17+2 否则会根切 塑料齿轮模数通常选0.5-0.8 齿轮齿数一般不小于10 否则强度不够 齿轮慢走丝精度可达到1um 快走丝精度0.01mm ......
Hive之set参数大全-5
I 限制外部表数据插入 set hive.insert.into.external.tables=true; 在Apache Hive中，通过INSERT INTO语句向外部表（External Table）插入数据时，有一些注意事项和限制。外部表是Hive中的一种特殊表，它与Hive管理的存储位置 ......
Hive之set参数大全-6
L 指定是否启用延迟评估（lazy evaluation）的扩展布尔字面量 在 Apache Hive 中，hive.lazysimple.extended_boolean_literal 是一个配置属性，用于指定是否启用延迟评估（lazy evaluation）的扩展布尔字面量。延迟评估可以提高性 ......
Hive之set参数大全-7
指定 Hive LLAP（Live Long and Process） 守护进程的委托令牌的生存期 在 Apache Hive 中，hive.llap.daemon.delegation.token.lifetime 是一个配置属性，用于指定 Hive LLAP（Live Long and Proc ......
Hive之函数解析
1.1 查看系统自带的函数 -- 查看系统自带函数 show functions; -- 查看自带函数的用法 desc/describe function 函数名; -- 查看自带函数的具体用法 desc/describe function extended 函数; 1.2 窗口函数 1.2.1 相 ......
Hive文件存储格式
结论： Text File，Parquet ，ORC Files结合使用，优先使用前两种，对存储及查询性能有极高要求时使用ORC。 存储格式 使用场景 Text File 数据直观，便于查看和编辑，数据量较小的维表可以使用. Parquet 支持深度嵌套，可用于多种数据处理框架（Hive/Spark ......
Hive 数据写入流程
概念简介 外部表：删除表时，外部表只删除元数据,不删除数据。适用于数据源被多处使用的场景，便于数据共享。 内部表：删除表时，内部表的元数据和数据会被一起删除。适用于不需要共享的原始数据或中间数据。 分区表：数据较多，为提高计算速度时使用。 内部表&外部表写入流程图 具体流程Demo 以外部表为例： ......
hive分区表数据导入
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external ta ......