基本操作hive
国标GB28181视频监控EasyCVR平台：视频集中录制存储/云端录像功能及操作介绍
安防视频监控系统EasyCVR视频综合管理平台，采用了开放式的网络结构，可以提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力，同时还具备权限管理、设备管理、鉴权管理、流媒体接入与转发等管理能力。今天我们来具体介绍下 ......
Hive文件存储格式
结论： Text File，Parquet ，ORC Files结合使用，优先使用前两种，对存储及查询性能有极高要求时使用ORC。 存储格式 使用场景 Text File 数据直观，便于查看和编辑，数据量较小的维表可以使用. Parquet 支持深度嵌套，可用于多种数据处理框架（Hive/Spark ......
Hive 数据写入流程
概念简介 外部表：删除表时，外部表只删除元数据,不删除数据。适用于数据源被多处使用的场景，便于数据共享。 内部表：删除表时，内部表的元数据和数据会被一起删除。适用于不需要共享的原始数据或中间数据。 分区表：数据较多，为提高计算速度时使用。 内部表&外部表写入流程图 具体流程Demo 以外部表为例： ......
hive分区表数据导入
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external ta ......
Hive 复杂数据类型Array，Map，Struct
建表语句，支持嵌套 CREATE TABLE parquet_test ( id int, str string, mp MAP<STRING,STRING>, lst ARRAY<STRING>, strct STRUCT<A:STRING,B:STRING>) PARTITIONED BY (p ......
Hive写入JSON数据
优缺点： 1.JsonSerDe对json数据格式有严格要求，创建的表结果必须与json结构能对应上，否则会报错。 配置 org.openx.data.jsonserde.JsonSerDe 能解决格式异常报错导致整个任务终止的问题。 必须定义好详细字段嵌套的规则类型，不适合提取ODS原文。 2.g ......
Hive Array数据处理
建表 CREATE TABLE IF NOT EXISTS default.array_test( id String COMMENT 'id', name Array<String> COMMENT '名称' ) COMMENT 'array测试' ROW FORMAT DELIMITED FIE ......
Python包管理之poetry基本使用
Python包管理之poetry基本使用 - 知乎 (zhihu.com) poetry是一个Python虚拟环境和依赖管理的工具，之前用pipenv，最近学习httprunner时，接触了poetry。poetry和pipenv类似，另外还提供了打包和发布的功能。 官方文档：https://pyt ......
一个可以给IDEA 玩坏的操作
1. 首先打开ide选择帮助 点击查找 2. 选择相应功能 输入choose,此时会提示选择运行时 3. 选择运行时 此时选择非idea自带的runtime,即非JetBrains标记的jdk 4. 查看结果 重启后有极大概率丢失菜单选项,恢复的方法是重新选择运行时 官方文档 ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
动手学深度学习v2：数据操作+数据预处理
数据操作 import torch x=torch.arange(12) # x的output为 tensor([0,1,2,3,4,5,6,7,8,9,10,11]) # 可以通过张量的shape属性来访问张量的形状和张量中元素的总数 x.shape # output: torch.Size([1 ......
28-Scala-基本语法
1. Scala 概述 Martin Odersky 于 2001 年开始设计 Scala。Scala 是将「面向对象」和「函数式编程」结合的一种简洁的高级语言。 1.1 语言特点 Scala 是一门以 Java 虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语 ......
H3C 存储换盘操作
实际存储型号H3C CF8844 环境说明：H3C存储设备存在一个坏盘需要更换。 更换准备 1. 取出备件检查完毕后放置到安全场所（请严格按照《IT产品现场工程师通用服务规(维修篇)》操作） 2. 通过ssh连接到存储控制器管理IP或通过串口连接到存储控制器。 3. 执行 showsys 命令确认维 ......
IBM DS5020存储更换硬盘操作
前期准备：笔记本、网线 连接存储控制器操作，在笔记本上安装DS Storage Manager 11 Client，然后在笔记本IP设备为192.168.128.X（A控制器管理口1和2的管理IP地址为A1：192.168.128.101、A2：192.168.128.102；B控制器管理口1和2的 ......
Atlas集成Hive
修改atlas-application.properties 添加atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries=3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=pri ......
jQuery操作DOM对象
jQuery的 DOM 操作 创建节点 创建节点后可以通过HTML() 或 text() 来设置内容 举个例子： <script> $("button").html("点击一下"); </script> 添加节点 注意： ①after()和before()用于同级操作元素。目标对象.after/be ......
中间件 ZK分布式专题与Dubbo微服务入门 4-2 session的基本原理与create命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12697 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
Mac电脑的替身（软连接）的操作教程
前言 在windows中，有一个文件叫：快捷方式，作用是不用进入到某个文件后，再打开文件夹中的文件，可以把快捷方式放到桌面，然后直接打开某个软件。 同样的功能再mac中也有，只是换了一个名字：替身 制作替身也很简单，就是在想要制作替身的文件/文件夹右键，选择制作替身即可，替身文件图标都有一个箭头图标 ......
Qt 如何操作数据库SQL模块
内容提要 介绍数据库相关内容，了解连接数据库方法，掌握数据库的4种基本操作 主要内容 如何连接数据库 数据库的4大基本操作 增 删 改 查 1.如何连接数据库 1.1 先了解数据库驱动的作用 Qt SQL模块是Qt提供的一个访问数据库的接口，支持多种平台下使用不同类型的数据库，在这个过程中，数据库驱 ......
redis中如何保证原子性操作
需求：两个客户端同时对[key1]执行自增操作，不会相互影响 操作：下面两个客户端并发操作会导致[key1]输出结果与预期不一致 [客户端一]读取[key1]，值为[1] [客户端二]读取[key1]，值为[1] [客户端一]将[key1]自增1，值为[2] [客户端二]将[key1]自增1，值为[ ......
数据库基本知识
数据库的基本概念 数据 描述事物的符号记录 信息 是具有时效性的，有一定含义的，有逻辑的、经过加工处理的、对决策有价值的数据流。 信息＝数据＋处理 信息与数据的联系 数据是信息的符号表示，或称载体 信息是数据的内涵，是数据的语义解释 数据是符号化的信息 信息是语义化的数据 数据库 Database ......
Ansible - 基础配置以及常用操作场景
Ansible 基础配置 主配置文件：/etc/ansible/ansible.cfg ansible配置文件查找顺序 首先检测ANSIBLE_CONFIG变量定义的配置 其次检查当前目录下的./ansible.cfg文件（可以在任意目录创建ansible目录，并参考默认ansible.cfg文件配 ......
Gin框架初体验__Goland操作
前提：搭建好Golang环境 首先新建project，Goland会自动生成go.mod文件。 下载并安装Gin框架，并将其添加到你的项目的Go模块中（引入Gin框架依赖至本地） go get -u github.com/gin-gonic/gin 在这一步，我阻碍了将近一个下午|||^_^，由于类 ......
pandas基础操作
### 为什么学习pandas- numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？ - numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列），那么pandas就可以帮我们很好的处理除了数值型的其他数据！ ......
Linux - 配置IP&主机名的快捷操作
nmtui 执行以下命令可以进入一个可视化界面，进行IP的可视化配置、以及网络服务的重启（注意,这个重启是停止然后启动, 如果使用xshell进行操作会失去ssh连接,直连服务器时可这直接操作）、主机名的修改 nmtui nmcli # 以下命令可以将网卡ens160的ip修改为192.168.4. ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
Hive之set参数大全-1
A 控制是否允许在需要时按需加载用户定义函数（UDF） hive.allow.udf.load.on.demand 是 Apache Hive 中的一个配置属性，用于控制是否允许在需要时按需加载用户定义函数（UDF）。 在 Hive 中，UDFs是用户编写的自定义函数，可以在 Hive SQL 查询 ......
Hive之set参数大全-2
C 指定是否启用表达式缓存的评估 hive.cache.expr.evaluation 是 Hive 中的一个配置属性，用于指定是否启用表达式缓存的评估。表达式缓存是一项优化技术，它可以在执行查询时缓存表达式的评估结果，以减少计算开销。 在 Hive 配置中，可以使用以下方式设置 hive.cach ......
Hive之set参数大全-3
D 是否启用本地任务调试模式 hive.debug.localtask 是 Apache Hive 中的一个配置参数，用于控制是否启用本地任务调试模式。在调试模式下，Hive 将尝试在本地模式下运行一些任务，以便更容易调试和分析问题。 具体来说，当 hive.debug.localtask 被设置为 ......
Hive之set参数大全-4
F 指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器 hive.fetch.output.serde 是 Hive 的一个配置参数，用于指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器。 以下是一个示例： -- 设置 hive.fetch.output.serde 为 o ......