小记hive
科研小记——画箱型图
数据: a 1000*1 表示1000个脑区各自的值 b 1000*1cell 表示1000个脑区各自属于的脑网络 c 1*7cell Color=[219 2 10;231 95 27;238 146 43;246 191 65;246 236 84;202 222 169;147 205 137 ......
hive向表中导入数据出现FAILED: SemanticException
完整错误信息 FAILED: SemanticException Line 1:23 Invalid path ''~/Downloads/stocks.csv'': No files matching path file:/home/lcz/~/Downloads/stocks.csv 路径错误, ......
hive启动出现Cannot create directory /tmp/hive. Name node is in safe mode.
原因:进入了安全模式,hdfs在启动开始时会进入安全模式,这时文件系统中的内容不允许修改也不允许删除,直到安全模式结束。 执行命令: hadoop dfsadmin -safemode leave 退出安全模式即可 出现 Safe mode is OFF 表示成功退出 ......
hive启动时有一堆WARN信息
hive启动时有一堆WARN信息 比如: SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.17.1 ......
Hive的安装与配置
第1关:Hive的安装与配置 在修改 conf 下面的hive-site.xml文件这里,题目给的信息是错误的,正确的内容如下: <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xs ......
hive启动出现Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables"
hive启动出现: Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either ......
hive升级元数据报错The reference to entity "useSSL" must end with the ';' delimiter.
使用Hive自带的schematool工具升级元数据,也就是把最新的元数据重新写入MySQL数据库中。 执行以下命令 cd /usr/local/hive ./bin/schematool -initSchema -dbType mysql 出现The reference to entity "us ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的,中间为driver 因此当我修改完hadoop集群为高可用的时候,hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
java使用hive-jdbc查询超时:java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out at org.apache.hive.jdbc.HiveSt ......
mysqlsh备份恢复小记
参考文档: https://mp.weixin.qq.com/s/SGWgecxrpLNhnQzQMwh_Ew https://opensource.actionsky.com/20221012-mysql/ https://blog.csdn.net/m0_67261762/article/det ......
QLib安装小记
先搜索了gitee , 发现没有合适的复制版本。 还是取github 上看readme.md 提示python多个版本的支持功能(踩坑开始).似乎3.8 比较合适,而我电脑上装了 两个版本,3.10,3.11 . 为了简单起见,装aconda. 创建conda 环境。 conda info -e # ......
可持久化线段树小记
可持久化线段树小记 首先你需要完成这两个模板:P3919 【模板】可持久化线段树 1(可持久化数组) P3834 【模板】可持久化线段树 2 T1 P1383 高级打字机 题意: \(n\) 个询问,\(3\) 种操作: 1.T x:在文章末尾打下一个小写字母 \(x\)。 2.U x:撤销最后的 ......
Android踩坑小记-在onResume中申请权限
Android踩坑小记-在onResume中申请权限 最近遇见一个问题,在onResume中申请权限,比如申请定位权限,如下所示: @Override protected void onResume() { super.onResume(); requestPermission(); } @Targ ......
spark离线分析--本地Spark1.6版本读写hive表
1. 搭建好hive环境,并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav ......
hive+mysql的伪分布式数据仓库搭建
1.前言 1.1所使用的配置 VMware 16pro #虚拟机 unbuntu22.04 #操作系统 jdk-8u202 hadoop-3.3.6 hive-3.1.1 mysql-8.054 mysql-connect-j-8.1.0 2.mysql和navicat的安装和使用 2.1mysql ......
【python小记】---PE8规范简述
【补充点】PE8规范 > [Python注释补充之PE8规范](https://www.cnblogs.com/Jack-ze/p/17401922.html) 【一】PEP 8规范 - PEP是Python Enhancement Proposal的缩写,代表Python增强提案。其中第8号增强提 ......
【python入门之常量与变量】---常量与变量小记
【一】变量 【1】什么是变量 变量是用于存储数据值的标识符,可以通过变量名访问和操作这些数据。 在程序中,变量就像一个容器,用于存储和管理数据。 变量就是可以变化的量,量指的是事物的状态 比如人的年龄、性别,游戏角色的等级、金钱等等 【2】为什么要有变量 变量的存在使得程序能够更灵活地处理数据,而不 ......
博客园美化小记
参考以下博友的代码,感谢分享! 爱学习的刘刘^ Quaint's Blog 需要开申请开通JS权限(必须) 博客皮肤需要先择SimpleMemory才能生效 将下面的代码贴到对应的位置就可以了 博客侧边栏公共 <script type="text/javascript"> window.cnblog ......
NOI2023 补题小记
Day1 T1 方格染色 \(t=1/2\) 的操作可以维护矩形面积并.当 \(n,m \le 1e5\) 时考虑直接将每条斜线拆成 \(x_2-x_1\) 个矩形.所以朴素的矩形面积并即可通过 \(95\%\) 的测试数据. 当 \(n, m \le 1e9\) 时,先沿用之前的思路将 \(t=1 ......
指针小记
针对为什么传一级空指针进函数不会改变指针的指向而引发的思考 首先先看下面的错误代码 1 #include <iostream> 2 using namespace std; 3 #include <stdlib.h> 4 #include <string.h> 5 void func(int *p) ......
rabbitmq小记
发topic代码,创建交换器,数据直接按routingKey发送到交换器中: using (var connection = factory.CreateConnection()) { using (var channel = connection.CreateModel()) { // 创建交换器 ......
crontab任务以user用户执行hive -f命令不生效解决记录
现象:创建了一个shell脚本任务,使用crontab进行任务调度,其中hive执行为: hive -f /opt/test.sql > /opt/test.log 2>&1 任务调度起来后一直报错提示: /usr/bin/hive:行3: /parcels/sbin/configure.sh: 没 ......
「Log」2023.11.14 小记
NOIP Day -3 序幕 \(\text{6:40}\):到校,需要冬眠。 杯子没盖水紧撒了一地,赶紧收拾完去整理博客,模拟赛之前先找点数据结构做吧。 \(\text{7:30}\):开题,T1 感觉很没有水平,T2 不知道什么情况,T3 讲过,T4 神秘。 感觉这次题可做,我直接倒序开题。 思 ......
LCT 小记
LCT 小记 前言 在 OI 中,对于常规的树论问题,其树的形态一般是静态的。 但往往会存在一批毒瘤出题人,他们把树的形态变成了动态的,出现了 加边/删边 等操作。 而对于这类 「动态树问题」,我们有三种常见的数据结构可以维护,而本文将简单地引入其中的一种。 LCT。 以下简称这类处理动态树问题的数 ......
Hive_解析 get_json_object
get_json_object ( string json_string, string path ) 说明: 第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组。 如果输入的json字符串无效,那么返回NULL。 每次只能返回一个数据项。 举 ......
11.14 模拟赛小记
#include<bits/stdc++.h> #define db double using namespace std; const int N=1e5+10; db H; int n; struct node{int t,h;}a[N]; bool cmp(node x,node y){ret ......
数据库小记
MySQL 数据库是结构化信息或数据的有序集合,一般以电子形式存储在计算机系统中。本总结笔记是以MySQL为例来进行记录的。 数据库使用时操作对象一般包括数据库、数据表及表中数据等,操作类型一般为创建、选择、删除,以及对表中数据的插入、删除、更新、查询。如下图: 除此之外,还有较为少用的对于用户的操 ......
11.13 模拟赛小记
30+0+10+0 全真模拟。今天的模拟赛有一种格外的说不上来的绝望的感觉。很不好描述的。一直在想如果这是真实的 noip 赛场那我不就大寄特寄了。 下午因为不舒服所以玩了一下午(?)一直在机惨别人(?)玩的很开心。 但还是想看大家在机房跳钢管舞喵(? A.game 赛时看到这个题之后就变得很愚蠢。 ......
「Log」2023.11.13 小记
NOIP Day -4 序幕 \(6:50\):准时到校,整理博客,先改题。 一直在 T,写个拍瞅一眼,发现判断边界的时候有问题,逻辑一塌糊涂,不知道当时咋写的。 八点半的时候终于过掉了第二分块。 \(\color{black}{P4117}\) 第二分块。 间幕 \(1\) 吃了个早饭就九点半了, ......