小记hive

科研小记——画箱型图

数据: a 1000*1 表示1000个脑区各自的值 b 1000*1cell 表示1000个脑区各自属于的脑网络 c 1*7cell Color=[219 2 10;231 95 27;238 146 43;246 191 65;246 236 84;202 222 169;147 205 137 ......
小记 科研

hive向表中导入数据出现FAILED: SemanticException

完整错误信息 FAILED: SemanticException Line 1:23 Invalid path ''~/Downloads/stocks.csv'': No files matching path file:/home/lcz/~/Downloads/stocks.csv 路径错误, ......
SemanticException 数据 FAILED hive

hive启动出现Cannot create directory /tmp/hive. Name node is in safe mode.

原因:进入了安全模式,hdfs在启动开始时会进入安全模式,这时文件系统中的内容不允许修改也不允许删除,直到安全模式结束。 执行命令: hadoop dfsadmin -safemode leave 退出安全模式即可 出现 Safe mode is OFF 表示成功退出 ......
hive directory Cannot create Name

hive启动时有一堆WARN信息

hive启动时有一堆WARN信息 比如: SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.17.1 ......
信息 hive WARN

Hive的安装与配置

第1关:Hive的安装与配置 在修改 conf 下面的hive-site.xml文件这里,题目给的信息是错误的,正确的内容如下: <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xs ......
Hive

hive启动出现Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables"

hive启动出现: Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either ......

hive升级元数据报错The reference to entity "useSSL" must end with the ';' delimiter.

使用Hive自带的schematool工具升级元数据,也就是把最新的元数据重新写入MySQL数据库中。 执行以下命令 cd /usr/local/hive ./bin/schematool -initSchema -dbType mysql 出现The reference to entity "us ......
quot delimiter reference 数据 entity

hadoop高可用集群集成hive

hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的,中间为driver 因此当我修改完hadoop集群为高可用的时候,hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
集群 hadoop hive

java使用hive-jdbc查询超时:java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out

java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out at org.apache.hive.jdbc.HiveSt ......

mysqlsh备份恢复小记

参考文档: https://mp.weixin.qq.com/s/SGWgecxrpLNhnQzQMwh_Ew https://opensource.actionsky.com/20221012-mysql/ https://blog.csdn.net/m0_67261762/article/det ......
小记 备份 mysqlsh

QLib安装小记

先搜索了gitee , 发现没有合适的复制版本。 还是取github 上看readme.md 提示python多个版本的支持功能(踩坑开始).似乎3.8 比较合适,而我电脑上装了 两个版本,3.10,3.11 . 为了简单起见,装aconda. 创建conda 环境。 conda info -e # ......
小记 QLib

可持久化线段树小记

可持久化线段树小记 首先你需要完成这两个模板:P3919 【模板】可持久化线段树 1(可持久化数组) P3834 【模板】可持久化线段树 2 T1 P1383 高级打字机 题意: \(n\) 个询问,\(3\) 种操作: 1.T x:在文章末尾打下一个小写字母 \(x\)。 2.U x:撤销最后的 ......
线段 小记

Android踩坑小记-在onResume中申请权限

Android踩坑小记-在onResume中申请权限 最近遇见一个问题,在onResume中申请权限,比如申请定位权限,如下所示: @Override protected void onResume() { super.onResume(); requestPermission(); } @Targ ......
小记 onResume 权限 Android

spark离线分析--本地Spark1.6版本读写hive表

1. 搭建好hive环境,并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav ......
版本 Spark1 spark Spark hive

hive+mysql的伪分布式数据仓库搭建

1.前言 1.1所使用的配置 VMware 16pro #虚拟机 unbuntu22.04 #操作系统 jdk-8u202 hadoop-3.3.6 hive-3.1.1 mysql-8.054 mysql-connect-j-8.1.0 2.mysql和navicat的安装和使用 2.1mysql ......
分布式 仓库 数据 mysql hive

【python小记】---PE8规范简述

【补充点】PE8规范 > [Python注释补充之PE8规范](https://www.cnblogs.com/Jack-ze/p/17401922.html) 【一】PEP 8规范 - PEP是Python Enhancement Proposal的缩写,代表Python增强提案。其中第8号增强提 ......
小记 python PE8 PE

【python入门之常量与变量】---常量与变量小记

【一】变量 【1】什么是变量 变量是用于存储数据值的标识符,可以通过变量名访问和操作这些数据。 在程序中,变量就像一个容器,用于存储和管理数据。 变量就是可以变化的量,量指的是事物的状态 比如人的年龄、性别,游戏角色的等级、金钱等等 【2】为什么要有变量 变量的存在使得程序能够更灵活地处理数据,而不 ......
常量 变量 小记 python

博客园美化小记

参考以下博友的代码,感谢分享! 爱学习的刘刘^ Quaint's Blog 需要开申请开通JS权限(必须) 博客皮肤需要先择SimpleMemory才能生效 将下面的代码贴到对应的位置就可以了 博客侧边栏公共 <script type="text/javascript"> window.cnblog ......
小记 博客

NOI2023 补题小记

Day1 T1 方格染色 \(t=1/2\) 的操作可以维护矩形面积并.当 \(n,m \le 1e5\) 时考虑直接将每条斜线拆成 \(x_2-x_1\) 个矩形.所以朴素的矩形面积并即可通过 \(95\%\) 的测试数据. 当 \(n, m \le 1e9\) 时,先沿用之前的思路将 \(t=1 ......
小记 2023 NOI

指针小记

针对为什么传一级空指针进函数不会改变指针的指向而引发的思考 首先先看下面的错误代码 1 #include <iostream> 2 using namespace std; 3 #include <stdlib.h> 4 #include <string.h> 5 void func(int *p) ......
小记 指针

rabbitmq小记

发topic代码,创建交换器,数据直接按routingKey发送到交换器中: using (var connection = factory.CreateConnection()) { using (var channel = connection.CreateModel()) { // 创建交换器 ......
小记 rabbitmq

crontab任务以user用户执行hive -f命令不生效解决记录

现象:创建了一个shell脚本任务,使用crontab进行任务调度,其中hive执行为: hive -f /opt/test.sql > /opt/test.log 2>&1 任务调度起来后一直报错提示: /usr/bin/hive:行3: /parcels/sbin/configure.sh: 没 ......
命令 任务 crontab 用户 user

「Log」2023.11.14 小记

NOIP Day -3 序幕 \(\text{6:40}\):到校,需要冬眠。 杯子没盖水紧撒了一地,赶紧收拾完去整理博客,模拟赛之前先找点数据结构做吧。 \(\text{7:30}\):开题,T1 感觉很没有水平,T2 不知道什么情况,T3 讲过,T4 神秘。 感觉这次题可做,我直接倒序开题。 思 ......
小记 2023 Log 11 14

LCT 小记

LCT 小记 前言 在 OI 中,对于常规的树论问题,其树的形态一般是静态的。 但往往会存在一批毒瘤出题人,他们把树的形态变成了动态的,出现了 加边/删边 等操作。 而对于这类 「动态树问题」,我们有三种常见的数据结构可以维护,而本文将简单地引入其中的一种。 LCT。 以下简称这类处理动态树问题的数 ......
小记 LCT

Hive_解析 get_json_object

get_json_object ( string json_string, string path ) 说明: 第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组。 如果输入的json字符串无效,那么返回NULL。 每次只能返回一个数据项。 举 ......
get_json_object object Hive json get

11.14 模拟赛小记

#include<bits/stdc++.h> #define db double using namespace std; const int N=1e5+10; db H; int n; struct node{int t,h;}a[N]; bool cmp(node x,node y){ret ......
模拟赛 小记 11.14 11 14

数据库小记

MySQL 数据库是结构化信息或数据的有序集合,一般以电子形式存储在计算机系统中。本总结笔记是以MySQL为例来进行记录的。 数据库使用时操作对象一般包括数据库、数据表及表中数据等,操作类型一般为创建、选择、删除,以及对表中数据的插入、删除、更新、查询。如下图: 除此之外,还有较为少用的对于用户的操 ......
小记 数据库 数据

11.13 模拟赛小记

30+0+10+0 全真模拟。今天的模拟赛有一种格外的说不上来的绝望的感觉。很不好描述的。一直在想如果这是真实的 noip 赛场那我不就大寄特寄了。 下午因为不舒服所以玩了一下午(?)一直在机惨别人(?)玩的很开心。 但还是想看大家在机房跳钢管舞喵(? A.game 赛时看到这个题之后就变得很愚蠢。 ......
模拟赛 小记 11.13 11 13

「Log」2023.11.13 小记

NOIP Day -4 序幕 \(6:50\):准时到校,整理博客,先改题。 一直在 T,写个拍瞅一眼,发现判断边界的时候有问题,逻辑一塌糊涂,不知道当时咋写的。 八点半的时候终于过掉了第二分块。 \(\color{black}{P4117}\) 第二分块。 间幕 \(1\) 吃了个早饭就九点半了, ......
小记 2023 Log 11 13

字符串小记

有些东西不专门记一下就要忘。。。 kmp 核心是 \(next\) 数组, 即当前缀的除去自身的最大 \(border\) 。在字符串匹配时考虑双指针,一旦失配就跳 \(next\),找到可能再次匹配的开始位置 \(p\) 。基于 \(border\) 的性质,只要 \(s[i - j + 1, i ......
小记 字符串 字符