函数coalesce笔记hive
Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)
今天发现连接beeline是时候连接不上，不应该啊昨晚还可以的qaq 破案了，我启动了metastore之后忘记去启动hiveserver2 hiveserver2都没启动能连上就怪了 一定一定要记得启动顺序！！！ hadoop+metastore+hiveserver2+beeline ......
第三周学习笔记
sh编程 1.sh脚本 Shell脚本是一种用于在Unix、Linux和其他类Unix系统上编写和执行命令序列的脚本语言。它使用Shell解释器（如sh、bash、csh等）来解释和执行脚本。Shell脚本可以包含一系列命令、控制结构、变量和函数，用于完成特定的任务或自动化一系列操作。通过编写She ......
《Unix/Linux系统编程》教材第10章学习笔记
大家学习过Python,C,Java等语言，总结一下一门程序设计语言有哪些必备的要素和技能？这些要素和技能在shell脚本中是如果呈现出来的？ 必备要素和技能： 数据类型和变量：用于存储和处理数据的基本单元。 控制结构：用于控制程序流程的结构，如条件语句、循环语句等。 函数和模块：用于封装代码块，实 ......
学习笔记3
第十章教材知识点 Shell脚本： Shell脚本是一系列Shell命令的集合，以文本文件的形式保存，并通过Shell解释器执行。 Shell脚本的文件扩展名通常为.sh。 Shell脚本的第一行指定解释器，例如#!/bin/sh表示使用sh解释器。 命令行参数： 在Shell脚本中，可以通过特殊变 ......
crash —— 如何查看数据是什么类型以及函数原型
在crash中可以用whatis命令查看数据类型信息以及函数的原型。 如果想知道某个数据是什么类型那么可以用下面的方法： 查看结构体的定义 crash> whatis mm_struct struct mm_struct { struct { struct maple_tree mm_mt; uns ......
学习笔记3
关于知识点 知识点归纳 第十章 10.1 sh脚本 sh脚本是一个包含sh语句的文本文件，命令解释程序sh要执行该语句。 10.2 sh脚本与C程序 Shell脚本（sh脚本）和C程序是两种不同的编程语言和编程环境，它们有各自的特点和应用场景。 Shell脚本（sh脚本）： 脚本语言：Shell脚本 ......
[笔记]$Python$输出笔记
[笔记]\(Python\)输出笔记 补位输出 \(Type I: \%\)格式化 形式：\('format'\ \ \% \ \ 'value'\) \(value\)可以是数字、字符串、变量等 #数字型 num = 3 s = '%05d' % num #0代表用于分隔的数字，5代表输出总共占用 ......
使用sqoop export命令将hive数据导入mysql
描述一下 因为我前两天的测试里面，用的是另外一种方法，所以今天想要尝试一下sqoop export的方法，这个方法我之前也试过，但是一直报错，但是！我又来啦！！！ 相关步骤 自己设置一个数量不多的csv文件： 然后按照之前的步骤：上传，导入数据库： 然后在mysql里面同时创建一个与hive数据库中 ......
学习笔记419—如何快速从Github下载文件
如何快速从Github下载文件 从国内下载Github文件的速度往往会很慢，因此有一些开发者提供了代理下载功能，这些服务都是免费的，你甚至可以通过开源代码自建 Github下载 官网：https://d.serctl.com 这是一个简单干脆的Github文件代下网站，提供八个下载节点，你可以从中选 ......
23年秋季阅读笔记规划
这学期老师我们读三本书，本以为可以随便读一些课外书之类的，后面听到同学说肯定是跟专业有关的啊。 对哦 我在想什么啊。在网上找了一些，也不知道有些什么经典著作，目前打算先看看《代码大全》和《卓有成效的程序员》。希望这次能认真看完。 ......
学习笔记3
目录知识点归纳苏格拉底挑战学习 知识点归纳 无论是Python、C、Java还是其他编程语言，程序设计语言通常都有一些共同的必备要素和技能。这些要素和技能在shell脚本中也可以找到对应，尽管shell脚本是一种脚本语言，与通用编程语言有些不同，但也具备类似的元素和技能。以下是一些必备的要素和技能： ......
尚硅谷JDBC笔记
核心api java.sql和javax.sql 过程 注册驱动 创建链接 创建发送SQL语句对象 发送SQL语句，获取结果 结果解析 释放资源 8.0.25版本驱动，自动识别时区 serverTimeZone=Asia/Shanghai 不用添加 8.0.25之前的版本，添加以下： t_user表 ......
最全的李慧芹APUE-文件IO笔记
文件 IO / 系统调用 IO 注: 李慧芹老师的视频课程请点这里, 本篇为系统IO一章的笔记, 课上提到过的内容基本都会包含, 上一章为标准IO 文件描述符(fd)是在文件IO中贯穿始终的类型 本节内容 文件IO操作: open, close, read, write, lseek 文件IO与标准 ......
交通地理空间分析上课笔记 - 第 2 节课：复杂网络及其指标的计算
在上一节课当中，我们介绍了一连串基本的图论概念，包括节点和边的概念、如何用矩阵表示图等等，也给出了一些简单的图论方法的完整的 python 实现。我们介绍了一些关于网络的概念，并且进入了复杂网络概念的讲述。（包含详细python代码及讲解） ......
hive的一些操作（防忘）
create database test_1; 创建数据库 drop database test_1; 删除数据库 show databases; 查看数据库 ......
关于Hadoop和hive启动关闭的一些命令
Hadoop启动/关闭：start-all.sh / stop-all.sh HDFS：start-dfs.sh / stop-dfs.sh YARN：start-yarn.sh / stop-yarn.shhive 启动metastore服务： 前台启动 /export/server/apache ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(四)---连接idea使用echarts可视化界面
说来惭愧，我的javaweb烂得一批，其他步骤我还是很顺利地，这个最简单的，我遇到了一系列问题。只能说，有时候失败也是一种成功吧 这一步其实就是正常的jdbc，没什么可说明的，但是关于使用echarts我还是遇到了一些困难，如果有高手能指正一二，感激不尽 echarts获取前端数据要使用Ajax，我 ......
stat函数详解
Linux系统函数之文件系统管理 stat函数 作用：获取文件信息 include <sys/types.h> #include <sys/stat.h> #include <unistd.h> 函数原型 int stat(const char *path, struct stat *buf) 返回 ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里
1、安装sqoop 我的版本 jdk1.8 hadoop3.1.3 sqoop1.4.6 基本上就安装这个版本都没问题，如果是执行连接数据库命令时报错：java.lang.NoClassDefFoundError;报错，在lib下再放一个commons-lang-2.6.jar即可， sqoop安装 ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(二)---hive部分的实现
1、利用远程连接器上传csv文件 2、进入hive创建表结构： 创建一个Hive表的SQL语句：这个表名为 "sales"，包含了五个列：day_id、sale_nbr、buy_nbr、cnt 和 round。此表的数据格式为逗号分隔的文本文件，每一行都用逗号分隔字段。 create table s ......
偏函数
Python中的偏函数是函数式编程强大工具，主要是减少函数调用的复杂性。可以理解为，将现有函数在某些参数固定下来，构造成一个新的函数。新函数就不用写那么多参数了。 ''' 偏函数 ''' from functools import partial def add(a,b): sum=a+b retu ......
async函数-await
await 必须用在被 async 修饰的函数内（因为 await 会阻塞代码，但是阻塞的范围要限制在 async 函数执行的范围内） 箭头函数中，添加 async 函数要写在参数的前面 await 是在异步函数内部使用的关键字，用于等待一个 Promise 对象的解决（成功）或拒绝（失败）。当使用 ......
Hive
Hive简介 Hive 是一种大数据处理工具，使用类SQL 的HiveQL 语言实现数据查询，它底层封装了Hadoop ，所有Hive 的数据都存储在Hadoop 兼容的HDFS中。 更官方的描述： Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和 ......
几个函数的平均阶
几个函数的平均阶 目录 Chapter1 \(d(n)\)的平均阶 Chapter2 除数函数\(\sigma_\alpha(n)\)的平均阶 Chapter3 \(\mu(n)\)和\(\Lambda(n)\)的平均阶 Chapter1 \(d(n)\)的平均阶 Theorem: Th1:对所有\ ......
Hive学习3（数据库操作DML、join、hive函数）
1.对数据库操作 数据定义语言 (Data Definition Language, DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database、table等。 DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内 ......
学习笔记3
第10章 sh编程 0.结构与理解 sh代码在包含sh语句的文本文件中，通常以 #！开头，文件为.sh 创建并编写.sh文件后发现不是可执行程序，询问gpt如何执行： 学习得知，第一种添加权限的方法，chmod 是一个用于修改文件权限的命令，而 +x 是 chmod 命令的一个选项，表示为文件添加可 ......
HIVE数据分析-处理结果入库
1、navicat远程连接Hive数据库 1、打开navicat里的mysql连接 2、使用SSH隧道 出现上面这个显示连接就是成功 3、设置常规连接 显示成功后点击确定，navicat远程连接Hive数据库成功 问题 4、处理结果入库： 将上述统计分析的结果数据保存到mySQL数据库中。 1、通过 ......
学习笔记3 截图 代码
一、苏格拉底挑战 二、使用chatgpt解决问题 三、实践过程 实践代码 hello: hello.o main.o gcc -Iinclude -o bin/hello hello.o mian.o hello.o: gcc -c /home/yuanyi/study/src/hello.c -I ......
Linux文件管理学习感悟与笔记
1.文件目录与路径 绝对路径与相对路径的区别 绝对路径： 路径的写法，由根目录/写起,例如：/usr.share/doc这个目录 相对路径： 路径的写法，不是由 / 写起，例如由 /usr/share/doc 要到 /usr/share/ man 底下时，可以写成： cd ../man 这就是相对路 ......