格式hive
jwt定制返回格式
定制返回格式 目标如下： 想要返回如下格式数据： { code:100, msg:'登录成功', username:'登录用户名字', access:asdfasdf.asdfasdf.asdfasdf refresh:asdfas.ere.we } 第一步：新建一个序列化类文件，以serializ ......
Hive理论知识
1、什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。 2、数据模型有哪些？ 星形模式(Star Schema)：星 ......
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
PyCharm配置代码格式化工具Black
一、pip安装black pip install black 注意：一般安装后，black.exe目录会在python安装路径的Scripts目录下。 默认为：C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\Scripts\black.e ......
openssl 证书转换格式
openssl 证书转换格式 概述 碎碎念，如果你有MAC电脑，就别折腾了，直接用MAC电脑吧,不用安装直接用openssl本文主要讲到了openssl的基本使用方法，开发环境为windows，开发工具为VS2019.本文主要是说明openssl如何使用，不介绍任何理论知识，如果有不懂的，请自行百度 ......
Vue 字符串的格式化填充
main.js // 字符串格式化 Vue.prototype.$stringFormat = function (formatted, ...args) { for (let i = 0; i < args.length; i++) { let regexp = new RegExp('\\{' ......
3 种 Springboot 全局时间格式化方式
3 种 Springboot 全局时间格式化方式 原文地址 https://developer.aliyun.com/article/771395 版权声明： 本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者 ......
关于pandas.to_datetime对不同时间格式使用时发生报错的情况
在看菜鸟的pandas对格式错误清洗时，发现菜鸟提供的代码在我现在的版本跑不通。 把报错在网上找了半天都是把报错errors参数给修改的。 最后重看了下报错信息，发现把format改成mixed，告诉pandas数据格式混合就可以（汗），应该是python3版本太新的问题 报错代码： import ......
练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中
练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中 bean //实体类 mysql的一条记录 package bean; import lombok.AllArgsConstructor; import lombok.Data; import lom ......
网页在线预览编辑Office，支持doc/docx、xls/xlsx、ppt/pptx、pdf等格式
随着互联网技术的不断发展，越来越多的企业开始采用在线办公模式，微软Office Word 是最好用的文档编辑工具，然而doc、docx、xls、xlsx、ppt、pptx等格式的Office文档是无法直接在浏览器中直接打开的，如果可以实现Web在线预览编辑OffIce，肯定会还带来了更高效、便捷的办 ......
【类库工具】 Assimp 支持三十几种模型格式的转换
Assimp.NET 发现一个导入导出解析的一个库，因为不懂C++，它有.net类库! 主要用于模型的导入和导出转换 github地址：https://github.com/StirlingLabs/Assimp.Net/tree/main ......
U盘插入提示：使用驱动器中的光盘之前需要将其格式化
U盘在正常使用中出现了问题： 此时此刻，千万不要点击格式化磁盘 如果是Windows电脑，只需要Win+R 打开CND命令提示符界面（以Win10为例就是邮件点击开始菜单图标就能看见） 然后输入：chkdsk D:/f （其中D是你U盘的盘符，f是fix修复的意思） 运行完之后就可以双击打开U盘了， ......
Hive事务表转换为非事务表
环境：hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
Excel日期格式CST 转换成标准时间撮或者时间格式字符串
1.excel 日期格式CST 转换成标准时间戳或者时间格式字符串（公式中H4为要转换单元格的位置） =RIGHT(H4,4)&"/"&MONTH(MID(H4,FIND(" ",H4)+1,3)&1)&"/"&MID(H4,FIND(" ",H4,5)+1,2)&" "&MID(H4,FIND(" ......
解决 FastApi 响应体中 datetime 时间格式化问题 ISO 8601: "T"
现象描述 当 FastApi 访问数据库或其他遇到 datetima 时间场景时，若直接返回响应结果，时间会被自动格式为："2024-01-01T09:30:14",而不是 "2024-01-01 09:30:14" 本文包含2种处理方法，分别对应2种响应模型，解决办法，看这里 解决方法 第1种，直 ......
前后端数据传输的编码格式
前后端数据传输的编码格式（contentType） # 前后端传输的时候请求方式有两种： GET,POST # 我们只研究POST请求的编码格式： POST的三种编码格式：urlencoded、form-data、json # 有哪些方式可以发送POST请求？ form表单、Ajax、postman ......
使用python 将json转csv格式
首先需要安装几个库，待会需要用到 # pandas库，用来json和excel格式转换 pip install pandas # 以下两个库是用来解决，pandas写入xlsx后缀文件，报错"""no engine for filetyppe xlsx""" 的问题 pip install open ......
Hive的存储格式
一、简介 1、hive建表时存储格式 一般情况下hive在创建表时默认的存储格式是textfile，hive常用的存储格式有五种，textfile、sequencefile、rcfile、orc、parquet。 2、五种存储格式的区别 hive五种存储格式的区别 存储格式文件存储编码格式建表指定 ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
前端数据流组装指定格式的文件下载
有的时候，我们从后端获取了文件数据，需要在前端组合成指定格式的文件，并下载。 组合文件，除了数据，还需要规定格式，才知道组合成什么格式的文件。 主要代码如下： /* * responseText 后端获取的文件数据 * 这里以 pdf 格式的文件举例，设置 type 为 pdf 文件需要的类型 * ......
Hive基本操作
Hive的基本操作很简单，与SQL的写法很类似，总结如下： 进入Hive环境 $HIVE_HOME/bin/hive 数据库操作 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LO ......
结合 element -Plus组件库，压缩图片大小，限制图片格式
业务背景：业务上需求满足上传的图片不能太大，但是有时候上传的图片确实超过了限制大小，所以前端这边可以将图片压缩再上传，亦或者是上传给后端接口的图片只能是指定格式，我们前端需要将图片后缀转化，也可以处理！封装的使用方法如下：使用 canvas 对图片进行压缩处理： /* * 压缩图片 * param ......
华为云耀云服务器L实例--Hive的部署
华为云耀云服务器L实例--Hive的部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，继续Hive的部署 Hive 是建立在 Ha ......
华为云耀云服务器L实例-大数据学习-Hive的部署-1
华为云耀云服务器L实例-大数据学习-Hive的部署-1 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍Hive的部署 Hive ......
公文格式
标题一般用2号小标宋体字 正文一般用3号仿宋体字 文中结构层次序数依次可以用“一、”“（一）”“1.”“（1）”标注；一般第一层用黑体字、第二层用楷体字、第三层和第四层用仿宋体字标注。 一般公文中标题行距28磅。正文及其他单倍行距。 ......
Linux Debian12安装和使用ImageMagick图像处理工具 常见图片png、jpg格式转webp格式
ImageMagick是一套功能强大、稳定而且免费的工具集和开发包。可以用来读、写和图像格式转换，可以处理超过100种图像格式，包括流行的TIFF, JPEG, GIF, PNG, PDF以及PhotoCD等格式。对图片的操作，即可以通过命令行进行，也可以用C/C++、Perl、Java、PHP、P... ......
Hive ACID笔记
环境：hive 3.1.0 执行引擎：hive on tez 什么是hive ACID？ hive官网对于ACID的介绍： https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions 中文文档关于ACID的介绍： https: ......
[日志] lo4j2之自定义日志格式变量
1 PatternLayout / LogEventPatternConverter : 自定义日志格式及格式变量 在 Log4j 或 Logback 等 Java 日志框架中，PatternLayout 类允许你定义日志输出的格式。 PatternLayout 通过一系列的转换器(PatternC ......
C# 输出的格式转换，占位/补位，字符串拼接、字符串内插法
// “0”描述：占位符，如果可能，填充位 Console.WriteLine(string.Format("{0:000000}", 1234)); // 结果：001234 // “#”描述：占位符，如果可能，填充位 Console.WriteLine(string.Format("{0:### ......