字符串 字符hive json
python中的json操作总结
json.loads() / json.dumps() vs json.load() / json.dump() 的区别：s 代表 string ，前两个用于字符串转换，后两个用于读取/写入.json文件 json(dict) 与字符(str)转换 str转json：json.loads() jso ......
Flink Sql On Hive
TableEnvironment // ********************** // FLINK STREAMING QUERY // ********************** import org.apache.flink.streaming.api.environment.Stream ......
Hive建表语句示例
CREATE EXTERNAL TABLE `ods_baidu_news`( `domain` string, `sitename` string, `sourceurl` string, `casedatatype` string, `fetchtype` int, `casename` str ......
切换模式 写文章 登录/注册 go语言json技巧忽略某个字段/忽略空值字段
10 人赞同了该文章 忽略某个字段 // 使用json tag指定json序列化与反序列化时的行为 type Person struct { Name string `json:"name"` // 指定json序列化/反序列化时使用小写name Age int64 Weight float64 ` ......
Hive之set参数大全-5
I 限制外部表数据插入 set hive.insert.into.external.tables=true; 在Apache Hive中，通过INSERT INTO语句向外部表（External Table）插入数据时，有一些注意事项和限制。外部表是Hive中的一种特殊表，它与Hive管理的存储位置 ......
Hive之set参数大全-6
L 指定是否启用延迟评估（lazy evaluation）的扩展布尔字面量 在 Apache Hive 中，hive.lazysimple.extended_boolean_literal 是一个配置属性，用于指定是否启用延迟评估（lazy evaluation）的扩展布尔字面量。延迟评估可以提高性 ......
Hive之set参数大全-7
指定 Hive LLAP（Live Long and Process） 守护进程的委托令牌的生存期 在 Apache Hive 中，hive.llap.daemon.delegation.token.lifetime 是一个配置属性，用于指定 Hive LLAP（Live Long and Proc ......
Hive之函数解析
1.1 查看系统自带的函数 -- 查看系统自带函数 show functions; -- 查看自带函数的用法 desc/describe function 函数名; -- 查看自带函数的具体用法 desc/describe function extended 函数; 1.2 窗口函数 1.2.1 相 ......
字符串值判断逻辑
字符串比较测试： 比较两个字符串变量的值，是否相等，不等这样的情况 = 判断是否相等 != 判断是不等的 ! 取结果的反义 注意：对于字符串变量的比较，一定要记住给变量添加双引号，使用等于号的值判断，左右两边也必须有空格 ......
python基础之字符串、列表、字典
1. 字符串 2. 列表 增加 append(obj) insert（index，obj） extend([]) 修改 下标直接赋值 查找 in/not in 删除 del：根据下标进行删除 pop:删除最后一个元素 remove：根据元素的值删除 其他的 3. 元组 // 定义一个元素的元组需要加 ......
Hive文件存储格式
结论： Text File，Parquet ，ORC Files结合使用，优先使用前两种，对存储及查询性能有极高要求时使用ORC。 存储格式 使用场景 Text File 数据直观，便于查看和编辑，数据量较小的维表可以使用. Parquet 支持深度嵌套，可用于多种数据处理框架（Hive/Spark ......
Hive 数据写入流程
概念简介 外部表：删除表时，外部表只删除元数据,不删除数据。适用于数据源被多处使用的场景，便于数据共享。 内部表：删除表时，内部表的元数据和数据会被一起删除。适用于不需要共享的原始数据或中间数据。 分区表：数据较多，为提高计算速度时使用。 内部表&外部表写入流程图 具体流程Demo 以外部表为例： ......
Java利用fastjson解析复杂嵌套json字符串、json数组；json字符串转Java对象，json数组转list数组 首先要明白，以 { } 开头的是JSONObject，以 [ ] 开头的是JSONArray，如果本身就是json字符串的格式（即格式类型为String），那就不用转换，直接使用转换方法进行转换。
Java利用fastjson解析复杂嵌套json字符串、json数组；json字符串转Java对象，json数组转list数组 首先要明白，以 { } 开头的是JSONObject，以 [ ] 开头的是JSONArray，如果本身就是json字符串的格式（即格式类型为String），那就不用转换，直 ......
hive分区表数据导入
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external ta ......
Hive 复杂数据类型Array，Map，Struct
建表语句，支持嵌套 CREATE TABLE parquet_test ( id int, str string, mp MAP<STRING,STRING>, lst ARRAY<STRING>, strct STRUCT<A:STRING,B:STRING>) PARTITIONED BY (p ......
Hive写入JSON数据
优缺点： 1.JsonSerDe对json数据格式有严格要求，创建的表结果必须与json结构能对应上，否则会报错。 配置 org.openx.data.jsonserde.JsonSerDe 能解决格式异常报错导致整个任务终止的问题。 必须定义好详细字段嵌套的规则类型，不适合提取ODS原文。 2.g ......
Hive Array数据处理
建表 CREATE TABLE IF NOT EXISTS default.array_test( id String COMMENT 'id', name Array<String> COMMENT '名称' ) COMMENT 'array测试' ROW FORMAT DELIMITED FIE ......
海亮01/08字符串专题
海亮01/08字符串 题单链接 SAM学习笔记 T1 CF235C 题意 给定一个主串\(S\)和\(n\)个询问串，求每个询问串的所有循环同构在主串中出现的次数总和。 题解 如果不问循环同构，只问正常询问串的出现次数，会吗？ 直接上板子即可对叭？ 那么对于循环同构，我们可以直接加长一倍（加到 \( ......
excel统计单元格内字符出现的次数
统计","在一个单元格中出现的次数： =LEN(B6)-LEN(SUBSTITUTE(B6,",","")) 参考：link ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
Java 解析 JSON 对象报错：JSONException: can not cast to JSONObject JSONArray jsonArray = JSON.parseArray(body)
Java 解析 JSON 对象报错：JSONException: can not cast to JSONObject 使用了阿里的 JSON 解析库，在 JSON.parseObject(body) 解析返回 JSON 字符串时报错：JSONException: can not cast to J ......
字符集、字符编码、unicode、uft-8
字符集就是字符的集合，如常见的 ASCII字符集，GB2312字符集，Unicode字符集等。 字符编码则代表字符集的实际编码规则，是用于计算机解析字符的，如 GB2312，GBK，UTF-8 等。字符编码的本质就是如何使用二进制字节来表示字符的问题。 Unicode是国际组织制定的，用于收纳世界上 ......
Atlas集成Hive
修改atlas-application.properties 添加atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries=3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=pri ......
一维数组和字符数组
1.一维数组 写一个函数用于打印数组中的每一个元素，注意数组在传递时，元素个数传递不过去，仅传递数组内存首地址，所以sizeof(a)/sizeof(int)的值永远是1，无法算出数组元素真正的个数。 可以单步调试观察内存中变量值的变化。原理是编译器在编译时，只传递了数组的起始地址，故在子函数中可以 ......
day11 代码随想录算法训练营 1047. 删除字符串中的所有相邻重复项
题目：1047. 删除字符串中的所有相邻重复项 我的感悟： 做过的题，还是有印象的。 本身也不难，独立写出来了。 理解难点： 代码难点： 代码示例： class Solution: def removeDuplicates(self, s: str) -> str: stack = [] for i ......
[刷题班] LeetCode1002. 查找共用字符
题目描述 思路 关键字：“小写字母”、“出现频率”这些关键字都是为哈希法量身定做的。 求每个字符在所有字符串中最小出现的次数。最小次数为几就在结果集中添加几次该字符。 方法一： class Solution { public List<String> commonChars(String[] wor ......
用Roslyn玩转代码之一: 解析与执行字符串表达式
最近框架中的可视化界面设计需要使用到表达式引擎(解析代码字符串并动态执行)，之前旧框架的实现是将表达式字符串解析为语法树后解释执行该表达式，本文介绍如何使用Roslyn解析表达式字符串，并直接转换为Linq的表达式后编译执行。 一、语法(Syntax)与语义(Semantic) C#的代码通过Ros ......
Ant Design pro Component 【Schema Form - JSON 表单】依赖与顺序加载问题
记一次项目中遇到的问题，及解决方法. 使用Ant Design pro Component 【Schema Form - JSON 表单】中碰到一个依赖更新 与 首次加载表单数据冲突的问题。 问题是这样的： 表单是通过json配置生成出来的，导入的数据是一次性导入的，但是表单中有配置规则，当依赖项更 ......
16_模板字符替换
实现效果 选择对应模板，文案会自动填充到多行文本框，且可替换占位字符会高亮 在替换编辑里，编辑替换占位字符 可添加、编辑、删除模板 具体操作流程及规则： 点击活动公告-添加或某个活动编辑处；找到添加模板 在模板界面可以随意添加或修改公告模板；也可以删除不再需要的模板 或者在【具体模板】输入要添加的模 ......
8种超简单的Golang生成随机字符串方式
本文分享自华为云社区《Golang生成随机字符串的八种方式与性能测试》，作者： 张俭。 前言 这是**icza**在StackOverflow上的一篇高赞回答，质量很高，翻译一下，大家一起学习 问题是：go语言中，有没有什么最快最简单的方法，用来生成只包含英文字母的随机字符串 icza给出了8个方案 ......