Parquet
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
hadoop的文件存储格式parquet
hadoop 里支持许多压缩算法。压缩的好处主要有两点：1. 减少了文件占用的存储空间，原来上 T 的文件可能压缩完以后只需要两三百 G 的空间即可；2. 文件的体积小了以后，数据传输的速度自然就快了。在现在的大数据环境下，这两点显得更加重要。所以现在 hdfs 文件系统上存的文件，如果数据量大到一 ......
parquet极简学习
# parquet极简学习 ## 摘要 ``` parquet的概念: Parquet文件是一种列式存储文件格式，广泛应用于大数据处理框架， 如Apache Hadoop和Apache Spark。 它通过将数据组织成列而不是行来优化大型数据集的读写。 这种列式存储格式允许进行高效压缩、更好的查询性 ......
doris 导入导出 parquet 文件
# 1、parquet 介绍 > 略.... # 2、本地测试环境 - doris版本 1.2.4-1 ## 创建doris表 ```sql #创建表 并且添加模拟数据 drop table if exists load_parquet_file_test; CREATE TABLE IF NOT ......
解密 parquet 文件，以及如何用 Python 去处理它
楔子 随着大数据时代的发展，每天都要产生大量的数据，而存储这些数据不仅需要更多的机器，怎么存也是一个问题。因为数据不是存起来就完事了，我们还要对数据进行分析、统计，所以一个合理的数据格式也是非常重要的。 而随着数据种类的不同，我们也会选择不同的格式去存储。 数据种类 数据一般可以分为三种：非结构化数 ......
数据库_duckdb读写Parquet文件
###基本概念 OLtp 单条记录的增删改查,通常是整条记录 频繁的插入或更新; OLap 某几列的整表统计.分组,排序,聚合等 行存储:一条记录存储在连续的磁盘上 列存储:一条记录存储在磁盘的不同位置,但是整个关系(表)的一列存储在连续的磁盘上. ###代码示例 #!/usr/bin/python ......
百倍加速IO读写！快使用Parquet和Feather格式！⛵
本文介绍了 Parquet 和 Feather 两种文件类型，可以提高本地存储数据时的读写速度，并压缩存储在磁盘上的数据大小。大型 CSV 文件的克星！用起来~ ......