命令 文件gzip
Iceberg小文件合并测试
总结 指标 合并前 合并后（因测试中多次合并，数据会偏多） 查询速度 246秒 13秒 表总大小 9.2G 26.4G 单个文件大小 1-25MB 60MB左右 metadata目录文件数 37 75 data目录文件数 900 1501 小文件合并后历史版本数据不会自动清理，需要做快照清理 快照清 ......
Iceberg元数据合并-metadata.json文件
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable ......
objdump命令
1 --archive-headers 2 -a 3 显示档案库的成员信息,类似ls -l将lib*.a的信息列出。 4 5 -b bfdname 6 --target=bfdname 7 指定目标码格式。这不是必须的，objdump能自动识别许多格式，比如： 8 9 objdump -b oasy ......
hdf5文件读取orm
点击查看代码 class BaseNode: """hdf5 file object relational model basic node class Including establishing model relationships and data sets, attribute value ......
安全数据交换系统：大幅提升网间文件交换能力
各级政府部门和金融、能源、电力这些行业，以及一些大中型企业组织，为了保护内部的重要数据不外泄，普遍都采用了多网络并行的方式，也是做了网络隔离划分，不同的网络拥有不同的密级以及人员权限。然后再通过安全数据交换系统来进行跨网络、跨区域的文件数据交互，解决“数据孤岛”的问题。 然后，要解决网络隔离下的数据 ......
【推荐】Helix 常用命令与设置
目录Helix常用命令配置编辑器[editor]字段[editor.statusline] 字段[editor.lsp] 字段[editor.cursor-shape] 字段[editor.file-picker] 字段[editor.auto-pairs] 字段[editor.search] 字段 ......
python -m http.server在本地启动简单HTTP服务器的命令
1.python -m http.server 命令 python -m http.server 是一个用于在本地启动简单 HTTP 服务器的命令。这个命令会在当前工作目录启动一个基本的 HTTP 服务器，可以让你通过浏览器访问本地文件。 具体解释如下： python：启动 Python 解释器。- ......
3种依赖管理工具实现requirements.txt文件生成
1.pip 实现方式 要使用 pip 生成 requirements.txt 文件，可以使用以下命令： pip freeze > requirements.txt 这个命令会将当前环境中所有已安装的 Python 包及其版本信息输出到 requirements.txt 文件中。这个文件可以用于共享项 ......
Git工具使用命令
Git工具使用命令 Git概述 Git是一个分布式版本控制工具，本篇介绍如何使用Git连接Gitee代码托管平台，实现线上仓库代码项目的推送与克隆。 而且会介绍如何在IDE开发工具集成Git工具 Git全局设置 通常我们在下载完git后会对git进行全局设置 也就是说设置用户名称和email地址 设 ......
linux命令
ls命令 list的全称是list directory contents，也就是显示当前工作目录的文件和它的子目录 cd命令 cd的全称是change directory，就是改变工作目录 mkdir命令 mkdir的全称是make directory,也就是创建一个目录 pwd命令 pwd的全称是 ......
Mac 使用 open 命令，快速打开文件
今天突然发现Mac 有个很好用的命令，open xxx，使用这个命令可以用默认软件打开这个文件，比如各种文本格式的文件会用txt文本打开，mp4 格式的文件会用 player打开。 open aaa.txt open ddd.mp4 ......
国内的开源AI模型共享网站（AI模型的GitHub）—— mindscope —— 使用git lfs方式下载模型文件基本不可行——速度太慢，几十KB/s的速度
参考前文： 国内的开源AI模型共享网站（AI模型的GitHub）—— mindscope —— 对标外网的“huggingface”，mindscope好用吗？ ......
Dos命令
打开cmd的方法 1.开始--Windows系统--命名提示符 2.Windows+r--输入cmd 打开控制台 3.在桌面：shift+鼠标右键--在此处打开Powershell窗口 4.资源管理器的地址栏前面加cmd，即 cmd 路径 ps:在cmd中，鼠标右键 为粘贴 以管理员方式运行：开始- ......
SQLServer命令行备份数据库
SQLServer命令行备份数据库 背景 SQLServer on linux 想设置计划任务自动备份数据库 感觉sqlcmd应该是最简单快捷的方式了 所以进行一下处理. 安装必备软件 sudo curl -o /etc/yum.repos.d/msprod.repo https://package ......
pid文件关闭进程
/* 你必须定义一个 `main()` 函数入口。 you must define a `main()` function entry.*/#include <iostream>#include <string>using namespace std;#include <stdio.h>#inclu ......
扩容swap文件
扩容swap文件 查看/卸载/删除已有swap文件 # 查看交换分区的大小和使用量 jiangxin@ubuntu11:~$ free -m total used free shared buff/cache available 内存： 9815 297 6438 1 3080 9214 交换： 1 ......
文件操作及异常处理
文件操作 ''' open() 打开文件 file：要操作的文件名，绝对路径（从根目录开始）/相对路径（./ ../） mode：r只读（默认）/ w只写（没有就创建，且覆盖源文件）/ x（创建并写入）/ a追加 encoding：utf-8（一个汉字转成3个字节）/gbk（一个汉字转成2个字节） ......
linux 中 文件检索命令 find 和locate的区别
两者都适用在linux 中进行文件查找。 001、find 01、通过对目录、子目录遍历进行查找 02、支持各种条件，比如文件名、类型 -type、大小-size、所有者-user、权限-perm、时间-mtime等 03、结合-exec，支持后续的操作，比如删除、查看、压缩，重命名等 002、lo ......
基于WebRTC的局域网文件传输
基于WebRTC的局域网文件传输 WebRTC(Web Real-Time Communications)是一项实时通讯技术，允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点P2P(Peer-To-Peer)的连接，实现视频流、音频流、文件等等任意数据的传输，WebRTC包含的这 ......
vue常用命令
创建electron+vue项目 安装 Vue Cli npm install -g @vue/cli 创建项目 vue create electron-vue 添加electron模块 vue add electron-builder 运行项目 yarn electron:serve 打包项目 y ......
快速上手 dbt 数据转换工具 -- dbt core 命令进阶篇
引 根据第一篇文章的约定，我想通过接下来的几篇文章带大家进一步了解 dbt 的用法，原计划这篇文章我会介绍 dbt 命令的进阶用法，进一步认识 dbt 的配置以及如何创建增量表等等零零散散十几个方面的知识点，结果在我写完命令部分发现篇幅就过长了，考虑到大家对于知识的吸收，想了想还是把命令单独作为一个 ......
linux 终端使用 printf 命令
001、输出字符串 [root@pc1 test1]# ls [root@pc1 test1]# printf "hello world\n" ## 方法一 hello world [root@pc1 test1]# printf "%s\n" "hello world" ## 方法二 hello ......
JS 根据文件Magic Number判断文件是否是图片
原理:检测文件的 Magic Number 代码示例： var pngMagic = [ 0x89, 0x50, 0x4e, 0x47, 0x0d, 0x0a, 0x1a, 0x0a ]; var jpeg_jfif = [ 0x4a, 0x46, 0x49, 0x46 ]; var jpeg_ex ......
ubuntu shell命令执行xx.sh cd命令无法执行/ubuntu 执行shell出现cd命令不能执行的解决方案
请注意 如果是windows编写好上传ubuntu deploy.sh就会出现这样 编码问题, 请在ubuntu上直接vim deploy就不会出现这样问题。 shell在windows上写的，拿到linux稍微修改了下跑不了，竟然说cd命令找不到.我晕死，从国外站点查到是因为有^M字符结尾的原因 ......
CMakeLists.txt文件qt自定义测试项目
cmake_minimum_required(VERSION 3.24.2) project(test LANGUAGES CXX) set(CMAKE_CXX_STANDARD 11) set(CMAKE_CXX_STANDARD_REQUIRED ON) set(CMAKE_AUTOUIC ON ......
Spring学习记录之引入外部属性配置文件
Spring学习记录之引入外部属性配置文件 前言 这篇文章是我第二次学习b站老杜的spring相关课程所进行的学习记录，算是对课程内容及笔记的二次整理，以自己的理解方式进行二次记录，其中理解可能存在错误，欢迎且接受各位大佬们的批评指正； 关于本笔记，只是我对于相关知识遗忘时快速查阅了解使用，至于课程 ......
matlab读写pgm文件
读文件1 @4 l# |, g3 m/ X$ g$ p+ t %function disp_pgm(pgm_image_name) %不支持文件中有注释 pgm_image_name='tmp.pgm'; f = fopen(pgm_image_name,'r'); if f == -1 error ......
使用windbg分析dump文件
使用windbg分析dump文件的步骤。 准备工作。 打开dump文件。 指定符号表文件的路径。 指定可执行文件的路径。 指定源码文件的路径。 在windbg的命令行，输入并执行如下命令 .reload，重新加载前述数据文件。 !analyze -v，分析dump文件。 kbn，得到崩溃时的调用栈信 ......