使用指南 指南 个人obs
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
JVM大页内存的学习与使用
JVM大页内存的学习与使用 原理和背景 操作系统是计算机的重要组成部分. 现代的操作系统一般都采用 段页式内存管理. 段一般是为了管理和权限 页主要是为了虚拟内存和物理内存的映射. 分页管理可以让物理上不连续的内存在程序看来是逻辑地址连续的. 但是这也意味着分页分页内存管理需要有一个虚拟内存和物理内 ......
Python之DataFrame的使用
以下是Python之DataFrame的使用： 1.定义DataFrame的方式（不带参、使用list、使用列标签） import pandas as pd df = pd.DataFrame print(df) arr = [1,2,3,4,5] df = pd.DataFrame(arr) pr ......
Blazor学习之旅 (13) Razor类库的使用
在Web前端应用中，同样也涉及一些基础的功能我们希望在各个Blazor应用中复用，而不是在每个Blazor应用中都重复地写一遍。在Blazor应用中，可以通过Razor类库在多个应用程序之间共享和复用这些基础组件。Razor类库也是一种.NET项目类型，它包含 Razor 组件、页面、HTML、级联... ......
Git工具使用命令
Git工具使用命令 Git概述 Git是一个分布式版本控制工具，本篇介绍如何使用Git连接Gitee代码托管平台，实现线上仓库代码项目的推送与克隆。 而且会介绍如何在IDE开发工具集成Git工具 Git全局设置 通常我们在下载完git后会对git进行全局设置 也就是说设置用户名称和email地址 设 ......
Mac 使用 open 命令，快速打开文件
今天突然发现Mac 有个很好用的命令，open xxx，使用这个命令可以用默认软件打开这个文件，比如各种文本格式的文件会用txt文本打开，mp4 格式的文件会用 player打开。 open aaa.txt open ddd.mp4 ......
优先队列（堆的使用）
如何定义 大根堆：每个节点的值都大于等于其子节点的值，在大根堆中，最大值总是在堆顶 小根堆：每个节点的值都小于等于其子节点的值，在小根堆中，最小值总是在堆顶 #include <queue>//头文件 //通用写法 std::priority_queue<TypeName> q; ∕∕ 数据类型为 ......
bpftool使用方法简介
1、安装bpftool工具 看起来，在不同的linux发行版里，bpftool在不同的软件包里，ubuntu 22上，bpftool是linux-tools-generic的一部分，而树莓派里bpftool是一个单独的软件包。 在ubuntu上： sudo apt install linux-too ......
SpringBoot中使用Swagger
添加pom.xml配置 <!-- https://mvnrepository.com/artifact/com.github.xiaoymin/knife4j-spring-boot-starter --> <dependency> <groupId>com.github.xiaoymin</gro ......
国内的开源AI模型共享网站（AI模型的GitHub）—— mindscope —— 使用git lfs方式下载模型文件基本不可行——速度太慢，几十KB/s的速度
参考前文： 国内的开源AI模型共享网站（AI模型的GitHub）—— mindscope —— 对标外网的“huggingface”，mindscope好用吗？ ......
使用Golang Validator包实现数据验证
使用Golang Validator包实现数据验证 原创 沙蒿 程序员的碎碎念 2024-01-01 08:20 发表于北京 听全文 引言 在开发过程中，数据验证是一个非常重要的环节。它可以确保输入的数据的合法性和有效性，从而保证系统的稳定性和安全性。Golang是一种强类型的静态编程语言，它提供了 ......
记录：使用 Python 操作 Cloudflare R2 对象存储
创建存储桶：仪表盘 -- R2 -- 创建存储桶 R2 界面右上角 -- 管理 R2 API 令牌 -- 创建 API 令牌 cloudflare/python-cloudflare: Python wrapper for the Cloudflare Client API v4 python AP ......
【ASP.NET Core】使用SignalR推送服务器日志
一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代码，其他的基本重写。如今上位机的启动时间在网络状态良好的条件下 ......
Matlab中reshape函数的使用
reshape把指定的矩阵改变形状，但是元素个数不变， 例如，行向量： a = [1 2 3 4 5 6] 执行下面语句把它变成3行2列： b = reshape(a,3,2) 执行结果： b = 1 4 2 5 3 6 若a=[1 2 3 4 5 6 7 8 9] 可以从b中看到reshape是按 ......
使用vcpkg和OHOS SDK构建开源软件
安装OHOS SDK 参照OHOS IDE和SDK的安装方法，安装构建工具。 创建用户环境变量OHOS_NDK_HOME，指向OHOS SDK的安装路径，比如D:\Tools\Huawei\OHOS\SDK\9。 构建vcpkg.exe 下载定制过的vcpkg-tool项目的代码，执行如下命令： g ......
kube-prometheus的使用
1.兼容性 Github：https://github.com/prometheus-operator/kube-prometheus kube-prometheus stack Kubernetes 1.22 Kubernetes 1.23 Kubernetes 1.24 Kubernetes 1 ......
保护个人隐私：电脑软件分身的重要性
保护个人隐私：电脑软件分身的重要性 在数字化时代，个人隐私保护成为了一个日益重要的议题。随着科技的进步和互联网的普及，我们的个人信息越来越容易受到侵犯。因此，保护个人隐私变得至关重要。在这方面，电脑软件分身技术的出现给我们提供了一种有力的解决方案。 什么是电脑软件分身呢？简单来说，它是一种将用户的真 ......
使用 callgrind 在 Linux 进行局部代码性能分析
VS 的性能剖析器可以很方便在选定的代码之间（用断点或者别的什么控制）进行性能剖析，这个功能在大型项目里是十分重要的。linux 有比 win 下更强的，更深入的性能剖析器，但是很遗憾，pref 之类的这些剖析器都是输出整个程序运行的信息的，反而会让你找不到需要关键信息。 找了很久，最后在 Visu ......
一份新手向的字符串入门指南
一份新手向的字符串入门指南 \(\text{0.Introduction}\) 今天模拟赛又遇见了字符串题，又不会做了。恰逢 NOIp，所以写一篇新手向的字符串入门指南。注意这篇博客是写给纯新手的，所以开头会说很多比较简单的东西。 充分理解了此博客中的所有内容后，可以阅读 command_block ......
Anaconda入门使用指南--送Python初学者
打算学习 Python 来做数据分析的你，是不是在开始时就遇到各种麻烦呢？ 到底该装 Python2 呢还是 Python3 ？为什么安装 Python 时总是出错？怎么安装工具包呢？为什么提示说在安装这个工具前必须先安装一堆其他不明所以的工具？相信大多数 Python 的初学者们都曾为环境问题而头 ......
linux 终端使用 printf 命令
001、输出字符串 [root@pc1 test1]# ls [root@pc1 test1]# printf "hello world\n" ## 方法一 hello world [root@pc1 test1]# printf "%s\n" "hello world" ## 方法二 hello ......
wsl2使用记录
安装 微软商店下载想要的发行版（但这样可能和默认Ubuntu在某些操作上有些不同）；为了体验再下载Windows Terminal； 此时似乎点击ubuntu图标就会开始相应wsl系统建立；但自己下的发行版似乎就不行；用Windows Terminal可以修改启动default wsl --inst ......
linux 中while 循环read读入数据 使用IFS指定分割符
001、测试数据 [root@pc1 test1]# ls a.txt [root@pc1 test1]# cat a.txt ## 测试数据 d_j j k d d_kk 002、不指定分隔符 [root@pc1 test1]# ls a.txt [root@pc1 test1]# cat a.t ......
(pytest) pytest-datadir 相关使用说明
pytest-datadir 是 pytest 第三方插件，用于测试数据的管理。 官方文档说明链接：https://pypi.org/project/pytest-datadir/ step1: 安装 pip install pytest-datadir -i https://pypi.tuna.t ......
往前看，别回头——2023个人年终总结
2023年终总结 赶着昨晚回家前，把最后一个commit提交完，终于也又到一年之末了。 这一年来，是一路小跑冲到终点的快节奏，也是步履不停的一路前行； 行至当途，也是到了该停下来好好沉淀思考的时候了； 还记得也是去年年终的时候，开始陆续收到了一些猎头的邀约，BOSS直聘上也不乏一些推 ......
使用windbg分析dump文件
使用windbg分析dump文件的步骤。 准备工作。 打开dump文件。 指定符号表文件的路径。 指定可执行文件的路径。 指定源码文件的路径。 在windbg的命令行，输入并执行如下命令 .reload，重新加载前述数据文件。 !analyze -v，分析dump文件。 kbn，得到崩溃时的调用栈信 ......
使用CMake启用RUNPATH特性
使用CMake，启用RUNPATH特性，可以参考官方帖子。 如下源码来自于上述帖子。 CMAKE_MINIMUM_REQUIRED(VERSION 2.8 FATAL_ERROR) PROJECT(RUNPATH C) SET(CMAKE_VERBOSE_MAKEFILE ON) SET(CMAKE ......
使用 JVM 进程缓存 Caffeine
使用 JVM 进程缓存的优点就是没有网络开销，性能速度最快；缺点就是容量有限，无法共享；比较适合性能要求高，缓存数据量小的场景。如果我们自己实现 JVM 进程缓存的话，会使用到 Map 数据类型，相关的过期移除策略以及容量控制都得自己实现，比较麻烦。Caffeine 是一个基于 Java8 开发的提 ......
Go 语言为什么很少使用数组？
大家好，我是 frank，「Golang 语言开发栈」公众号作者。 01 介绍 在 Go 语言中，数组是一块连续的内存，数组不可以扩容，数组在作为参数传递时，属于值传递。 数组的长度和类型共同决定数组的类型，不同类型的数组之间不可以比较，否则在编译时会报错。 因为数组的一些特性，我们在 Go 项目开 ......