玩法dremio nessie
dremio jdbc 插件时间增量处理的一些问题
dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 ......
dremio 反射刷新时间的一些简单说明
dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 ......
dremio+nessie+dbt+ cube.js 实现简单数据服务
以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 ......
dremio nessie 元数据sql查询简单说明
以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 ......
rabbitmq 集群docker玩法
属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
子串的玩法一
子串的实际案例： shell截取字符串通常有两种方式：从指定位置开始截取和从指定字符（子字符串）开始截取。 从指定位置开始截取 这种方式需要两个参数：除了指定起始位置，还需要截取长度，才能最终确定要截取的字符串。 既然需要指定起始位置，那么就涉及到计数方向的问题，到底是从字符串左边开始计数，还是从字 ......
dremio nessie 集成玩法
昨天我简单写了dremio 集成nessie 的玩法， 实际上dremio 与nessie 的集成可以分为两大类，一类是使用nessie 做为catalog 服务 （当然也是支持写入iceberg 的），一类是基于外部工具（spark，flink） 使用nessie 做为metadata stora ......
linux下好玩的shell程序与玩法
1 主要包括如下程序： sudo apt install lolcat aewan cowsay jp2a linuxlogo neoftechfortune pv cmatrix cbonsai 2 fortune：人们喜欢阅读随机的预测或说法，该工具用来缓解无聊的时光。 上边是没有lolcat的 ......
dremio nessie数据源集成简单说明
nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag ......
【彩虹六号】各个地图有意思的玩法笔记（自用）
【彩虹六号】各个地图有意思的玩法笔记（自用） 每次看到一些有趣的方法总是忘记，干脆做个笔记吧 运河 运河二楼外墙摔炮听切 运河二楼外墙摔炮听切实战 方向放大 需要注意这个地方可以收人头/被抓 站在钢琴房偷天窗 天窗偷人法 先给天窗标点 去钢琴房敲洞 仅限开局三十秒 木屋 ASH+FUZE清地下电 【 ......
dremio hive jdbc arp date 类型问题记录
简单记录下碰到的一些问题 分析 arthas stack 查看调用 ffect(class count: 2 , method count: 4) cost in 329 ms, listenerId: 11 ts=2023-12-26 06:18:17;thread_name=e3 - 1a758 ......
【.NET】控制台应用程序的各种交互玩法
【.NET】控制台应用程序的各种交互玩法 老周是一个不喜欢做界面的码农，所以很多时候能用控制台交互就用控制台交互，既方便又占资源少。有大伙伴可能会说，控制台全靠打字，不好交互。那不一定的，像一些选项类的交互，可以用键盘按键（如方向键），可比用鼠标快得多。当然了，要是要触控的话，是不太好用，只能做UI ......
基于pg driver 的dremio cratedb arp 扩展
实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo ......
以前开发的一些dremio arp 扩展24.3 更新
以前开发过一些简单的arp 扩展（核心还是修改的ce 版本的），dremio 发布24.3版本了，但是有不少调整，造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c ......
dremio 24.3 版本构建的一些问题
dremio 24.3 社区版代码提供了，从官方文档来看，构建与以前不太一样了，以下是构建中一些问题说明 主要问题 jdk 需要同时包含jdk8 以及jdk11, maven 配置toolchains 解决方法 对于多jdk 的安装可以使用二进制程序，比如我使用的mac 我使用了sdkman 这个工 ......
dremio arp 扩展开发icon问题
好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui ......
dremio 24.3.0 arp 扩展变动
dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下 参 ......
dremio 24.3.0 发布
24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件， 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编 ......
【.NET】控制台应用程序的各种交互玩法
老周是一个不喜欢做界面的码农，所以很多时候能用控制台交互就用控制台交互，既方便又占资源少。有大伙伴可能会说，控制台全靠打字，不好交互。那不一定的，像一些选项类的交互，可以用键盘按键（如方向键），可比用鼠标快得多。当然了，要是要触控的话，是不太好用，只能做UI了。 关于控制台交互，大伙伴们也许见得最多 ......
【.NET】控制台应用程序的各种交互玩法
老周是一个不喜欢做界面的码农，所以很多时候能用控制台交互就用控制台交互，既方便又占资源少。有大伙伴可能会说，控制台全靠打字，不好交互。那不一定的，像一些选项类的交互，可以用键盘按键（如方向键），可比用鼠标快得多。当然了，要是要触控的话，是不太好用，只能做UI了。 关于控制台交互，大伙伴们也许见得最多 ......
基于dremio dbt 实现dremio 语义层建模的简单说明
简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt ......
dremio dbt adapter 一些简单说明
dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice ......
shell补-特殊玩法-shell编程debug
shell补-特殊玩法-shell编程 debug debug思想 debug测试 单步执行脚本 自个调试，用注释，或者echo自个打印输出啥的，就这么搞 bash -x 整个脚本调试 set与开关debug （适用于脚本或者命令行都可以） set -x 开始debug set +x 结束debug ......
shell补-特殊玩法-批量检查在线用户的ip
shell补-特殊玩法-批量检查在线用户的ip 写一个脚本，实现判断10.0.0.0/24网络里，当前在线的ip有哪些 ####方法1 直接命令 nmap [root@localhost usr]# nmap 10.0.0.0/24 #扫描0至24的主机，查看主机状态，开发端口； [root@loc ......
shell补-特殊玩法-cut命令tar以及past和join
shell补-特殊玩法-cut命令是awk的阉割版 具体情况，后面详看 shell补-特殊玩法-tar压缩指定目录案例 案例:指定目录路径，脚本自动将该使用tar命令打包备份到/data目录 #!/bin/bash read -p "Input dir to backup: " dir if [ - ......
shell补-特殊玩法-批量修改文件
shell补-特殊玩法-批量修改文件 几个其他方法；感觉最简单的就是rename ###方法3 rename #rename 找谁， 替换为什么 范围 [root@localhost random]# ll 总用量 0 -rw-r--r--. 1 root root 0 11月 17 16:03 b ......
shell补-特殊玩法-批量修改密码
shell补-特殊玩法-批量修改密码 写一个脚本批量添加用户和随机密码 root@localhost usr]# bash randomadduser.sh 更改用户 mrrxu00001 的密码 。 passwd：所有的身份验证令牌已经成功更新。 更改用户 mrrxu00002 的密码 。 pas ......
shell补-特殊玩法-生成随机字符串
shell补-特殊玩法-生成随机字符串 方法1： md5sum 方法2：tr + /dev/urandom 方法3： 内置变量RANDOM ； #方法1 [root@localhost ser]# openssl rand -base64 10 8/54arQpCmQ12Q== [root@loca ......
shell补-特殊玩法-安全防护案例
shell补-特殊玩法-安全防护案例 案例1：编写一个shell脚本解决类DDOS攻击的生成案例，请更加web日志或者系统网络连接数，监控当某个ip并非连接数，若短时间内PV达到100（阈值），即调用防火墙命令封掉对应的ip. 防火墙命令 iptables -I INPUT -s IP地址 -j d ......