dremio druid 24.2 arp
dremio jdbc 插件时间增量处理的一些问题
dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 ......
dremio 反射刷新时间的一些简单说明
dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 ......
dremio+nessie+dbt+ cube.js 实现简单数据服务
以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 ......
Druid未授权访问
1.2 详细信息 https://biw-admin.test.com/api/vcSupplier/druid/websession.html 可监控sql、url及session信息。 1.3 修复建议 druid开启登录验证功能。 https://biw-admin.test.com/api/ ......
kylin和druid的区别
https://www.zhihu.com/question/41541395 相同点： 1、都是数据的预聚合，空间换时间 区别： 1、druid支持数据实时摄入，实时查询 2、druid核心是时间序列，适合于按照时间进行统计分析的场景 3、kylin将hive中的数据按照查询列构建成cube，存储 ......
ARP攻击
排查方法： 1.使用Sniffer抓包。在网络内任意一台主机上运行抓包软件，捕获所有到达本机的数据包。如果发现有某个IP不断发送请求包，那么这台电脑一般就是病毒源。 原理：无论何种ARP病毒变种，行为方式有两种，一是欺骗网关，二是欺骗网内的所有主机。最终的结果是，在网关的ARP缓存表中，网内所有活动 ......
dremio nessie 元数据sql查询简单说明
以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 ......
Druid链接池的配置和使用
Druid链接池的配置和使用 1.URL参数配置1.1.实例：jdbc:mysql://192.168.1.8:3306/mytest?serverTimezone=GMT%2B8&autoReconnect=true&allowMultiQueries=true&useUnicode=true&c ......
JDBCUtils工具类进阶版使用阿里的数据库连接池druid
JDBCUtils工具类进阶版使用阿里的数据库连接池druid druid.properties driverClassName=com.mysql.jdbc.Driver url=jdbc:mysql://127.0.0.1:3306/emp username=root password=**** ......
druid数据源根据url自动加载相应驱动的原理 JDBC 的 DriverClass 示例
druid数据源根据url自动加载相应驱动的原理 # 数据源配置 spring: datasource: type: com.alibaba.druid.pool.DruidDataSource #driverClassName: com.mysql.cj.jdbc.Driver druid: # ......
springboot整合druid及多数据源配置
前言 本篇主要分两部分 ①springboot整合druid的代码配置，以及druid的监控页面演示；②对实际场景中多数据源的配置使用进行讲解。 一、springboot整合druid的演示demo可以用idea快速生成一个可运行的demo工程，具体可以参考如何快速创建springboot项目 主要 ......
python3发送Gratuitous ARP更新vip绑定关系
操作系统 ：CentOS 7.6_x64 Python版本：3.9.12 FreeSWITCH版本 ：1.10.9 高可用场景下，vip切换完成后需要发送arp广播更新ip和mac地址的绑定关系，如果不及时发广播，会导致tcp重连等问题。 今天记录下python3如何使用arp广播更新ip和mac地 ......
druid实现数据库密码加密功能
数据库密码直接写在配置中，对运维安全来说，是一个很大的挑战。可以使用Druid为此提供一种数据库密码加密的手段ConfigFilter。 如果项目已经集成druid，只需按要求配置即可。 1、执行命令加密数据库密码 找到druid-1.2.20.jar所在的文件夹目录，执行cmd命令，然后执行下面的 ......
dremio nessie 集成玩法
昨天我简单写了dremio 集成nessie 的玩法， 实际上dremio 与nessie 的集成可以分为两大类，一类是使用nessie 做为catalog 服务 （当然也是支持写入iceberg 的），一类是基于外部工具（spark，flink） 使用nessie 做为metadata stora ......
dremio nessie数据源集成简单说明
nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag ......
Ping不通问题解决 windows 查看对端MAC地址 ARP -a
Ping不通问题解决 Linux查看ARP信息指南（linux查看arp） ARP（地址解析协议）是TCP/IP协议提供的网络层协议，通过ARP可以查看网络层面上当前可连接的本地网络内每个主机的MAC地址。 ## 查看系统的ARP信息 Linux系统中查看ARP信息的方法有很多，下面简单介绍几种常见 ......
dremio hive jdbc arp date 类型问题记录
简单记录下碰到的一些问题 分析 arthas stack 查看调用 ffect(class count: 2 , method count: 4) cost in 329 ms, listenerId: 11 ts=2023-12-26 06:18:17;thread_name=e3 - 1a758 ......
Druid源码阅读--带流程图
一、架构分析 Druid类图如下所示： 两大核心类：DruidDataSource和DruidAbstractDataSource 连接有效性check：从连接池中获取连接后会做有效性check，在类中有ValidConnectionChecker接口，对应有不同数据库的实现 异常处 ......
Druid源码阅读--带设计思想
一、Druid数据源连接池概念 对于连接来说，建立连接和销毁连接是非常耗时的，因此使用池化思想，将连接放入连接池中，便于复用。 1、Druid 中连接的概念 由于将连接放入了连接池，那么就存在两个维度的连接，一个是在连接池中真实的物理连接，一个是应用角度获取到的连接，即逻辑连接。物理连接 ......
ARP攻击与欺骗的原理与复现
arp概述 1、arp地址解析协议，把一个已有的ip地址解析成对应的mac地址 2、arp工作在三层，有交换机进行转发，路由器是不会转发ARP协议 arp工作原理 1、现局域网有三台主机A、B、C，一台交换机，三台主机都未互相访问过 2、A主机arp缓存表里没有C主机的MAC地址，A会发送arp广播 ......
基于pg driver 的dremio cratedb arp 扩展
实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo ......
以前开发的一些dremio arp 扩展24.3 更新
以前开发过一些简单的arp 扩展（核心还是修改的ce 版本的），dremio 发布24.3版本了，但是有不少调整，造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c ......
dremio 24.3 版本构建的一些问题
dremio 24.3 社区版代码提供了，从官方文档来看，构建与以前不太一样了，以下是构建中一些问题说明 主要问题 jdk 需要同时包含jdk8 以及jdk11, maven 配置toolchains 解决方法 对于多jdk 的安装可以使用二进制程序，比如我使用的mac 我使用了sdkman 这个工 ......
dremio arp 扩展开发icon问题
好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui ......
使用druid数据源进行配置主库和从库，并实现定时拉取从库数据功能
业务场景：Oracle数据库，项目中需要用到其它友商的数据，但是友商并未提供接口，而是直接提供了数据库，让我定时拉取同步其数据。 使用技术：使用了druid数据源，并配置从库 maven坐标 <!-- 阿里数据库连接池 --> <dependency> <groupId>com.alibaba</g ......
dremio 24.3.0 arp 扩展变动
dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下 参 ......
dremio 24.3.0 发布
24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件， 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编 ......
Druid监控页面配置
springboot的yml配置文件添加如下配置： spring: # 数据库连接相关配置 datasource: druid: filters: stat,wall stat-view-servlet: enabled: true login-username: admin login-passw ......
基于dremio dbt 实现dremio 语义层建模的简单说明
简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt ......
dremio dbt adapter 一些简单说明
dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice ......