方法论 分析法 数据分析 营销管理
Iceberg 数据治理及查询加速实践
数据治理 Flink 实时写入 Iceberg 带来的问题 在实时数据源源不断经过 Flink 写入的 Iceberg 的过程中，Flink 通过定时的 Checkpoint 提交 snapshot commit 操作到 Iceberg，将已写入到 Iceberg 的数据文件通过 Snapshot ......
ArcGIS Pro SDK 002 对数据文件的读取和操作
做系统开发或者数据处理的时候，我一般还是喜欢使用文件数据源，例如矢量用.shp文件存储，栅格数据用.tif或者.img文件存储。ArcGIS Pro SDK中对数据源操作的API和ArcObjects SDK中差别还是比较大的。 1、打开数据文件 打开文件数据的步骤如下。 （1）使用Shape文件所 ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......
Nacos服务发现原理分析
微服务将自己的实例注册到nacos注册中心，nacos服务端存储了注册列表，然后通过ribbon调用服务，具体是如何调用？如果nacos服务挂了，还能正常调用服务吗？调用的服务列表发生变化，调用方是如何感知变化的？带着这些问题，来探索一下服务发现的原理。 版本 2.1.1 Nacos Server: ......
redis（1）NoSQL数据库简介
1.1 技术发展 redis是用来解决性能问题的数据库 技术的分类： 解决功能性问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、Mybatis 解决性能问题：NoSQL、Ja ......
2023年十款开源测试开发工具推荐（自动化、性能、造数据、流量复制）
1、AutoMeter-API 自动化测试平台 AutoMeter 是一款针对分布式服务，微服务 API 做功能和性能一体化的自动化测试平台，一站式提供发布单元，API，环境，用例，前置条件，场景，计划，报告等管理 在项目开发，迭代交付过程中开发人员，测试人员需要针对系统提供的 API 做调试，回归 ......
记一次 .NET某家装ERP系统 内存暴涨分析
一：背景 1. 讲故事 前段时间微信上有一位老朋友找到我，说他的程序跑着跑着内存会突然爆高，有时候会下去，有什么会下不去，怀疑是不是某些情况下存在内存泄露，让我帮忙分析一下，其实内存泄露方面的问题还是比较好解决的，看过这个dump之后觉得还是有一定的分享价值，拿出来和大家分享一下吧。 二：WinDb ......
这样在管理后台里实现 403 页面实在是太优雅了
前言 403 页面通常表示无权限访问，与 404 页面代表着不同含义。而大部分管理后台框架仅提供了 404 页面的支持，但却忽略了对 403 页面的处理，有的框架虽然也有对 403 页面的处理，但处理效果却不尽人意。 那怎么样的 403 页面才是即好用，又优雅呢？ 其他框架是怎么做的 1、完全不处理 ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
RxJava 异常时堆栈显示不正确？解决方法都在这里
本文首发我的博客，github 地址 大家好，我是徐公，今天为大家带来的是 RxJava 的一个血案，一行代码 return null 引发的。 前阵子，组内的同事反馈说 RxJava 在 debug 包 crash 了，捕获到的异常信息不全。（即我们捕获到的堆栈没有包含我们自己代码，都是一些系统或 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......
Python核对遥感影像批量下载情况的方法
本文介绍批量下载遥感影像时，利用Python实现已下载影像文件的核对，并自动生成未下载影像的下载链接列表的方法~ ......
Python自动合并Word文件同时添加分页符的方法
本文介绍基于Python，实现对多个Word文档加以自动合并，并在每次合并时按要求增添一个分页符的方法。 现有多个Word文档文件，需将其按名称顺序合并为一个新的Word文件，且需保证每一次合并时，都另起一页（即新的Word文件一页中，不能出现两个及以上的原本单个Word文件的内容）。 一般的，实现 ......
Python GDAL读取栅格数据并基于质量评估波段QA对指定数据加以筛选掩膜
本文介绍基于Python语言中gdal模块，对遥感影像数据进行栅格读取与计算，同时基于QA波段对像元加以筛选、掩膜的操作~ ......
Python批量绘制遥感影像数据的直方图
本文介绍基于Python中gdal模块，实现对大量栅格图像批量绘制直方图的方法。 首先，明确一下本文需要实现的需求：现需对多幅栅格数据文件进行依据其像元数值的直方图绘制，具体绘制内容即各栅格图像像素数值的分布情况；所有栅格数据都保存在同一目标路径下，且均为.tif格式；而目标路径下具有其它非.tif ......
K3S 系列文章-5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout'分析与解决
开篇 《K3s 系列文章》 《Rancher 系列文章》 问题概述 20220606 5G IoT 网关设备同时安装 K3S Server, 但是 POD 却无法访问互联网地址，查看 CoreDNS 日志提示如下： ... [ERROR] plugin/errors: 2 update.traefi ......
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介
📚️Reference: IoT 边缘计算系列文章 什么是边缘容器？ 边缘容器的概念 边缘容器是分散的计算资源，尽可能靠近最终用户或设备，以减少延迟、节省带宽并增强整体数字体验。 可以访问互联网的设备数量每天都在增加。有包括但不限于： 智能电视 智能家居 智能手机 智能汽车 物联网 IoT 创造的 ......
大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 📚️Reference: IoT 边缘计算系列文章 Rancher + K3s 简介 Rancher： Kubernetes 统一管理平台， Rancher 是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个 K ......
大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 📚️Reference: IoT 边缘计算系列文章 HashiCorp 解决方案 - Nomad + Docker 简介 Nomad: 一个简单而灵 ......
SpringCloud 源码学习笔记2——Feign声明式http客户端源码分析
系列文章目录和关于我 一丶Feign是什么 Feign是一种声明式、 模板化的HTTP客户端。在Spring Cloud中使用Feign,可以做到使用HTTP请求访问远程服务，就像调用本地方法一一样的， 开发者完全感知不到这是在调用远程方法，更感知不到在访问HTTP请求。接下来介绍一下Feign的特 ......
Mybatis连接数据库
从零开始Mybatis连接数据库 创建Maven文件 File-->new-->project-->maven,点击next 配置 在出现的pom.xml文件中<project>标签之间加入以下内容 <!--打包方式--> <packaging>jar</packaging> <dependenci ......
任何人均可上手的数据库与API搭建平台
编写API可能对于很多后端开发人员来说，并不是什么难事儿，但如果您主要从事前端功能，那么可能还是有一些门槛。 那么有没有工具可以帮助我们降低编写API的学习门槛和复杂度呢？ 今天就来给大家推荐一个不错的开源工具：APITable APITable是一个面向API的可视化数据库，它适用于所有人，甚至没 ......
Android JetPack~ DataBinding(数据绑定)(一) 集成与使用
近期将会梳理一下JetPack全家桶的使用，包括DataBinding，Room，ViewModel，LiveData，Navigation等。 本来打算先写DataBinding的使用，没想到在17年的时候已经写过了，这里就补充一点吧，毕竟不是什么新东西 Android数据绑定技术一，企业级开发 ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
用AngleSharp & LINQPad抓取分析博客园排行榜
AngleSharp简单介绍 AngleSharp 是一个 .NET 库 使您能够解析基于尖括号的超文本，如HTML、SVG、MathML、XML AngleSharp的一个重要方面是CSS也可以解析。 同时还是开源，免费的 Github: https://github.com/AngleSharp ......
修改ctags让fzf.vim插件显示C,C++方法声明的标签
背景 在 vim 中使用 fzf.vim 插件可以进行方便的搜索文件, 源码TAG, GIT 记录等, 最近抽空看了下 BTags 命令在 c, c++ 文件中, 无法显示头文件中的函数声明 标签问题. 比如在头文件中有如下一个函数声明, 使用 BTags 命令是无法显示出这个函数原型的. /* 函 ......
慧销平台ThreadPoolExecutor内存泄漏分析
京东生旅平台慧销系统，作为平台系统对接了多条业务线。但近期根据告警发现内存持续升高，因此猜测该系统可能存在内存泄漏的情况。本文通过此案例，介绍慧销平台ThreadPoolExecutor内存泄漏问题的详细分析过程。 ......