实战 功能 工具 数据
Iceberg 数据治理及查询加速实践
数据治理 Flink 实时写入 Iceberg 带来的问题 在实时数据源源不断经过 Flink 写入的 Iceberg 的过程中，Flink 通过定时的 Checkpoint 提交 snapshot commit 操作到 Iceberg，将已写入到 Iceberg 的数据文件通过 Snapshot ......
ArcGIS Pro SDK 002 对数据文件的读取和操作
做系统开发或者数据处理的时候，我一般还是喜欢使用文件数据源，例如矢量用.shp文件存储，栅格数据用.tif或者.img文件存储。ArcGIS Pro SDK中对数据源操作的API和ArcObjects SDK中差别还是比较大的。 1、打开数据文件 打开文件数据的步骤如下。 （1）使用Shape文件所 ......
Ansible 多机自动化工具 初学笔记
此文档仅张聪明同学个人笔记；新负责KTH-RPL Cluster GPU的漫漫学习长路 English Docs: official https://docs.ansible.com/ansible/latest/index.html 中文相关文档： https://ansible.leops.cn ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......
2023年十款开源测试开发工具推荐（自动化、性能、造数据、流量复制）
1、AutoMeter-API 自动化测试平台 AutoMeter 是一款针对分布式服务，微服务 API 做功能和性能一体化的自动化测试平台，一站式提供发布单元，API，环境，用例，前置条件，场景，计划，报告等管理 在项目开发，迭代交付过程中开发人员，测试人员需要针对系统提供的 API 做调试，回归 ......
FTP客户端c代码功能实现
现在市面上有很多免费的FTP软件：如FileZilla ,那如果想自己在代码中实现与ftp服务器的上传下载文件该如何实现那？ 本质上ftp协议就是TCP基础上建立的一种协议，具体如下。 FTP 概述 文件传输协议（FTP）作为网络共享文件的传输协议，在网络应用软件中具有广泛的应用。FTP的目标是提高 ......
redis（1）NoSQL数据库简介
1.1 技术发展 redis是用来解决性能问题的数据库 技术的分类： 解决功能性问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、Mybatis 解决性能问题：NoSQL、Ja ......
一文详解ATK Loss论文复现与代码实战
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。 本文分享自华为云社区《ATK Loss论文复现与代码实战》，作者：李长安。 损失是一种非常通用的聚合损失，其可以和很多现有的定义在单 ......
kubernetes client-go功能介绍
原文地址 https://haiyux.cc/2023/02/26/k8s-client-go/ client-go是什么？ client-go是Kubernetes官方提供的Go语言客户端库，用于与Kubernetes API服务器交互。使用client-go，您可以编写Go语言程序来创建、修改和 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......
Python GDAL读取栅格数据并基于质量评估波段QA对指定数据加以筛选掩膜
本文介绍基于Python语言中gdal模块，对遥感影像数据进行栅格读取与计算，同时基于QA波段对像元加以筛选、掩膜的操作~ ......
Python批量绘制遥感影像数据的直方图
本文介绍基于Python中gdal模块，实现对大量栅格图像批量绘制直方图的方法。 首先，明确一下本文需要实现的需求：现需对多幅栅格数据文件进行依据其像元数值的直方图绘制，具体绘制内容即各栅格图像像素数值的分布情况；所有栅格数据都保存在同一目标路径下，且均为.tif格式；而目标路径下具有其它非.tif ......
Mybatis连接数据库
从零开始Mybatis连接数据库 创建Maven文件 File-->new-->project-->maven,点击next 配置 在出现的pom.xml文件中<project>标签之间加入以下内容 <!--打包方式--> <packaging>jar</packaging> <dependenci ......
任何人均可上手的数据库与API搭建平台
编写API可能对于很多后端开发人员来说，并不是什么难事儿，但如果您主要从事前端功能，那么可能还是有一些门槛。 那么有没有工具可以帮助我们降低编写API的学习门槛和复杂度呢？ 今天就来给大家推荐一个不错的开源工具：APITable APITable是一个面向API的可视化数据库，它适用于所有人，甚至没 ......
RabbitMQ 延迟消息实战
RabbitMQ 延迟消息实战 现实生活中有一些场景需要延迟或在特定时间发送消息，例如智能热水器需要 30 分钟后打开，未支付的订单或发送短信、电子邮件和推送通知下午 2:00 开始的促销活动。 RabbitMQ 本身没有直接支持延迟队列的功能，如果您搜索“如何在 RabbitMQ 中使用延迟消息” ......
Android JetPack~ DataBinding(数据绑定)(一) 集成与使用
近期将会梳理一下JetPack全家桶的使用，包括DataBinding，Room，ViewModel，LiveData，Navigation等。 本来打算先写DataBinding的使用，没想到在17年的时候已经写过了，这里就补充一点吧，毕竟不是什么新东西 Android数据绑定技术一，企业级开发 ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
金三银四来了-找工作有哪些平台/工具？
金三银四，年过完了，奖金（<=0）到手了，是时候出去看看了！但2023年的互联网“寒冬”好像并未褪去，就业环境依然不明朗，让大部分人都很迷茫。最近在看工作机会，就看了看家附近的公司和岗位，简单总结了一下用到的平台和相关工具，个人经验，仅供参考。 ......
我用 Python 写了一个统计博客园文章信息的小工具
前言 博客园在个人首页有一个简单的博客数据统计，以博客园官方的首页为例： 但是这些数据不足以分析更为细节的东西。所以从年后开始，就想着做一个类似 CSDN 里统计文章数据的工具： 这样的统计功能可以更好的去分析读者对于内容的需求，了解文章内容的价值，以及从侧面认识自己在知识创作方面的能力。 程序 这 ......
【KAWAKO】从mac上定时将腾讯云的数据备份到本地
前言 不信任一切云端平台，把数据牢牢握在自己手中才是最安全的。 需求 使用腾讯云服务器上的宝塔面板定时备份网站和数据库，然后定时将备份后的数据存到本地。 宝塔面板 备份网站 备份数据库 mac端 创建工程文件夹 rua.py 在python中使用scp将备份的网站文件和数据库文件传到本地。会将log ......
三分钟实战手写Spring Boot Starter
1 背景 在平时的开发中，开发的同学会把一些通用的方法，写成一个工具类，例如日期转换的，JSON转换的等等，方便业务后续调用，使代码更容易维护。 如果一些更常用的方法，例如鉴权的，加解密的等等，几乎每个项目都会使用到，这时候开发的同学就会从以前的项目中再抄过来，随着项目的增多，几乎每个项目都有一份一 ......
国际财务系统基于ShardingSphere的数据分片和一主多从实践
作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨 ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（3）-系统数据集合设计
前言 前几章教程我们把ToDoList系统的基本框架搭建好了，现在我们需要根据我们的需求把ToDoList系统所需要的系统集合（相当于关系型数据库中的数据库表）。接下来我们先简单概述一下这个系统主要需要实现的功能以及实现这些功能我们需要设计那些数据库集合。 MongoDB从入门到实战的相关教程 Mo ......
WAF Bypass 介绍与实战
前言 WAF是英文"Web Application Firewall"的缩写，中文意思是"Web应用防火墙"，也称为"网站应用级入侵防御系统"。WAF是集WEB防护、网页保护、负载均衡、应用交付于一体的WEB整体安全防护设备 WAF从形态上可分为硬件WAF、WAF防护软件和云WAF 以下仅介绍软件W ......
在腾讯云上创建一个玩具docker-mysql数据服务
有时候开发需求会自己做一下测试数据，在自己电脑本地安装的服务多了电脑环境会搞的很乱，这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像，并导入数据，使用的过程。 服务端配置 首先使用ssh登录服务器，然后按照下面的步骤一步一步操作即可。 安 ......
Vue3 企业级优雅实战 - 组件库框架 - 10 实现组件库 cli - 下
上文创建了一堆 utils、component-info，并实现了新组件模块相关目录和文件的创建。本文继续实现后面的内容。 1 组件样式文件并导入 在 src/service 目录中创建 init-scss.ts 文件，该文件导出 initScss 函数。 由于 .vue 类型的组件的样式就直接写在 ......
Vue3 企业级优雅实战 - 组件库框架 - 11 组件库的打包构建和发布
回顾第一篇文章中谈到的组件库的几个方面，只剩下最后的、也是最重要的组件库的打包构建、本地发布、远程发布了。 1 组件库构建 组件库的入口是 packages/yyg-demo-ui，构建组件库有两个步骤： 添加 TypeScript 的配置文件： tsconfig.json 添加 vite.conf ......
数据库系列：MySQL慢查询分析和性能优化
1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ......
记一次CVE实战挖掘记录
CVE实战挖掘记录 前一段时间在学习代码审计，然后为了学习就开始在github上面找开源的项目进行练手学习代码审计，这样就可以获取CVE编号。 0x01 cve编号获取流程 首先登录CVE官方网站，选择如下选项Report Vulnerability/Request CVE ID（报告漏洞/请求CV ......