数据处理sarscape方法 数据
pugixml XML格式处理库的介绍和使用（面向业务编程-格式处理）
pugixml XML格式处理库的介绍和使用（面向业务编程-格式处理） 介绍 pugixml是一个轻量级的C++ XML处理库。它的特点: 类似dom的界面，具有丰富的遍历/修改功能 非常快速的非验证XML解析器 它从XML文件/缓冲区构造DOM树用于复杂数据驱动 支持树查询的XPath 1.0 实 ......
simpleini库的介绍和使用（面向业务编程-格式处理）
simpleini库的介绍和使用（面向业务编程-格式处理） 介绍 simpleini是一个跨平台的ini格式处理库，提供了一些简单的API来读取和写入ini风格的配置文件。它支持ASCII、MBCS和Unicode格式的数据文件。它被明确设计为可移植到任何平台，并已在Windows, WinCE和L ......
[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北
本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
创建型：工厂模式-工厂方法、抽象工厂
简单工厂问题 简单工厂中我们通过参数来返回不同的产品对象，如果管理的对象过多，这个工厂函数会比较庞大，且当我们需要增加一个新的产品时，需要修改这个工厂方法，违反开闭原则（对拓展开放，对修改关闭）。 为了解决简单工厂模式的问题，出现了工厂方法模式。 解决简单工厂思路 简单工厂类图关系类似如下： 如上图 ......
方法论系列：用四个金字塔来说明金字塔原理
本系列博客就以比较知名的《金字塔原理》作为开篇，本文会以四个“金字塔”的形式介绍金字塔原理的核心概念，从而剖析金字塔的结构、了解金字塔的构建方式、掌握其中的思考逻辑以及解决问题的关键思路。为什么一金字塔原理开篇呢？因为这个是我17年入职当前这家公司时所听到的第一个方法论，在公司时隔5年依然被奉为方法... ......
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
问题描述 使用Azure Kubernetes服务(AKS)，可以通过kubectl连接 pod 中查看日志，但是如何来查看节点的系统日志呢？如是否有ubuntu系统升级的记录？ 问题解答 是的，可以进入AKS的节点查看系统文件，如日志文件（/var/log) 或者由应用生产的其他日志。 具体的操作 ......
linux网络编程中的errno处理
在网络编程中，处理网络连接、连接收发数据等经常会涉及到errno的处理。经过查阅了很多资料，发现没有一个系统的讲解，在不同阶段会遇到哪些errno，以及对这些errno需要如何处理。因此，本文将分为三个部分来讲解。 ......
Java多种方法实现等待所有子线程完成再继续执行
简介 在现实世界中，我们常常需要等待其它任务完成，才能继续执行下一步。Java实现等待子线程完成再继续执行的方式很多。我们来一一查看一下。 Thread的join方法 该方法是Thread提供的方法，调用join()时，会阻塞主线程，等该Thread完成才会继续执行，代码如下： private st ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
sqlite3数据库Linux 系统移植和使用
sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......
在Vue中体验LeanCloud无后台轻量级数据存储服务
作为一个前端开发小伙伴，你在做一款自己的App、小程序或H5网页时如果需要存储列表数据你是怎么做的，自学后端编程搞一套？部署服务还需要花服务器的钱，不能盈利的个人小项目肯定是不合适的，其实各种平台有提供一些 ServerLess 云服务，微信小程序的云开发、Uniapp的UniCloud及其早年在做... ......
Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字-图片数据集
最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO，包含 7 亿对图像和文本，并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 ALIGN。 这是 ALIGN 模型首次公开发布供开源使用，同时 ViT 和 ALIGN 模型的发布都 ......
Java+Redis 通过Lua 完成库存扣减，创建消息队列，异步处理消息--实战
需要完成功能 借助redis Stream 数据结构实现消息队列，异步完成订单创建，其中涉及到了缓存（击穿，穿透，雪崩），锁（Redisson），并发处理，异步处理，Lua脚本 IDE:IDEA 2022 1、读取库存数据 【Lua】 2、判断库存 【Lua】 3、扣减库存 【Lua】 4、创建队列 ......
OracleDatabase——数据库表空间dmp导出与导入
由于公司的程序一直部署在客户现场内网，内网调试难度高，一般是有备份还原数据库的需求，这里简记备份（导出）数据库dmp文件与恢复（导入）的步骤。 一、导出dmp文件 exp与expdp命令异同 相同点：exp与expdp命令都是备份数据库的。 不同点： 1、expdp效率更高，exp是串行备份的，但e ......
Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法
本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~ ......
Python批量读取HDF多波段栅格数据并绘制像元直方图
本文介绍基于Python语言gdal模块，实现多波段HDF栅格图像文件的读取、处理与像元值可视化（直方图绘制）等操作~ ......
Python gdal读取MODIS遥感影像并结合质量控制QC波段掩膜数据
本文介绍基于Python中GDAL模块，实现MODIS遥感影像数据的读取、计算，并基于质量控制QC波段进行图像掩膜的方法~ ......
批量下载Landsat遥感影像的方法
本文介绍在USGS网站批量下载Landsat系列遥感影像的方法。 首先，打开EarthExplorer的官网，首先完成注册与登录。 接下来，点击左侧“Search Criteria”，首先选择研究区域。研究区域的划定有多种方法，可以依据地理名称选定研究区域，也可以在右侧地图中手动划定研究区域，还可以 ......
批量下载浏览器网页中全部链接的方法
本文介绍在Chrome浏览器中，通过迅雷自动批量选中网页中全部下载链接并进行下载的方法。 前期的文章批量下载Landsat遥感影像的方法中，我们详细介绍了USGS遥感影像批量下载的方法。在利用这一方法生成每一幅影像的下载链接后，我们直接结合可以批量获取网页内下载链接的下载软件进行下载。而在这一过程中 ......
批量下载MODIS遥感影像：基于LAADS DAAC的方法
本文介绍在LAADS DAAC的官方网站中，批量、快速下载MODIS遥感影像各类产品数据的免费方法。 之前一篇文章Earthdata批量下载MODIS遥感影像的方法介绍了MODIS等遥感数据在Earthdata中批量下载的方法，但是这一方法需要可以访问外国网站才可进行，因此相对不太实用；本文所介绍方 ......
个人数据保全计划：(2) NAS基础知识
前言 距离去年国庆入手了NAS至今有好几个月时间了，NAS折腾起来有点麻烦，且实际作用因人而异，并没有想象中的好用，所以说好的这个系列一直没有更新~ 还有另一方面的原因，这些NAS的系统基于Linux深度定制，对于我这种习惯用Linux的人来说，用着很别扭不自在，处处受限制… 所以在使用了这台威联通 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(9)-Charles如何修改请求参数和响应数据-上篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(10)-Charles如何修改请求参数和响应数据-下篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
【调试】ftrace(一)基本使用方法
简介 Ftrace是Linux Kernel的官方tracing系统，支持Function trace、静态tracepoint、动态Tracepoint的跟踪，还提供各种Tracer，用于统计最大irq延迟、最大函数调用栈大小、调度事件等。 Ftrace还提供了强大的过滤、快照snapshot、实 ......
现代图片性能优化及体验优化指南 - 图片资源的容错及可访问性处理
本文是系列第五篇，终章。系列文章： 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 现代图片性能优化及体验优化指南 - 响应式图片方案 现代图片性能优化及体验优化指南 - 缩放精细化展示及避免布局偏移、拉伸 现代图片性能优化及体验优化指南 - 懒加载及异步图像解码方案 图 ......
自动化测试如何管理测试数据
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/67fb1f11.html 前言 你好，我是测试蔡坨坨。 在之前的自动化测试框架相关文章中，无论是接口自动化还是UI自动化，都谈及data模块和config模块，也就是测试数据和配置文件。 PS：自动化测试框架可参考往期文章 ......