183数据结构 分布式 缓存
[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北
本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
day09-MyBatis缓存
MyBatis缓存 mybatis – MyBatis 3 | cache MyBatis 一级缓存全详解(一) MyBatis 内置了一个强大的事务性查询缓存机制，它可以非常方便地配置和定制。 为了使它更加强大而且易于配置，我们对 MyBatis 3 中的缓存实现进行了许多改进。 1.一级缓存 1 ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
Spring Cloud Alibaba 整合 Seata 实现分布式事务
在Spring Boot单体服务中，添加@Transactional注解就能实现事务。在单体服务中，执行事务都是在同一个数据库下进行。但是随着业务越来越复杂，数据量越来越大会进行分库分表。在微服务场景下，每个服务都有自己的数据库。之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。 前面 ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
sqlite3数据库Linux 系统移植和使用
sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......
在Vue中体验LeanCloud无后台轻量级数据存储服务
作为一个前端开发小伙伴，你在做一款自己的App、小程序或H5网页时如果需要存储列表数据你是怎么做的，自学后端编程搞一套？部署服务还需要花服务器的钱，不能盈利的个人小项目肯定是不合适的，其实各种平台有提供一些 ServerLess 云服务，微信小程序的云开发、Uniapp的UniCloud及其早年在做... ......
Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字-图片数据集
最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO，包含 7 亿对图像和文本，并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 ALIGN。 这是 ALIGN 模型首次公开发布供开源使用，同时 ViT 和 ALIGN 模型的发布都 ......
OracleDatabase——数据库表空间dmp导出与导入
由于公司的程序一直部署在客户现场内网，内网调试难度高，一般是有备份还原数据库的需求，这里简记备份（导出）数据库dmp文件与恢复（导入）的步骤。 一、导出dmp文件 exp与expdp命令异同 相同点：exp与expdp命令都是备份数据库的。 不同点： 1、expdp效率更高，exp是串行备份的，但e ......
Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法
本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~ ......
Python批量读取HDF多波段栅格数据并绘制像元直方图
本文介绍基于Python语言gdal模块，实现多波段HDF栅格图像文件的读取、处理与像元值可视化（直方图绘制）等操作~ ......
Python gdal读取MODIS遥感影像并结合质量控制QC波段掩膜数据
本文介绍基于Python中GDAL模块，实现MODIS遥感影像数据的读取、计算，并基于质量控制QC波段进行图像掩膜的方法~ ......
ABP微服务系列学习-搭建自己的微服务结构（一）
在原本的结构里面，由于默认服务引用的都是ABP原生的模块，所以结构目录里面没有包含modules目录，这里我们添加一个modules目录，用于存放我们的自定义模块。在shared里面，我们再抽一个EventData的模块，用于消息队列共用数据实体。修改后结构如下图所示： 开始搭建 由于我们没有商业版 ......
ABP微服务系列学习-搭建自己的微服务结构（三）
上一篇我们基础服务初步搭建完毕，接下来我们整一下认证和网关。 搭建认证服务 认证服务的话，ABP CLI生成的所有模板都包括了一个AuthServer。我们直接生成模板然后微调一下就可以直接用了。 abp new FunShow -t app --tiered 使用命令创建模板后，我们可以找到一个A ......
分布式架构-流量治理-流量控制
系列目录 分布式架构-流量治理-服务容错 分布式架构-流量治理-流量控制 引子 任何一个系统的运算、存储、网络资源都不是无限的，当系统资源不足以支撑外部超过预期的突发流量时，便应该要有取舍，建立面对超额流量自我保护的机制，这个机制就是微服务中常说的“限流”。 1.流量统计指标 每秒事务数（Trans ......
分布式架构-可靠通讯-服务安全
系列目录 分布式架构-可靠通讯-零信任网络 分布式架构-可靠通讯-服务安全 引子 上一节“分布式架构-可靠通讯-零信任网络”里，我们探讨了与微服务运作特点相适应的零信任安全模型。本节，我们将从实践和编码的角度出发，介绍在前微服务时代（以 Spring Cloud 为例）和云原生时代（以 Istio ......
个人数据保全计划：(2) NAS基础知识
前言 距离去年国庆入手了NAS至今有好几个月时间了，NAS折腾起来有点麻烦，且实际作用因人而异，并没有想象中的好用，所以说好的这个系列一直没有更新~ 还有另一方面的原因，这些NAS的系统基于Linux深度定制，对于我这种习惯用Linux的人来说，用着很别扭不自在，处处受限制… 所以在使用了这台威联通 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(9)-Charles如何修改请求参数和响应数据-上篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(10)-Charles如何修改请求参数和响应数据-下篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
一个.Net Core开源缓存中间件，让你更加简单、方便使用缓存
上次给大家推荐过一个缓存中间件《一个C#开发的非常实用的缓存中间件》，今天再给大家推荐一个缓存中间件，两者功能差不多，都是提供统一接口、多级缓存、分布式缓存、支持多种Provider等。 项目简介 这是一个基于.Net Core开发的缓存中间件，它支持各种缓存并提供了很多高级功能。它的主要目标是让开 ......
从源码MessageSource的三个实现出发实战spring·i18n国际化
从源码去看MessageSource的几个实现类的源码出发，基于spring的国际化支持，实现国际化的开箱即用，静态文件配置刷新生效以及全局异常国际化处理。 ......
自动化测试如何管理测试数据
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/67fb1f11.html 前言 你好，我是测试蔡坨坨。 在之前的自动化测试框架相关文章中，无论是接口自动化还是UI自动化，都谈及data模块和config模块，也就是测试数据和配置文件。 PS：自动化测试框架可参考往期文章 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
关于EasyExcel的数据导入和单sheet和多sheet导出
读写Excel基本代码 直接复制不一定能用 实体类 @ExcelIgnore 在导出操作中不会被导出 @ExcelProperty 在导入过程中 可以根据导入模板自动匹配字段， 在导出过程中可用于设置导出的标题名字 @Getter @Setter public class Material{ @Ex ......
轮播图接口加缓存和定时更新(双写一致性问题以及其解决方案)
一、轮播图加缓存 有些知名网站首页被访问的频率很高，假设瞬间 1w个人在访问，首页的轮播图接口会执行1w次，1w次查询轮播图标的sql在执行，轮播图基本不变，首先我们给自己写的轮播图接口加缓存，我们可以用缓存数据库Redis来实现加缓存的需求 首先罗列一下文字版的逻辑，之后在代码上实现 当轮播图接口 ......