memorydb juicefs引擎 数据
[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北
本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
sqlite3数据库Linux 系统移植和使用
sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......
在Vue中体验LeanCloud无后台轻量级数据存储服务
作为一个前端开发小伙伴，你在做一款自己的App、小程序或H5网页时如果需要存储列表数据你是怎么做的，自学后端编程搞一套？部署服务还需要花服务器的钱，不能盈利的个人小项目肯定是不合适的，其实各种平台有提供一些 ServerLess 云服务，微信小程序的云开发、Uniapp的UniCloud及其早年在做... ......
Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字-图片数据集
最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO，包含 7 亿对图像和文本，并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 ALIGN。 这是 ALIGN 模型首次公开发布供开源使用，同时 ViT 和 ALIGN 模型的发布都 ......
OracleDatabase——数据库表空间dmp导出与导入
由于公司的程序一直部署在客户现场内网，内网调试难度高，一般是有备份还原数据库的需求，这里简记备份（导出）数据库dmp文件与恢复（导入）的步骤。 一、导出dmp文件 exp与expdp命令异同 相同点：exp与expdp命令都是备份数据库的。 不同点： 1、expdp效率更高，exp是串行备份的，但e ......
Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法
本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~ ......
Python批量读取HDF多波段栅格数据并绘制像元直方图
本文介绍基于Python语言gdal模块，实现多波段HDF栅格图像文件的读取、处理与像元值可视化（直方图绘制）等操作~ ......
Python gdal读取MODIS遥感影像并结合质量控制QC波段掩膜数据
本文介绍基于Python中GDAL模块，实现MODIS遥感影像数据的读取、计算，并基于质量控制QC波段进行图像掩膜的方法~ ......
个人数据保全计划：(2) NAS基础知识
前言 距离去年国庆入手了NAS至今有好几个月时间了，NAS折腾起来有点麻烦，且实际作用因人而异，并没有想象中的好用，所以说好的这个系列一直没有更新~ 还有另一方面的原因，这些NAS的系统基于Linux深度定制，对于我这种习惯用Linux的人来说，用着很别扭不自在，处处受限制… 所以在使用了这台威联通 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(9)-Charles如何修改请求参数和响应数据-上篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(10)-Charles如何修改请求参数和响应数据-下篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
URule规则引擎
前段时间，在做项目重构的时候，遇到很多地方需要做很多的条件判断。当然可以用很多的if-else判断去解决，但是当时也不清楚怎么回事，就像玩点别的。于是乎，就去调研了规则引擎。 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
自动化测试如何管理测试数据
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/67fb1f11.html 前言 你好，我是测试蔡坨坨。 在之前的自动化测试框架相关文章中，无论是接口自动化还是UI自动化，都谈及data模块和config模块，也就是测试数据和配置文件。 PS：自动化测试框架可参考往期文章 ......
关于EasyExcel的数据导入和单sheet和多sheet导出
读写Excel基本代码 直接复制不一定能用 实体类 @ExcelIgnore 在导出操作中不会被导出 @ExcelProperty 在导入过程中 可以根据导入模板自动匹配字段， 在导出过程中可用于设置导出的标题名字 @Getter @Setter public class Material{ @Ex ......
学会规则引擎Drools，让你早点下班
前言 现在有这么个需求，网上购物，需要根据不同的规则计算商品折扣，比如VIP客户增加5%的折扣，购买金额超过1000元的增加10%的折扣等，而且这些规则可能随时发生变化，甚至增加新的规则。面对这个需求，你该怎么实现呢？难道是计算规则一变，就要修改业务代码，重新测试，上线吗。 其实，我们可以通过规则引 ......
Redis的介绍安装以及启动与使用、数据类型、Redis管道、Django使用Redis
一、介绍Redis 1. 详细介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push ......
如何通过C++ 将数据写入 Excel 工作表
直观的界面、出色的计算功能和图表工具，使Excel成为最流行的个人计算机数据处理软件。在独立的数据包含的信息量太少，而过多的数据又难以理清头绪时，制作成表格是数据管理的最有效手段之一。这样不仅可以方便整理数据，还可以方便我们查找和应用数据。后期我们还可以对具有相似表格框架，相同性质的数据进行合并汇总... ......
容灾备份 | 看我使用Powershell操作FTP进行数据文件自动上传备份
在运维过程中会将服务器上数据文件备份在共享磁盘或者FTP服务器中，此处由于作者环境是在Windows系统上，且在业务上需要同步文件到FTP服务器中，遂有了此文，帮助各位看友了解，如何在Windows上使用Powershell脚本将数据备份文件自动上传的FTP服务器上? ......
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
描述：在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
在K8S集群中或者Docker环境中，我们可以非常方便的针对 ... ......
Sidecar-详解 JuiceFS CSI Driver 新模式
近期发布的 JuiceFS CSI Driver v0.18 版本中，我们提供了一种全新的方式访问文件系统，即 JuiceFS 客户端以 Sidecar 方式运行于应用 Pod 中，且客户端与应用同生命周期。 这个全新的功能将帮助用户在 Serverless Kubernetes 环境中使用 Jui ......
MongoRepository查询数据常用语法
安装 查看mongo可用版本 docker search mongo 安装指定版本的mogo或者拉取最新版本的镜像 docker pull mongo:latest 或者官网下载安装包 https://www.mongodb.com/try/download/community-kubernetes ......
MySQL查看数据库性能常用命令和实战教学
MySQL查看数据库性能常用命令 # 列出MySQL服务器运行各种状态值 show global status; # 查询MySQL服务器配置信息语句 show variables; # 慢查询 show variables like '%slow%'; # MySQL服务器最大连接数 show v ......
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
配运基础数据缓存瘦身实践
在基础数据的常规能力当中，数据的存取是最基础也是最重要的能力，为了整体提高数据的读取能力，缓存技术在基础数据的场景中得到了广泛的使用，下面会重点展示一下配运组近期针对数据缓存做的瘦身实践。 ......