数据 数据分析 模型 层次
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
LoadRunner——分析图详解（十四）
《分析图详解》 一、Running V user s 图 X轴表示运行所用的时间，Y轴表示vuser数， 显示在整个运行过程中随着时间的推移，虚拟用户数量是如何变化的，具体描述为：用户是如何增长的，最大负载用户数以及用户退出方式。与平均事务响应时间图合并可以查看用户数量的变化对事务响应时间产生的影响 ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
MySQL 并行复制方案演进历史及原理分析
预告: 《MySQL实战》即将出版，敬请关注！ 有过线上 MySQL 维护经验的童鞋都知道，主从延迟往往是一个让人头疼不已的问题。 不仅仅是其造成的潜在问题比较严重，而且主从延迟原因的定位尤其考量 DBA 的综合能力：既要熟悉复制的内部原理，又能解读主机层面的资源使用情况，甚至还要会分析 binlo ......
sqlite3数据库Linux 系统移植和使用
sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......
在Vue中体验LeanCloud无后台轻量级数据存储服务
作为一个前端开发小伙伴，你在做一款自己的App、小程序或H5网页时如果需要存储列表数据你是怎么做的，自学后端编程搞一套？部署服务还需要花服务器的钱，不能盈利的个人小项目肯定是不合适的，其实各种平台有提供一些 ServerLess 云服务，微信小程序的云开发、Uniapp的UniCloud及其早年在做... ......
Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字-图片数据集
最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO，包含 7 亿对图像和文本，并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 ALIGN。 这是 ALIGN 模型首次公开发布供开源使用，同时 ViT 和 ALIGN 模型的发布都 ......
我的语言模型应该有多大？
本文发表于 2020 年 6 月 8 日，虽然时间较久远，但现在看起来仍然是非常有价值的一篇文章。 在这个全民 LLM 的狂欢里，想测测你拿到的预算够训一个多大的模型吗？本文会给你一个答案，至少给你一个计算公式。 在自然语言处理领域，有时候我们恍惚觉得大家是为了搏头条而在模型尺寸上不断进行军备竞赛。 ......
Optimum + ONNX Runtime: 更容易、更快地训练你的 Hugging Face 模型
介绍 基于语言、视觉和语音的 Transformer 模型越来越大，以支持终端用户复杂的多模态用例。增加模型大小直接影响训练这些模型所需的资源，并随着模型大小的增加而扩展它们。Hugging Face 和微软的 ONNX Runtime 团队正在一起努力，在微调大型语言、语音和视觉模型方面取得进步。 ......
ATC：一个能将主流开源框架模型转换为昇腾模型的神奇工具
摘要：本文介绍了昇腾CANN提供的模型转换工具ATC，介绍了其功能、架构，并以具体样例介绍了该工具的基本使用方法以及常用设置。 本文分享自华为云社区《使用ATC工具将主流开源框架模型转换为昇腾模型》，作者： 昇腾CANN。 什么是ATC，它能做什么？ 昇腾张量编译器（Ascend Tensor Co ......
深入了解视觉语言模型
人类学习本质上是多模态 (multi-modal) 的，因为联合利用多种感官有助于我们更好地理解和分析新信息。理所当然地，多模态学习的最新进展即是从这一人类学习过程的有效性中汲取灵感，创建可以利用图像、视频、文本、音频、肢体语言、面部表情和生理信号等各种模态信息来处理和链接信息的模型。 自 2021 ......
Java Agent场景性能测试分析优化经验分享
摘要：本文将以Sermant的SpringBoot 注册插件的性能测试及优化过程为例，分享在Java Agent场景如何进行更好的性能测试优化及在Java Agent下需要着重注意的性能陷阱。 作者：栾文飞 高级软件工程师 一、背景介绍 Sermant是一个主打服务治理领域的Java Agent框架 ......
记一次 .NET某汽车零件采集系统 卡死分析
一：背景 1. 讲故事 前段时间有位朋友在微信上找到我，说他的程序会出现一些偶发卡死的情况，让我帮忙看下是怎么回事，刚好朋友也抓到了dump，就让朋友把 dump 丢给我，接下来用 windbg 探究下到底咋回事。 二：WinDbg 分析 1. 程序真的卡死吗 因为是一个 winform 程序，验证 ......
OracleDatabase——数据库表空间dmp导出与导入
由于公司的程序一直部署在客户现场内网，内网调试难度高，一般是有备份还原数据库的需求，这里简记备份（导出）数据库dmp文件与恢复（导入）的步骤。 一、导出dmp文件 exp与expdp命令异同 相同点：exp与expdp命令都是备份数据库的。 不同点： 1、expdp效率更高，exp是串行备份的，但e ......
在线文本翻译能力新增14个直译模型，打造以中文为轴心语言的翻译系统
经济全球化的今天，人们在工作和生活中经常会与外语打交道。相较传播性较广的英语而言，其他语种的识别和阅读对大多数人来说是一件难事，此时就需要借助语言翻译软件来帮助理解。 华为 HMS Core 机器学习服务（ML Kit）翻译功能提供了多种翻译模式，不仅可以满足应用出行购物、网络社交等日常场景，还提供 ......
ECS架构分析
ECS全称Entity-Component-System，即实体-组件-系统。是一种面向数据(Data-Oriented Programming)的编程架构模式。本文介绍了ECS架构的基本思想，特点推论，细节讨论、代码原型示例，欢迎大家留言讨论！ ......
Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法
本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~ ......
Python批量读取HDF多波段栅格数据并绘制像元直方图
本文介绍基于Python语言gdal模块，实现多波段HDF栅格图像文件的读取、处理与像元值可视化（直方图绘制）等操作~ ......
Python gdal读取MODIS遥感影像并结合质量控制QC波段掩膜数据
本文介绍基于Python中GDAL模块，实现MODIS遥感影像数据的读取、计算，并基于质量控制QC波段进行图像掩膜的方法~ ......
从宏观上理解计算机网络模型-坐在直升机上看网络
大家好，我是风筝 今天是轻解计算机网络系列第一解，从宏观上了解网络。主要介绍网络分成模型、基本传输过程。 学习任何一种新技术都应该是这样的顺序，先从宏观上了解这门技术的基本原理和作用。这就好像生物学家研究一种生物，不能上来就解刨吧，一定是从整体上观察了这种生物的体貌和形态。这里的宏观就像是一具动物骨 ......
Go内存管理逃逸分析
1. 前言 所谓的逃逸分析（Escape analysis）是指由编译器决定内存分配的位置吗不需要程序员指定。 函数中申请一个新的对象 如果分配在栈中， 则函数执行结束后可自动将内存回收 如果分配在堆中， 则函数执行借宿可交给GC(垃圾回收)处理 有了逃逸分析，返回函数局部变量将变得可能，除此之外， ......
个人数据保全计划：(2) NAS基础知识
前言 距离去年国庆入手了NAS至今有好几个月时间了，NAS折腾起来有点麻烦，且实际作用因人而异，并没有想象中的好用，所以说好的这个系列一直没有更新~ 还有另一方面的原因，这些NAS的系统基于Linux深度定制，对于我这种习惯用Linux的人来说，用着很别扭不自在，处处受限制… 所以在使用了这台威联通 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(9)-Charles如何修改请求参数和响应数据-上篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(10)-Charles如何修改请求参数和响应数据-下篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
高并发环境下生成序列编码重复问题分析
一、背景 有个业务系统（订单系统），通过后台日志和监控观察，系统偶尔会出现重复唯一索引问题，例如：后台日志片段 Duplicate entry 'service_no' for key 'idx_service_no' .... 也就是说写入数据与数据库已有数据发生重复。 下面我们分析一下问题出现在 ......
生产环境Java应用服务内存泄漏分析与解决
有个生产环境CRM业务应用服务，情况有些奇怪，监控数据显示内存异常。内存使用率99.%多。通过生产监控看板发现，CRM内存超配或内存泄漏的现象，下面分析一下这个问题过程记录。 1、服务器硬件配置部署情况 生产服务器采用阿里云ECS机器，配置是2HZ、8GB，单个应用服务独占，CRM应用独立部署，即单 ......
自动化测试如何管理测试数据
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/67fb1f11.html 前言 你好，我是测试蔡坨坨。 在之前的自动化测试框架相关文章中，无论是接口自动化还是UI自动化，都谈及data模块和config模块，也就是测试数据和配置文件。 PS：自动化测试框架可参考往期文章 ......