实战 功能 工具 数据
数据库自动收缩造成的阻塞
背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞，导致系统卡慢严重，信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云，看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据，可以看到会话标识33是阻塞的源头，造成了大量的语句被阻塞，而且阻塞已经持续了很长的时间。 ......
Keepalived+HAProxy基于ACL实现单IP多域名负载功能
编译安装 HAProxy 新版 LTS 版本，编译安装 Keepalived 开启HAProxy多线程，线程数与CPU核心数保持一致,并绑定CPU核心 因业务较多避免配置文件误操作，需要按每业务一个配置文件并统一保存至/etc/haproxy/conf.d目录中 基于ACL实现单IP多域名负载功能, ......
网络问题定位工具记录
网络问题定位工具记录 老王内网发了一篇使用各种工具定位网络丢包问题的文章。 里面的工具我发现都没用过。。。惭愧。。。赶紧补充linux命令知识。 linux的nstat命令是做什么的？输出格式是什么意思？ nstat是一个Linux命令行工具，用于显示网络接口的统计信息，包括TCP、UDP、IP和I ......
常用的Java开发工具比较
市场上Java 开发常用的编辑器可谓是琳琅满目，令人眼花缭乱，甚至让人难以抉择。所以今天挑选了几款主流的编辑器进行介绍，都是功能比较丰富的IDE，至于大神使用的普通文本编辑器就不再此次考虑范围内，主要介绍IntelliJ IDEA、Eclipse、NetBeans、Visual Studio Cod ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
压测工具Jmeter介绍及使用
一、压测工具选型 1.1、前言 压力测试是每一个Web应用程序上线之前都需要做的一个测试，他可以帮助我们发现系统中的瓶颈问题，减少发布到生产环境后出问题的几率；预估系统的承载能力，使我们能根据其做出一些应对措施。所以压力测试是一个非常重要的步骤，关于java应用的压力测试，业界常用工具为Apache ......
Zip Slip漏洞审计实战
前言 最近看到许少的推有说到Zip Slip这个漏洞导致的RCE，其实我在代码审计的时候确实发现有不少功能模块都是使用ZIP来解压，其实还是在真实系统中经常见到的。 于是想着好久没有写过博客了，想借着这次机会更新一下吧，免得读者以为我在偷懒没学习了~ Zip Slip是什么漏洞 Zip Slip是一 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
推荐系统[八]算法实践总结V2：排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
0.前言 「排序学习（Learning to Rank，LTR）」，也称「机器排序学习（Machine-learned Ranking，MLR)」 ，就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后，如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
Mybatis数据库驱动
Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
常用的"小脚本"-json数据处理
小背景： 我们公司项目中的小脚本是一些工具类，比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意，方法名的命名，因为方法名，在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url（接口的形式-一般数 ......
【数据结构与算法学习】散列表（Hash Table，哈希表）
实现语言：C++ 1. 散列表 散列表，英文名称为Hash Table，又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法，查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址，建立了关键字和存储地址之间的一种直接映射关系 ......
c/c++指针从浅入深介绍——基于数据内存分配的理解（上）
c/c++指针从浅入深介绍——基于数据内存分配的理解（上） 本文是对自我学习的一个总结以及回顾，文章内容主要是针对代码中的数据在内存中的存储情况以及存储中数值的变化来对指针进行介绍，是对指针以及数据在内存中数值是如何变化的，为什么需要使用到指针，为什么有时候使用指针很容易会报错，怎么去使用指针才能让 ......
【django-vue】封装logger 封装全局异常 封装response 数据库配置 用户表继承AbstractUser配置
上节回顾 这是一个django-Vue前后端分离的项目（视频网站） # 1 企业软件类型 -商城类 -公司内部： -业务 -RBAC权限管理 # 2 软件开发流程 -你的工作流程 # 3 pip换源 ：国内镜像 -命令行中 -pycharm中 # 4 虚拟环境： -每个项目有自己的环境 -虚拟环境： ......
new bing功能使用
一、new bing简介： 微软的新必应（New Bing）基于GPT4模型，并且集成了Edge浏览器的数据资源，功能强大，需要申请新bing的权限，申请好了后国内网络也能够正常使用，相比于ChatGPT的注册流程是容易多，目前已经国内手机号码无法注册成功了。 new bing很好的集成了chatG ......
docker mysql8.0 启动，挂数据卷，定时备份，恢复~
安装mysql 从mysql社区版的官方源去拉取镜像：mysql/mysql-server - Docker Image | Docker Hub docker run --name=mysql1 -d mysql/mysql-server:latest 镜像起来之后，mysql就默默的初始化好了， ......
看完这一篇，ShardingSphere-jdbc 实战再也不怕了
谈到分库分表中间件时，我们自然而然的会想到 ShardingSphere-JDBC 。 这篇文章，我们聊聊 ShardingSphere-JDBC 相关知识点，并实战演示一番。 1 ShardingSphere 生态 Apache ShardingSphere 是一款分布式的数据库生态系统，它包含两 ......
忘忧大陆-功能完备的社交项目整体介绍
前言 此篇文章主要是对整体项目做个简单介绍，对于各个部分下边会有对应链接跳转访问 第一行代码都快忘了是什么时候开始的了，期间还拿它参加了一次开发者比赛，项目初衷就是想让更多的人能够快速的做一款App出来，经过两年的断断续续开发，项目的功能算是更加完善了 这算是第一次我正式的对他进行正式的宣传（最新动 ......
[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北
本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
彻底干掉 BeanUtils，最优雅的 Mapstruct 增强工具全新出炉
全新出炉的 MapstructPlus 对 Mapstruct 做了全面升级，优化了其开发效率，增加了多种特性，该扔掉 BeanUtils 了！ ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
Java+Redis 通过Lua 完成库存扣减，创建消息队列，异步处理消息--实战
需要完成功能 借助redis Stream 数据结构实现消息队列，异步完成订单创建，其中涉及到了缓存（击穿，穿透，雪崩），锁（Redisson），并发处理，异步处理，Lua脚本 IDE:IDEA 2022 1、读取库存数据 【Lua】 2、判断库存 【Lua】 3、扣减库存 【Lua】 4、创建队列 ......
使用 SpeechT5 进行语音合成、识别和更多功能
我们很高兴地宣布，SpeechT5 现在可用于 🤗 Transformers (一个开源库，提供最前沿的机器学习模型实现的开源库)。 SpeechT5 最初见于微软亚洲研究院的这篇论文 SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for ......
sqlite3数据库Linux 系统移植和使用
sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......