信号处理 信号 数字

keras图片数字识别入门AI机器学习

通过使用mnist(AI界的helloworld)手写数字模型训练集,了解下AI工作的基本流程。 本例子,要基于mnist数据集(该数据集包含了【0-9】的模型训练数据集和测试数据集)来完成一个手写数字识别的小demo。 mnist数据集,图片大小是28*28的黑白。包含了6w 训练数据和1w验证数 ......
机器 数字 图片 keras

.netcore全局异常处理

一、背景 某天,应用程序进程无缘无故退出,也就是我们通常说的崩溃。通常情况下,windows事件会记录一条消息。但是有时候,我们发现这样的信息,对于查找问题,还是远远不够的,因为它说RunTime报错。这时,我就想能不能自己捕获全局未处理的异常。之所以有这样的想法,因为之前在客户端程序中写过。这次我 ......
全局 netcore

Java处理正则匹配卡死(正则回溯问题)

正则匹配卡死怎么来的? 背景 背景:这次问题的背景是项目上遇到了,在使用正则对数据进行提取时,发现提取不到,日志解析不成功,造成kafka消息有积压 项目现场问题 项目中某一个微服务再处理正则时,发现在处理部分日志时候,线程会卡死,线程卡死,因此kafka中的消息定会积压,后面的日志即不会处理。关键 ......
正则 问题 Java

记录一个cpu彪高的BUG处理--jvm调优

业务场景:游戏行业,N个服务器,要进行大批量的合服处理,玩家数据会上升,从新整理和服务器的分配情况和逻辑处理,正常开发后,当天白天正常,然后晚上高峰期开始玩家频繁反馈无法登录~~~ 处理逻辑: 优先确认服务是否宕机,如果是,就重启,分析linux系统日志,根据宕机的原因进行处理即可; 再确认服务器情 ......
cpu BUG jvm

Java线程池和Spring异步处理高级篇

开发过程中我们会遇到很多使用线程池的场景,例如异步短信通知,异步发邮件,异步记录操作日志,异步处理批量Excel解析。这些异步处理的场景我们都可以把它放在线程池中去完成,当然还有很多场景也都可以使用线程池,掌握线程池后开发中自己灵活应用。 例如在生成订单的时候给用户发送短信,生成订单的结果不应该被发 ......
线程 Spring Java

sql处理重复的列,更好理清分组和分区

一、分组统计、分区排名 1、语法和含义: 如果查询结果看得有疑惑,看第二部分-sql处理重复的列,更好理清分组和分区,有建表插入数据的sql语句 分组统计:GROUP BY 结合 统计/聚合函数一起使用 -- 举例子: 按照性别统计男生、女生的人数 select sex,count(distinct ......
sql

常用的"小脚本"-json数据处理

小背景: 我们公司项目中的小脚本是一些工具类,比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意,方法名的命名,因为方法名,在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url(接口的形式-一般数 ......
数据处理 quot 脚本 常用 数据

苹果手机H5 video标签播放视频问题以及.mov格式处理方案

最近在做一个手机端拍照上传,并预览文件的功能,前端用h5 video 标签,后端用springboot+minio。 问题 刚开始写代码和测试的时候,都是用的安卓手机,照片和视频都没问题,后来换成用苹果手机后,播放视频就出现各种问题,先是苹果手机拍的mov视频不支持播放,后面又出现苹果手机播放不了视 ......
苹果 标签 格式 方案 问题

pugixml XML格式处理库的介绍和使用(面向业务编程-格式处理)

pugixml XML格式处理库的介绍和使用(面向业务编程-格式处理) 介绍 pugixml是一个轻量级的C++ XML处理库。它的特点: 类似dom的界面,具有丰富的遍历/修改功能 非常快速的非验证XML解析器 它从XML文件/缓冲区构造DOM树用于复杂数据驱动 支持树查询的XPath 1.0 实 ......
格式 pugixml 业务 XML

simpleini库的介绍和使用(面向业务编程-格式处理)

simpleini库的介绍和使用(面向业务编程-格式处理) 介绍 simpleini是一个跨平台的ini格式处理库,提供了一些简单的API来读取和写入ini风格的配置文件。它支持ASCII、MBCS和Unicode格式的数据文件。它被明确设计为可移植到任何平台,并已在Windows, WinCE和L ......
simpleini 格式 业务

hibernate跨数据库,json字段处理方案,自定义扩展JsonStringType

一、背景 对于一些不经常更新的静态数据,我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库,但这无疑增加了技术成本,所以我们通常还是存储在RDB数据库中。我们在使用hibernate,对json数据的存取期望是,存能自动转换为json格式存储,取能自动将json数 ......

linux网络编程中的errno处理

在网络编程中,处理网络连接、连接收发数据等经常会涉及到errno的处理。经过查阅了很多资料,发现没有一个系统的讲解,在不同阶段会遇到哪些errno,以及对这些errno需要如何处理。因此,本文将分为三个部分来讲解。 ......
网络编程 linux errno 网络

Java+Redis 通过Lua 完成库存扣减,创建消息队列,异步处理消息--实战

需要完成功能 借助redis Stream 数据结构实现消息队列,异步完成订单创建,其中涉及到了缓存(击穿,穿透,雪崩),锁(Redisson),并发处理,异步处理,Lua脚本 IDE:IDEA 2022 1、读取库存数据 【Lua】 2、判断库存 【Lua】 3、扣减库存 【Lua】 4、创建队列 ......
消息 队列 实战 库存 Redis

Python3程序捕获Ctrl+C终止信号

当我们准备去杀死一个进程时,从程序设计的本身来考虑,我们应当要设计一定的保护方案来确保程序被非正常终止时,相应的计算结果也能够被很好的保存下来。在Python中可以使用signal.signal函数来实现这样的功能,但是如果要实现数据的保存功能,需要结合一个实际的类来实现。 ......
信号 Python3 程序 Python Ctrl

现代图片性能优化及体验优化指南 - 图片资源的容错及可访问性处理

本文是系列第五篇,终章。系列文章: 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 现代图片性能优化及体验优化指南 - 响应式图片方案 现代图片性能优化及体验优化指南 - 缩放精细化展示及避免布局偏移、拉伸 现代图片性能优化及体验优化指南 - 懒加载及异步图像解码方案 图 ......
图片资源 图片 性能 指南 资源

Spring MVC的请求处理逻辑

当大家了解了如何编写一个简单的Spring MVC程序后,大家心中应该会有一些好奇:这背后到底发生了什么? Spring MVC是怎么把这些功能串联起来的?我们只是写了一个控制器而已,HTTP请求是怎么转换为控制器方法的调用的?结果又是怎么变成JSON的.....啊这小伙伴们是不是已经混乱了!? 接 ......
逻辑 Spring MVC

kali更新源数字签名错误解决办法

apt-get update更新时出现错误,提示Release文件已经过期,无论是使用kali官方源还是阿里源、中科大源都报该错误。 网上查找相关资料,签名出错需要下载数字签名,方案如下: wget archive.kali.org/archive-key.asc //下载签名 apt-key ad ......
数字签名 错误 办法 数字 kali

ChatExcel--自动处理表格

一、简介 先行者--本文仅介绍ChatExcel基本用法和测试用例。 1.项目背景 ChatExcel由北京大学深圳研究生院/信息工程学院3位硕博生,独立开发的项目。 2.有点超越ChatGPT? 毕竟给ChatGPT提出类似的要求,它只能帮我写出对应的代码,操作还得自己手动来。 3.功能特点 (1 ......
ChatExcel 表格

网页js版音频数字信号处理:H5录音+特定频率信号的特征分析和识别提取

音频数字信号处理 Audio DSP (Digital Signal Processing) 是一个复杂又专业的话题,本文介绍的是如何从音频中实时分析和识别出特定频率信号的一种方法,对应的代码为可运行在浏览器中的html5网页版(可移植);可用于识别环境中特定频率的声音、或噪声、乐器弹奏的音调。 在 ......
信号 信号处理 频率 特征 音频

SpringBoot多数据源以及事务处理

背景 在高并发的项目中,单数据库已无法承载大数据量的访问,因此需要使用多个数据库进行对数据的读写分离,此外就是在微服化的今天,我们在项目中可能采用各种不同存储,因此也需要连接不同的数据库,居于这样的背景,这里简单分享实现的思路以及实现方案。 如何实现 多数据源实现思路有两种,一种是通过配置多个Sql ......
数据源 SpringBoot 事务 数据

python文件处理

1.文件介绍 python操作文件 1.python文件的基本操作 打开文件关键字open 语法格式:open('文件路径','读写模式','字符编码') f = open('a.txt','r',encoding='utf-8')#打开文件 print(f.read())#操作文件 f.close ......
文件 python

T-SQL——数字辅助表

shanzm-2023年2月20日 0.永久性的连续数字表 使用循环可以快速创建一个Nums真实的表Nums IF OBJECT_ID('dbo.Nums') IS NOT NULL DROP TABLE dbo.Nums; CREATE TABLE dbo.Nums (n INT NOT NULL ......
数字 T-SQL SQL

模型预处理层介绍(1) - Discretization

预处理的作用主要在于将难以表达的string或者数组转换成模型容易训练的向量表示,其中转化过程大多是形成一张查询表用来查询。 常见的预处理方式包括: class Discretization: Buckets data into discrete ranges. class Hashing: Imp ......
Discretization 模型

Serverless Streaming:毫秒级流式大文件处理探秘

摘要:本文将以图片处理的场景作为例子详细描述当前的问题以及华为云FunctionGraph函数工作流在面对该问题时采取的一系列实践。 文章作者|旧浪:华为云Serverless研发专家、平山:华为云中间件Serverless负责人 一、背景 企业应用从微服务架构向 Serverless(无服务器)架 ......
Serverless Streaming 文件

MQ收到无序的消息时如何进行业务处理

业务背景 跟第三方系统做对接,双方通过ActiveMQ进行通信,消息之间是有内在关联的,也就是消息本来应该是有业务顺序的,但由于一些原因,现在收到消息是乱序的,这种情况下做业务处理就有一点小问题了 方案一:自己重排序 收到消息后,自己在内存排序,然后按顺序丢到队列中,自己控制消息的发送和接收保证收到 ......
消息 业务

挖矿僵尸网络蠕虫病毒kdevtmpfsi处理过程(包含部分pgsql线程池满的情况)

背景: pgsql连接时候报错org.postgresql.util.PSQLException: FATAL: sorry, too many clients already, 意思是client已经把连接池占满了. 使用ps -ef | grep postgres删除几个进程, 进入数据库运行S ......
蠕虫 线程 僵尸 kdevtmpfsi 病毒

聊聊项目中定时任务的处理方式

一个项目中一般都少不了定时任务,主要用来处理一些特殊的任务,有的是只执行一次的 定时任务,有的是周期循环执行的定时任务。可根据项目需要来选择定时任务类型。自己参与 开发的一个项目中,因为很多定时任务都是需要周期执行的,因此选用按周期循环执行的方式。 比如几分钟重载一次主表数据,重载数据字典表数据,定 ......
任务 方式 项目

腾讯出品小程序自动化测试框架【Minium】系列(六)常见组件的处理

写在前面 我发现一件神奇的事,当你学一门新技术或者新的知识点遇到不会的时候,真的可以先放一放,第二天再去学习,也许说不定也就会了。 为什么这么说? 昨天文章断断续续的写了近一天,有一个组件不认识,自然也不知道该怎么处理,真的憋得脑子疼,后来一合计算了,事已至此,还是先吃饭吧,就扔一边了。 结果今天再 ......
组件 框架 常见 程序 Minium

文本数据预处理:可能需要关注这些点

要进行自然语言处理相关工作,文本数据预处理是个必不可少的过程。本文将对文本数据预处理相关的内容进行归纳整理,主要包括以下4个方面内容:文本数据获取、常规文本数据预处理、任务相关的文本数据预处理、文本预处理工具。 ......
文本 数据

Java实现BP神经网络MNIST手写数字识别

Java实现BP神经网络,内含BP神经网络类,采用MNIST数据集,包含服务器和客户端程序,可在服务器训练后使客户端直接使用训练结果,界面有画板,可以手写数字 ......
神经网络 神经 数字 MNIST 网络