526互联

损失

机器学习笔记（五）更换损失函数：交叉熵

前言 我们之前用的是均方差作为我们神经网络的损失函数评估值，但是我们对于结果，比如给定你一张应该是0的照片，它识别成了6，这个时候这个均方差表达了什么特别的含义吗？显然你识别成6并不代表它比识别成1的情况误差更大。 所以说我们需要一种全新的方式，基于概率的方案来对结果进行规范。也就是我们说的交叉熵损 ......
函数 损失 机器 笔记

神经网络中的分位数回归和分位数损失

在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量 ......
位数 神经网络 神经 损失 网络

机器学习-线性分类-支持向量机SVM-合页损失-SVM输出概率值-16

目录1. SVM概率化输出2. 合页损失 1. SVM概率化输出 标准的SVM进行预测 输出的结果是： 是无法输出0-1之间的 正样本 发生的概率值 sigmoid-fitting 方法： 将标准 SVM 的输出结果进行后处理，转换成后验概率 A,B 为待拟合的参数， f 为样本 x 的无阈值输出。 ......
合页 向量 线性 概率 SVM

常用损失函数

常用损失函数 目录 损失函数的意义 均方误差(MSE) 计算方法 适用场景 代码 均方根误差(RMSE) 计算方法 使用场景 代码 平均绝对误差(MAE) 计算方法 适用场景 代码 交叉熵损失 计算方法 适用场景 代码 对数似然损失 计算方法 适用场景 代码 余弦相似度损失(CSL) 计算方法 推理 ......
函数 损失 常用

机器学习-线性回归-损失函数+正则化regularization-06

目录1. 为什么要加上正则项2 L1稀疏 L2平滑3. 代码1--L2正则4 代码2--L2正则25. 代码3--l1正则 1. 为什么要加上正则项 防止模型的过拟合 需要在损失函数LOSS(MSE或者交叉熵)再加上正则项 常用的惩罚项有L1正则项或者L2正则项 其实L1和L2正则的公式数学里面的意 ......
正则 regularization 线性 函数 损失

常用损失函数

损失函数的意义 衡量模型性能。损失函数提供了一种量化模型预测结果与实际结果之间差异的方法。通过这种量化，我们可以客观地评价模型的好坏。 模型优化的指导。模型训练实际上是一个优化过程，目的是最小化损失函数。 模型选择和调整。不同的问题可能更适合不同的损失函数。 处理不平衡数据。在现实世界的数据中，常出 ......
函数 损失 常用

深度学习中前馈神经网络的认识以及损失函数，梯度下降的一些算法

1.前馈神经网络 前馈神经网络就是上次提到的网络模型的基础上它仅可以向前传播，往前传播应该有的权值w，不断提取特征 2.损失函数 损失函数是什么？ 它是输入之后在隐藏层的传播过程中每一次数据传入对它预测结束之后都有一个预测值，这个预测值和真实得出来的结果有一定的误差，对这个误差进行拟合，需要用一些函 ......
神经网络 梯度 算法 函数 深度

MySQL运行在docker容器中会损失多少性能

前言 自从使用docker以来，就经常听说MySQL数据库最好别运行在容器中，性能会损失很多。一些之前没使用过容器的同事，对数据库运行在容器中也是忌讳莫深，甚至只要数据库跑在容器中出现性能问题时，首先就把问题推到容器上。 那么到底会损失多少，性能损失会很多吗？ 为此我装了两个MySQL，版本都是8. ......
容器 损失 性能 docker MySQL

大规模神经网络优化：神经网络损失空间“长”什么样？

前言 如何刻画网络的优化性质呢？在优化相关的论文中，通常通过分析 Hessian 矩阵及其特征值，或者将损失函数进行一维或二维的可视化来分析网络的优化性质。我们希望这些指标能够帮助我们更好的理解网络损失的 landscape，优化器优化轨迹的性质等等。我们希望将这些指标刻画的性质与优化器的设计关联起 ......
神经网络 神经 网络 大规模 损失

ALBEF-ITC损失部分

《Align before Fuse: Vision and Language Representation Learning with Momentum Distillation》 引言 VLP目标是从大规模图片-文本对子中学习到多模态表示，一次改进下游的视觉-语言任务。 VLP框架的局限性如下： ......
ALBEF-ITC 损失 部分 ALBEF ITC

DDOS攻击，流量超导致经济损失，考虑是否自己托管服务器，不要用云服务器

云服务器还是要小心，流量超标。erwa 前几天阿里云宕掉了。 ......
服务器 流量 损失 经济 DDOS

无线信道-路径损失以及信道衰落

看了很多论文有关无线的论文，一直对他的论文里的信道模型很迷惑，大体结合搜到的资料以及论文整理一下。 1、衰落 \(\quad\)无线通信里，信号强度的变化可以分为大尺度衰落（Large-scale fading）和小尺度衰落（Small-scale fading），这两者由不同的物理现象引起，并在不 ......
信道 路径 损失 无线

无线信道-路径损失以及信道衰落

看了很多论文有关无线的论文，一直对他的论文里的信道模型很迷惑，大体结合搜到的资料以及论文整理一下。 1、衰落 \(\quad\)无线通信里，信号强度的变化可以分为大尺度衰落（Large-scale fading）和小尺度衰落（Small-scale fading），这两者由不同的物理现象引起，并在不 ......
信道 路径 损失 无线

论文精读：用于少样本目标检测的元调整损失函数和数据增强（Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection）

论文链接：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection Abstract 现阶段的少样本学习技术可以分为两类：基于微调（fine-tuning）方法和基于元学习（meta-learning ......
样本 Augmentation Meta-tuning 函数 Functions

损失函数波动不收敛

1. 数据集不同类别样本数据不均匀，导致的 ......
函数 损失

损失函数---训练集降低，验证集升高

损失函数在训练集下降而在验证集上升，通常被称为过拟合（overfitting）的现象。 这意味着模型在训练数据上表现得很好，但在新的、未见过的数据上表现较差。过拟合可能是由于模型过于复杂，以至于学到了训练数据中的噪声或细微特征，而这些特征在验证数据中并不普遍存在。 我通过降低学习率，统一的方向 ......
函数 损失

损失函数Loss越来越大

代表什么： 预测值和真实值越来越大，模型效果不好 为啥？ # class MLPModel(nn.Module): # def __init__(self, input_size): # super(MLPModel, self).__init__() # self.fc1 = nn.Linear( ......
函数 损失 越来越 Loss

深度学习之交叉熵损失函数（在分类问题如图像识别时可以考虑）

1. 熵2. 交叉熵损失函数交叉熵能够衡量两个分布的异同程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。二分类交叉熵：X = [[0.3, 0.7], [0.2,0.8]]Y = [1,0]Loss = -1/2(1*log0.7 + 1*log0 ......
函数 深度 损失 问题

IoU,GIoU,DIoU,CloU损失函数

IoU,GIoU,DIoU,CloU损失函数 目录IoU,GIoU,DIoU,CloU损失函数IoU Loss 交并比numpy实现torch实现优缺点GIoU Lossnumpy实现torch实现优缺点DIoU Lossnumpy实现优缺点CIoU Loss 图例介绍 A: 目标框覆盖的矩形面积（ ......
函数 损失 GIoU DIoU CloU

交叉熵损失函数

在机器学习中，我们通常使用梯度下降等优化算法来最小化损失函数。这些优化算法的目标是使损失函数达到最小值。在交叉熵损失函数的定义中，负号的存在实际上是为了将最小化问题转化为最大化问题。 交叉熵损失函数的一般形式是： \[ \text{Loss} = -\frac{1}{N} \sum_{i=1}^{N ......
函数 损失

把损失函数变成图片

epochs = list(range(1, num_epochs + 1))train_losses = [] # 用于存储每个epoch的训练损失plt.plot(epochs, train_losses, label='Training Loss')plt.title('Training Lo ......
函数 损失 图片

神经网络基础篇：详解logistic 损失函数（Explanation of logistic regression cost function）

详解 logistic 损失函数 在本篇博客中，将给出一个简洁的证明来说明逻辑回归的损失函数为什么是这种形式。 回想一下，在逻辑回归中，需要预测的结果\(\hat{y}\),可以表示为\(\hat{y}=\sigma(w^{T}x+b)\)，\(\sigma\)是熟悉的\(S\)型函数 \(\sig ......
logistic 网络基础 Explanation regression 函数

torch交叉熵损失

torch交叉熵损失 目录torch交叉熵损失熵的理解相对熵交叉熵交叉熵损失函数实现和应用numpy实现pytorch实现torch实现pytorch等价实现参考资料 交叉熵其实就是运用了熵的概念先把模型转化为熵的数值然后用数值去比较模型之间的差异。 熵的理解 熵代表了信息量的多少，或者数据的混乱程 ......
损失 torch

pytorch损失函数

pytorch损失函数 目录pytorch损失函数损失函数概念均方误差损失Mean Squared Error,MSE平均绝对误差损失Mean Absolute Error, MAE平滑L1损失,Smooth L1 Loss平滑平均绝对误差,Huber损失交叉熵损失Cross-Entropy Los ......
函数 损失 pytorch

交叉熵损失函数

交叉熵损失函数 1.基础知识 import torch import numpy as np # 自然对数底数e print("自然对数底数e",np.e) # 无穷大 print('无穷大',np.inf) # 无穷小 print('负无穷大',-np.inf) 输出： # 自然对数底数e 2.7 ......
函数 损失

分类问题为什么使用交叉熵误差作为损失函数？

在分类问题中,我们通常使用交叉熵损失,而不是平方误差损失的主要原因是： 输出解释不同。分类使用概率,而回归使用具体预测值。交叉熵更适合度量概率分布之间的距离 ......
误差 函数 损失 问题

GRLSTM：基于图的残差LSTM轨迹相似性计算《GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM》(知识图谱嵌入、图神经网络、残差网络、点融合图、多头图注意力网络GAT、残差LSTM、点感知损失函数(图的点损失函数、轨迹的点损失函数))

2023年10月18日，14:14。 来不及了，这一篇还是看的翻译。 论文：GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM(需要工具才能访问) Github： AAAI 2023的论文。 摘要 轨迹相似 ......
残差 函数 损失 网络 轨迹

pytorch nn.KLDivLoss()损失计算

参考：https://blog.csdn.net/L888666Q/article/details/126346022?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~defaul ......
KLDivLoss 损失 pytorch nn

pytorch(3)损失函数

损失函数 | Mean-Squared Loss https://zhuanlan.zhihu.com/p/35707643 交叉熵损失函数 https://www.zhihu.com/tardis/zm/art/35709485?source_id=1003 ......
函数 损失 pytorch

机器学习算法原理实现——xgboost，核心是加入了正则化和损失函数二阶泰勒展开

先看总的图： 本质上就是在传统gbdt的决策树基础上加入了正则化防止过拟合，以及为了让损失函数求解更方便，加入了泰勒展开，这样计算损失函数更方便了（除了决策树代码有差别，其他都是gbdt一样，本文仅实现xgboost的决策树）。如下： 再解释各个步骤： 。。。 让gpt来汇总下： 好了，我们直接写下 ......
正则 算法 函数 损失 原理
共72篇  :1/3页 首页上一页1下一页尾页