torch.detach

发布时间 2023-11-28 16:37:11作者: 黑逍逍

在深度学习中,通常使用自动微分(Autograd)来计算梯度,以便进行反向传播和优化。

在这个过程中,PyTorch会构建一个计算图,用于跟踪张量之间的计算关系。这个计算图是由各个张量之间的运算所构成的,以便在进行反向传播时计算梯度。

.detach()方法的作用是创建一个新的张量,与原始张量共享相同的数据,但是这个新的张量不再与计算图关联。这意味着对这个新张量的操作不会影响原始张量的计算图,也就是说,这个新张量不会对原始张量的梯度产生影响

 

参考:自动微分的章节

 

代码中用法:

  
detach().cpu() 主要用于将 PyTorch 张量从 GPU 移动到 CPU。避免对原始张量进行操作时对梯度的影响