使用model.eval( ) 和 torch.no_grad( )的情况

发布时间 2023-04-27 17:36:03作者: BooTurbo

 

 

 

神经网络每训练1个epoch 会紧接着 evaluate一下,PyTorch提供了model.eval( )和torch.no_grad( ),验证时会使用 model.eval( ) 开启评估模式,

在训练阶段,网络的Dropout 层和BatchNorm 层处于train开启的模式;

在验证阶段,代码中加入model.eval( )来开启评估模式,这样Dropout层的功能关闭,BatchNorm层的功能关闭。

有时会将 torch.no_grad( ) 和 model.eval( )都用在验证阶段的代码中,这会关闭神经网络的gradient计算,起到加速和节省显存的作用,如下: