set_sharing_strategy

ddp训练结束后，发现进程不终止，显存和cpu仍在占用，尝试 torch.distributed.destroy_process_group() torch.cuda.empty_cache() if dist.get_rank()==0: exit() 等清理方法均无效，主进程不能退出，程序只能手 ......