ddp训练结束后，发现进程不终止，显存和cpu仍在占用，尝试
torch.distributed.destroy_process_group()
torch.cuda.empty_cache()
if dist.get_rank()==0:
exit()等清理方法均无效，主进程不能退出，程序只能手动停止。
排查发现是由于代码中使用了torch.multiprocessing的文件共享策略，这样新建了一个受保护的进程用于共享内存，即使训练结束也不会停止。去掉这一行程序即可正常结束。
torch.multiprocessing.set_sharing_strategy('file_system') 以下是官方文档：
如果你的系统对打开的文件描述符数量有限制，并且无法提高，你应该使用file_system策略。File system -file_system
这个策略将提供文件名称给shm_open去定义共享内存区域。该策略不需要缓存从其获得的文件描述符的优点，但是容易发生共享内存泄漏。该文件创建后不能被删除，因为其他进程需要访问它以打开其视图。如果进程崩溃或死机，并且不能调用存储析构函数，则文件将保留在系统中。这是非常严重的，因为它们在系统重新启动之前不断使用内存，或者手动释放它们。为了记录共享内存文件泄露数量，torch.multiprocessing将产生一个守护进程叫做torch_shm_manager将自己与当前进程组隔离，并且将跟踪所有共享内存分配。一旦连接到它的所有进程退出，它将等待一会儿，以确保不会有新的连接，并且将遍历该组分配的所有共享内存文件。如果发现它们中的任何一个仍然存在，它们将被释放。我们已经测试了这种方法，并且它已被证明对于各种故障都是稳健的。如果你的系统有足够高的限制，并且file_descriptor是被支持的策略，我们不建议切换到这个