以高度的精度提高无监督领域适应的有效性

发布时间 2023-05-31 19:17:36作者: Seain

文章的主要内容

同时,提出了一种改进的主动学习查询策略,以准确选择目标域中新增加的健康类别样本来辅助模型训练,解决标签域扩展的问题。近年来,一些研究人员利用样本选择算法在目标域中提取信息量大的样本来辅助模型训练,用于提高无监督模型的诊断性能。该方法首先利用UDA模型学习领域不变的特征,用于解决ADA的领域偏差问题,提高新增加的健康样本的查询精度。

正文开始

随着机械设备规模的不断扩大,其功能也越来越复杂,为了避免不必要的经济损失,人们越来越重视对设备故障的有效预防。1信号处理的方法2需要检测人员有丰富的知识和经验,难以进行实时监控。机器学习(ML)3的方法需要大量的人力资源进行特征处理,而且高维度的特征难以挖掘。近年来,深度学习(DL)技术4因其强大的特征提取能力而被广泛研究用于设备故障检测。然而,训练一个高性能的DL模型需要大量的标注样本,但收集这些标注样本的成本很高,这是深度模型很少成功的根本原因。同时,现有的大多数深度学习方法都假设源域和目标域的数据分布相同。然而,在机械设备的实际运行中,存在着诸如工作条件变化(如设备的速度和负载的变化)和温度突然变化等原因。这种假设是不现实的。因此,训练有素的深度模型应用到实际工作中,其性能将大打折扣。
迁移学习(TL)可以在两个不同但相关的领域中挖掘领域不变的基本特征和结构,这使得从源领域学到的信息可以在领域之间转移和重用。5近年来,迁移6,7 无监督领域适应(UDA)是转移学习中的一个代表性方法。该方法一般利用最小域间隔8,9或对抗策略10,11将模型从源域学到的知识应用于目标域的检测,从而解决映射偏差的问题。在过去的几年中,无监督领域适应性在图像分类12,13和机械故障检测等领域逐渐得到应用和发展14-16。
但是,基于无监督领域适应的检测方法仍然存在一些缺陷,其中有两个问题比较突出:
(1)无监督模型的性能问题。域适应通过解决源域和目标域之间的映射偏差问题实现跨域诊断。然而,无监督的域适应模型的诊断性能远远低于大多数有监督的诊断模型17,18,即使是少量的目标域标签样本也能显著提高模型的诊断性能。
(2) 标签域扩展问题。目前主流的领域适应性诊断方法大多假定源域和目标域具有相同的标签域空间。然而,当目标域比源域有更多的健康类别时,域适应模型就很难检测到新增加的健康类别。
忽视上述问题,将导致模型在实际应用中对设备的健康状况做出错误诊断,造成不必要的经济损失。由于在训练过程中缺乏对源域中新增加的健康类别的可迁移知识,导致模型提取的领域不变特征只与源域健康类别有很强的相关性,而缺乏能够识别新增加的健康类别的关键特征,所以模型中出现了这个问题。我们发现,模型对新增加的健康类别的预测结果大多分布在源域健康类别的决策边界,所以这意味着新增加的健康类别在映射的特征不变空间中具有较高的信息量。
近年来,一些研究人员利用样本选择算法在目标域中提取信息量大的样本来辅助模型训练,用于提高无监督模型的诊断性能。主动学习(AL)旨在利用查询策略从未标记的样本池中选择最有价值的样本。其中,基于池的主动学习(Pool-Based AL)19-2样本选择方法已被广泛研究。以前的主动学习方法大多采用单一的查询策略,在同一领域选择样本和训练模型。22,23随着迁移学习技术的发展,主动学习被应用于跨领域的样本选择,所以主动迁移学习24,25得到了深入研究。领域适应(DA)作为迁移学习的一个分支,与主动学习相结合被称为主动领域适应(ADA)。26-28 ADA与基本的AL模型训练步骤类似,一般分为两部分:模型训练和查询策略。Fuetal.18提出了一种新的主动领域适应的可转移查询选择(TQS)方法,包括可转移不确定性、可转移领域性和可转移委员会。实验证明,TQS可以选择领域转移下信息量最大的目标样本。Su等人29提出了一种主动学习方法,用于跨域转移表征。这种主动对抗性领域适应(AADA)方法探索了两个相关问题之间的二重性:对抗性领域对齐和跨领域适应模型的重要性采样。Zhou等人30提出了一种用于领域适应的判别性主动学习方法,以减少数据注释的工作量,并证明了这种主动领域适应算法的有效性。然而,以前的主动域适应并没有考虑标签域扩展对模型诊断性能的影响。
鉴于上述问题,本文认为边际分布配准后的域不变空间中新增加的健康类别样本具有较高的信息量。设计了一个主动域适应智能故障检测框架LDE-ADA,用于解决跨域故障诊断中的标签域扩展问题。该方法首先利用UDA模型学习领域不变的特征,用于解决ADA的领域偏差问题,提高新增加的健康样本的查询精度。然后使用改进的主动学习查询策略,从目标域样本库中选择最有价值的样本进行标注。最后,使用标记后的融合样本集再次训练模型,并重复上述步骤。同时,提出了一种改进的主动学习查询策略,以准确选择目标域中新增加的健康类别样本来辅助模型训练,解决标签域扩展的问题。该策略首先使用基于不确定性的抽样方法来选择模型无法区分的目标域样本。然后,通过聚类算法从上述样本中选出有代表性的样本。这种方法不仅可以选择信息量最大的样本,而且可以保证所选样本的代表性,从而使模型在每一轮训练中都能发挥最大的性能。