利用不可识别的人脸来增强人脸识别性能Harnessing Unrecognizable Faces for Improving Face Recognition

发布时间 2023-10-04 22:04:34作者: Time_Xu

灰色标记:可以日后引用的观点  红色标记:好的写法、语句、单词  紫色标记:文章重点  黄色标记:寻常突出


文章评论::

创新点::

主要内容::

     gallery中的样本通常是人为采集并精心挑选的,它们具有较好的可识别性;然而,query通常来自于真实场景,它们受多种因素干扰如像素等等。

     针对“检测器能检测到的人脸,识别器并不一定能够识别出对应的ID”这一问题。

     研究发现了这种细粒度分类问题中,不可识别身份的空间嵌入趋向于聚在一起这一现象(这一现象似乎是反直觉的,因为我们可能会认为难识别的样本会更加趋向于聚集在嵌入空间中对应类别的边缘),使用与这种“不可识别身份”的距离作为可识别性的度量,并将其纳入整个系统的设计中。

研究结论::

     

研究局限及其展望::

     似乎 并没有想很好的办法在训练过程中提高图像的ERS(在3.4节想了,但是比较简单;这一局限性在”极低分辨率人脸识别和质量估计的可识别性嵌入增强“这篇工作中被进一步讨论了

       似乎 并没有想办法解决掉那些难识别样本,它们似乎是”被抛弃的“以得到(换取)更好的识别效果【是否可以引入一个极化的方法,尝试去”拯救“一下这些UIs, 如果确实是烂泥扶不上墙在真正算做UI?】

 

 


Embedding Recognizability Score ERS 嵌入可识别性评分

 定义嵌入可识别性分数(ERS)==嵌入向量与UI图像平均嵌入之间的距离。


 Single Image-Based Recognition

不考虑ERS时,人脸验证公式可以看作如下所示:

当得分低于阈值t时就不是同一人,反之亦然

 

考虑ERS时,允许系统预测“不确定unsure”而不是“相同”或“不同”。也就是说,如果一个图像的ERS太低了,就是说明他不具备recognizability,确认他们是否属于同一个id就回变得不准确。文中说:“在应用程序中,可以对不确定的情况选择进一步的操作。由于错误匹配的经验风险,我们选择将所有不确定情况预测为不属于同一个人。”


 

不考虑ERS时 ,人脸识别决策函数可以定义为:

 

考虑ERS时,人脸识别公式变为:


 Image Set-based Recognition

Image Set-based Recognition相对于Single Image-Based Recognition的区别在于,这种方法对每一个人的先验一般有多个人脸构成。然后将该类别的特征向量聚合成一个特征向量fi。聚合后的处理与单幅图像的处理相同。

研究设计另一个 基于ERS加权的 aggregation function:

 


消融实验 :UI质心的生成

结论是:“1.方法对 UI 图像源不敏感,无论是人工的还是自然的。这也符合我们的观察,即异构 UI 图像聚集在一个集群中。我们得出的结论是,可以从图像可识别性较低的不同数据分布中获得UIC。”

“2.不同的嵌入模型进行聚类时,我们发现 UI 聚类中生成的图像具有明显的重叠。进一步的实验证明,从一个嵌入模型生成的一组固定的UI图像可以被其他模型重用来获得UIC。”

“3.在基于集合的人脸识别中使用 ERS 需要选择加权函数 w。 我们比较了 w 的不同选择,包括 IJB-C 基于模板的人脸验证基准测试上的恒等式、指数和平方我们还比较了两个特殊选项,这两个选项平均了一组中ERS前1%和前10%的图像。方函数实现了最佳结果。"