KGC常用评价指标

发布时间 2023-09-23 19:06:17作者: 小张同学的博客

KGC评价指标

1. MR

MR的全称是Mean Ranking,具体的计算方法如下:

image

其中,S是三元组集合,|S|是三元组个数,rank_i是指第i个三元组的链接预测排名。该指标越小越好

2. MRR

MRR的全称是Mean Reciprocal Ranking,其中Reciprocal是指“倒数的”的意思。具体的计算方法如下:

其中,S是三元组集合,|S|是三元组个数,rank_i是指第i个三元组的链接预测排名。该指标越大越好

3. Hits@n

该指标是指在链接预测中排名小于n的三元组的平均占比。具体的计算方法如下:

image

其中,S是三元组集合,|S|是三元组个数,rank_i是指第i个三元组的链接预测排名。||是indicator函数(若条件真则函数值为1,否则为0)。

一般地,取n等于1、3或者10。该指标越大越好

MRR和HITS@10是两个重要指标,不可缺少。
MR则不被认为是一个好的指标。