可用的摘要模型

发布时间 2023-04-14 11:11:39作者: ︶ㄣ演戲ㄣ

当前最流行的先进模型

image
image
image

模型 描述 能否训练
BART 通用模型,适合做摘要任务 不能预训练,可以微调
PEGASUS 针对摘要任务 不能预训练,勉强微调?
T5 通用模型,适合做摘要任务 大模型,做摘要任务不能微调
BigBird 通用模型,稀疏注意力 可以预训练

BigBird √

image

Pegasus ⚪

image
image

image

image

BART -微调

image

BART微调

T5-微调

微调
simpleT5

FactorSUM

image