当前最流行的先进模型
模型 | 描述 | 能否训练 |
---|---|---|
BART | 通用模型,适合做摘要任务 | 不能预训练,可以微调 |
PEGASUS | 针对摘要任务 | 不能预训练,勉强微调? |
T5 | 通用模型,适合做摘要任务 | 大模型,做摘要任务不能微调 |
BigBird | 通用模型,稀疏注意力 | 可以预训练 |
BigBird √
Pegasus ⚪
模型 | 描述 | 能否训练 |
---|---|---|
BART | 通用模型,适合做摘要任务 | 不能预训练,可以微调 |
PEGASUS | 针对摘要任务 | 不能预训练,勉强微调? |
T5 | 通用模型,适合做摘要任务 | 大模型,做摘要任务不能微调 |
BigBird | 通用模型,稀疏注意力 | 可以预训练 |