概
LoRA 微调在推荐上的初步尝试.
TallRec
-
TallRec 实际上就是一种特殊的指令微调框架.
-
一般的指令微调格式如下:
-
它规范了输入和输出的格式, 通过在这些输入输出对上进行微调, 是的 LLM 具备指令输出的能力.
-
除了 Alpaca 所用的一些基本的指令数据, TallRec 额外设计了一些针对推荐任务的指令微调数据:
-
Rec Input: "User Preference: \(item_1, item_2, \ldots, item_n\). User Unpreference: \(item_2, item_3, \ldots, item_{n-1}\). Whether the user will enjoy the target movie/book: \(item_{n+1}\)." 其中 \(item_i\) 由物品的 ID 和 Title 构成.
-
Rec Output: "Yes./No."
-
注: 故, TallRec 实际上是 CTR 任务.
-
微调, 采用的是 LORA 微调, 即低秩部分.
代码
[official]
- Recommendation Effective Efficient Framework Languagerecommendation effective efficient framework foundation efficient language models lightgcl recommendation contrastive effective recommendation contrastive effective lightgcl probabilistic efficient framework embraces recommendation personalized prompting language modalities framework language onellm efficient memory-efficient parameter-efficient