符号微调增强语言模型的上下文学习

符号微调利用上下文输入-标签对进行语言模型的微调，其中标签为任意符号。这种微调方式背后的直觉是：若指令和相关标签不可获取，那么模型必须使用上下文样本学习任务。DeepMind研究人员也对符号进行了研究，表明符号是人类赋予其含义，若定义一套机器的符号，那么语义将被重新定义，进而可以评估人工智能模型遵循特定的标准。如图1所示，指令微调与符号微调的对比。

图1 指令微调与符号微调

指令微调主要目的是提高语言模型跟随上下文exemplars的能力。然而，它的缺点是模型不会被迫理解exemplars，这是因为指令和自然语言的标签导致模型忽略exemplars。例如：若任务未发生改变而利用了随机标签或反转标签，那么语言模型会展现出不被期望的行为。

符号微调对模型的提高有：

• 符号微调提高了模型在上下文学习任务中的性能。
• 符号微调提高了模型在算法推理任务中的性能。