标签 LoRAs 下的文章
大语言模型的低秩适应技术LoRA的原理
自然语言处理领域许多应用需要微调大规模预训练语言模型，使其适应多个下游任务。然而，这种方式需要更新整个预训练模型的参数，造成微调大模型和部署大模型的成本很高。根据Li和Aghajanyan等人的研究，可知，参数量大的模型的性能实际上依赖于低的固有维度。因此，LoRA作者们假设模型在微调时，权重的改变也有一个低的“内在秩”。如图1所示，LoRA的重参数化方法。
自然语言处理领域许多应用需要微调大规模预训练语言模型，使其适应多个下游任务。然而，这种方式需要更新整个预训练模型的参数，造成微调大模型和部署大模型的成本很高。根据Li和Aghajanyan等人的研究，可知，参数量大的模型的性能实际上依赖于低的固有维度。因此，LoRA作者们假设模型在微调时，权重的改变也有一个低的“内在秩”。如图1所示，LoRA的重参数化方法。