Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning

拒答感知指令微调（Refusal-Aware Instruction Tuning, RAIT）使大型语言模型（LLMs）能够拒绝回答未知问题。通过将训练数据中未知问题的回答修改为拒答，例如“I don't know”，RAIT增强了LLMs的可靠性并减少了它们的幻觉现象。通常，RAIT根据初始LLM回答的正确性来修改训练样本。然而，这种粗糙的方法可能导致LLMs过度拒绝回答它们本可以正确回答的问题，这就是我们称之为“过度拒答（over-refusal）”的问题。本文探讨了过度拒答的两个主要原因：静态冲突出现在仅根据正确性构建RAIT数据时，导致LLM特征空间中相似的样本被赋予不同的标签；动态冲突则由于LLM在微调过程中知识状态的变化而产生，即先前的未知问题变为已知，但训练数据仍基于初始LLM的状态保持不变。这些冲突导致训练后的LLM将已知问题误判为未知问题，从而引发过度拒答。 为了解决这个问题，我们提出了Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning（CRaFT）。CRaFT主要有两项贡献：首先，我们引入了回答的确定性，以选择性地过滤和修改数据，减少静态冲突；其次，我们提出了rehearsal training，以表征LLM知识状态的变化，从而帮助在微调过程中缓解动态冲突。我们在开放式问答和选择题任务上进行了广泛的实验，实验结果表明，CRaFT能够在RAIT过程中提升LLM的整体性能。