大规模语言模型微调技术——Instruction和Question的区别和联系

sockstack / 102 / 2024-02-27 13:02:37

<p><span style="color: red; font-size: 18px">ChatGPT 可用网址，仅供交流学习使用，如对您有所帮助，请收藏并推荐给需要的朋友。</span><br><a href="https://ckai.xyz/?sockstack&section=detail" target="__blank">https://ckai.xyz</a><br><br></p> <article class="baidu_pl"><div id="article_content" class="article_content clearfix">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-1a98987dfd.css">
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-25cebea3f9.css">
<div id="content_views" class="markdown_views prism-atom-one-light">
<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg><h1>
<a id="1__0"></a>1. 引言</h1> 
<p>在ChatGPT的时代，每个人都能够轻松使用这一强大的语言模型。这一切的实现速度比我之前所想象的要快得多。这得益于大规模语言模型微调技术，其实并没有引入太多新颖的元素。特别是有了ChatGPT作为引路人，许多事情变得更加容易和简单。尤其是借助LLaMA开源项目为基础，许多模型都是以LLaMA作为基座模型，并通过微调特定的指令数据集来实现与ChatGPT的对齐。</p> 
<h1>
<a id="2__3"></a>2. 微调数据的形式</h1> 
<p>复现ChatGPT有两种主要方法。第一种方法是Claude的方法，基本上是按照ChatGPT的路线进行复现。这种方法的优势在于，由于他们都是OpenAI的前员工，所以复现率在当前各项评测中确实是最完美的。然而，这种方法的积累和成本无法做到人人都能轻松实现。另一种方法是依赖ChatGPT的快速复现法，其中Alpaca和Vicuna是代表性的模型。虽然它们都以LLaMA作为基座模型，但Vicuna模型的性能比Alpaca更强。这其中的原因涉及多个方面。</p> 
<p>首先，Alpaca试图从源头模拟ChatGPT的生成过程，并通过指令微调来达到与ChatGPT相似的性能。它在数据集创建上借鉴了ChatGPT的能力。Alpaca的微调数据主要是通过自我指导生成的合成指令数据集。与之相反，ChatGPT的指令数据集完全来自真实的人类用户，这使得ChatGPT的指令质量更高，更符合用户意图的分布。而Alpaca只是模拟了这种指令数据集的生成过程。</p> 
<p>另一方面，Vicuna直接蒸馏了用户和ChatGPT之间的对话。这一方法一方面获得了用户真实意图分布的信息，另一方面训练和测试场景更加一致，因为它是基于多轮对话的。此外，就数据量而言，Vicuna使用的数据集大小远大于Alpaca使用的数据量。</p> 
<p>此外，还有许多模型遵循这两种训练范式，甚至将它们结合起来。有关更多信息，可以参考LLMZOO。然而，通过观察许多其他大规模语言模型复现的数据集，可以发现它们的格式并不是非常统一。特别是那些以Alpaca为基准的模型，它们的数据集形式各不相同。</p> 
<p>有些模型的训练集就是原始的问答数据集，其数据格式是问答形式，只是在更大的模型上进行微调而已。有些模型的训练集包含Instruction和Input两个部分，但实质上并没有本质上的改变，因为它们的Instruction在整个数据集上都是一模一样的。这种方式也存在一些问题。而有些模型的训练集则遵循了Alpaca的方式，确实包含Instruction和Input两个部分。然而，关于问答和指令之间的区别和联系，一直困扰着我。它们对整个模型训练的影响究竟有何区别？</p> 
<h1>
<a id="3_QuestionInstruction_14"></a>3. Question和Instruction的区别</h1> 
<p>问答（QA）和指令（Instruction）是人机交互中最常见的形式之一。QA是指一问一答的形式，通常是用户提问，模型给出回答。而Instruction则源自于Prompt Engineering，将问题拆分为两个部分：Instruction用于描述任务，Input用于描述待处理的对象。以下是两种形式的例子：</p> 
<p>问答（QA）格式用于训练模型在给定问题下提供答案。一般而言，QA训练数据包含一系列问题和相应的答案。例如：</p> 
<pre><code>Q: 什么是人工智能？
A: 人工智能是指由人造出来的系统表现出的、原本被认为只有人类才会表现出的智能行为。
</code></pre> 
<p>这种格式适用于训练问答系统，或者任何需要模型理解问题并提供准确答案的任务。</p> 
<p>指令（Instruction）格式用于训练模型按照给定指示执行任务。例如：</p> 
<pre><code>I: 将以下句子翻译成英文：我爱学习人工智能。
O: I love learning artificial intelligence.
</code></pre> 
<p>这种格式的训练数据适用于训练生成模型，尤其是在需要模型执行具体任务（如翻译、写作、代码生成等）时。</p> 
<p>因此，问答（QA）格式的训练数据通常用于训练模型回答基于知识的问题，而指令（Instruction）格式的训练数据更适用于训练模型执行具体任务。</p> 
<h1>
<a id="4_QuestionInstruction_37"></a>4. Question和Instruction的联系</h1> 
<p>然而，这并非是一个强制性规定，因为许多任务可以被表述为问题或指令。例如，你可以将"将以下句子翻译成英文：我爱学习人工智能"表述为一个问题，比如"我爱学习人工智能"这句话的英文是什么？反之，你也可以将"什么是人工智能？“表述为一个指令，比如"解释下面名词的含义：人工智能”。</p> 
<p>将问题转化为指令可能有助于模型更好地理解任务的目标，尤其是在任务需要执行特定操作时。例如，对于问题"请解释VC银翘片和双黄连口服液之间的区别"，我们可以将其拆分为以下两部分：</p> 
<p>指令（Instruction）：请解释下面两个药品之间的区别。<br> 输入（Input）：VC银翘片和双黄连口服液。</p> 
<p>在这个例子中，模型需要解释两种药品之间的区别。通过将问题转化为指令，模型可能更容易识别任务的关键部分，比如在这个例子中，需要解释的是两种药品的名称。</p> 
<p>此外，指令的形式可能使模型具有更好的泛化能力，因为它强调了任务的性质，而不仅仅是特定的输入。例如，在"请解释下面两个药品之间的区别。VC银翘片和双黄连口服液"这个例子中，模型可能会学会对任何给定的两种药品进行类似的比较和解释，而不仅仅是针对VC银翘片和双黄连口服液。</p> 
<p>当然，选择使用哪种格式通常取决于具体需求，包括任务类型、模型的预期行为，以及训练数据的可用性。对于某些任务，混合使用这两种格式的训练数据可能会产生最佳结果。</p> 
<h1>
<a id="5__52"></a>5. 现有模型的一些想法</h1> 
<p>随着越来越多的"速成"chatGPT模型的出现，指令微调的方法逐渐变得普遍，并且越来越多的人开始尝试在下游任务上应用这种方法进行评测。接下来有几个问题需要进一步验证：</p> 
<ol>
<li>指令微调的方法是否适用于下游任务？</li>
<li>是否需要在之前的一些自然语言理解任务上评测现有的大模型性能？</li>
<li>通过指令微调的方法到底提升了模型的哪些性能方面？</li>
</ol> 
<p>关于第一个问题，指令微调的方法未必适用于所有下游任务。正如之前的分析所述，指令微调的目的是完成特定任务，而不是更好地完成任务。真正能够完成任务的能力仍然需要通过语言建模任务来学习。事实上，从本质上来说，目前的大模型和之前的模型并没有太大区别，即使它们展现出非常高级的自然语言理解能力，最终还是通过语言建模来实现的，只是表现得更像真正理解文本的能力。因此，指令微调对于完成特定任务是有效的，但是对于提升特定任务的性能而言，则取决于具体任务的形式。如果是自然语言生成任务，例如摘要、续写、翻译，甚至生成式信息抽取等，那么其实和语言建模没有太大区别，持续的训练对于模型性能的提升是有帮助的。如果是一些判别任务，例如分类、选择题等，可能只需要少量的样例训练就可以让模型输出特定格式的结果，但增加训练样本数量未必能增强模型的性能，这取决于任务是否更接近生成任务。当然，如果只想追求解码上的固定格式，可以使用引导（Guidance），前提是能够获取整个模型的输出概率分布。</p> 
<p>对于第二个问题，我认为评测的方式取决于模型是基于chat化的还是非chat化的，评测的角度是考虑知识还是交互。个人而言，如果关注的是知识方面，更重要的是评测基座模型，即非chat化的模型，因为chat本身只是让模型按照用户指令进行交互，并不能代表任务的好坏。当然，如果有强化学习和人类反馈的训练，这可能会提升性能，前提是用户的反馈具有指导性，而不仅仅是价值观和偏好性的对齐。对于chat化的模型，我认为应该从交互或对话等方面进行评估，纯粹的题目解答评估可能对chat系列模型不利。目前，我也在这个问题上进行研究。</p> 
<p>对于第三个问题，指令微调到底提升了模型的哪些性能方面。通过前面的讨论，我初步得出的结论是，指令微调显著增强了模型按照指令执行任务的能力。然而，对于任务的执行质量，可能需要继续使用语言建模的方式进行训练才能得到。当然，关于上述三个问题，我相信关于Instruction的研究已经有一些结论了，只是在复现ChatGPT系列模型下，这些问题可能变得更加尖锐。</p> 
<p>至于其他的研究方式，你可以查看最近ACL和EMNLP等会议上录用的论文，了解当前的研究进展。</p> 
<h1>
<a id="6__69"></a>6. 小结</h1> 
<p>在ChatGPT时代的指令微调技术正迅速发展，为我们提供了一种更加精确和有效的方式来训练模型执行特定任务。虽然仍然存在一些待验证的问题，比如指令微调在下游任务中的应用性、对现有大模型性能的评测需求以及指令微调对模型性能的具体提升，但这些问题也为我们提供了更多的研究和探索的机会。</p> 
<p>通过不断的实践和研究，我们可以更好地理解指令微调的本质和潜在局限性，并进一步探索其在不同任务和场景下的适用性。这种探索将推动我们对语言模型的理解和应用的进一步深化，为构建更智能、更灵活的模型打开新的可能性。</p> 
<p>在未来的研究中，我们还可以关注其他方式和方法，例如最新的论文和会议上的研究成果，以获取关于指令微调的最新进展和创新思路。这将有助于我们推动指令微调技术的发展，并在语言模型领域取得更大的突破和进步。</p> 
<p>总之，指令微调技术在ChatGPT时代为我们带来了新的机遇和挑战。通过持续的研究和探索，我们将更好地理解和应用这一技术，为语言模型的发展和应用开辟更广阔的前景，进一步推动人机交互和自然语言处理的进步。</p>
</div>
<link href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/markdown_views-98b95bb57c.css" rel="stylesheet">
<link href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/style-c216769e99.css" rel="stylesheet">
</div>
<div id="treeSkill"></div>
</article>

作者

sockstack

许可协议

CC BY 4.0

发布于

2024-02-27

修改于

2024-09-16

上一篇：软件：常用 Linux 软件汇总，值得收藏下一篇：云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术（新一代信息技术）学习这一篇够了！