>> 长江证券-信息技术行业研究:Lamini大模型引擎发布,开创模型调参新范式-230506
| 上传日期: |
2023/5/6 |
大小: |
959KB |
| 格式: |
pdf 共4页 |
来源: |
长江证券 |
| 评级: |
看好 |
作者: |
宗建树 |
| 下载权限: |
此报告为加密报告 |
|
|
事件描述 近日,斯坦福AI团队推出了LaminiAI大模型引擎,可以快速生成调参数据,方便使用者根据基础模型快速微调自己的大模型。开发人员只需要使用Lamini库中的几行代码,就能在大型数据集上训练出高性能的大模型。Lamini引擎包含Lamini Open数据生成器和Lamini Instruct指令调参模型两个部分,在快速生成调参数据之后,还能对调参数据进行优化以提高prompt的质量。Lamini引擎可以实现大模型的多种优化,包括简单的优化(如消除模型幻觉)和更具挑战性的优化(如RLHF)。Lamini还支持将默认指令调参模型换成其他开源或OpenAI模型。Lamini引擎目前已支持ChatGPT、GPT-4等主流厂商发布的大语言模型。 事件评论 Lamini数据生成器降低了对调参数据集的需求。Lamini的数据生成器是一个大模型pipeline,其灵感来自斯坦福的开源调参指令模型Alpaca。Pipeline使用Lamini库来定义和调用Lamini Instruct指令调参模型以生成不同但相似的指令。通过Lamini Open数据生成器,开发者只需要投喂约100至200条输入指令,即可生成超过5万条新的输入指令。接下来Lamini Instruct调参指令模型会根据这些输入指令生成对应的5万条指令输出。因为数据生成器生成的数据质量参差不齐,所以Lamini引擎在下一步还会将生成的数据过滤为高质量数据。 Lamini极大限度降低了模型调参的门槛,加快了RLHF的迭代速率。在Lamini发布之前,将基础模型构建成强大的语言模型是一个极具挑战性的过程,需要花费大量的时间和成本。在特定数据集上进行微调的迭代周期以月为单位,需要花费大量时间找出微调模型失败的原因,而且能融入prompt的数据量非常有限。此外,一些基础模型经过微调之后,性能变得更差,无法投入使用。Lamini引擎将微调封装成一种服务,允许开发人员可以轻松将大语言模型微调成ChatGPT。用户不再需要人工标注收集上万条高质量调参数据对,极大的降低了大模型调参的难度。这一优势也使得指令调参模型可以快速迭代prompt的指令输入与输出,加速了RLHF循环的飞轮效应。 风险提示 1、大模型技术推进不及预期; 2、大模型商业化落地的过程存在风险。
|
|