研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 长江证券-信息技术行业研究:Lamini大模型引擎发布,开创模型调参新范式-230506
上传日期:   2023/5/6 大小:   959KB
格式:   pdf  共4页 来源:   长江证券
评级:   看好 作者:   宗建树
下载权限:   此报告为加密报告
事件描述
  近日,斯坦福AI团队推出了LaminiAI大模型引擎,可以快速生成调参数据,方便使用者根据基础模型快速微调自己的大模型。开发人员只需要使用Lamini库中的几行代码,就能在大型数据集上训练出高性能的大模型。Lamini引擎包含Lamini Open数据生成器和Lamini Instruct指令调参模型两个部分,在快速生成调参数据之后,还能对调参数据进行优化以提高prompt的质量。Lamini引擎可以实现大模型的多种优化,包括简单的优化(如消除模型幻觉)和更具挑战性的优化(如RLHF)。Lamini还支持将默认指令调参模型换成其他开源或OpenAI模型。Lamini引擎目前已支持ChatGPT、GPT-4等主流厂商发布的大语言模型。
  事件评论
  Lamini数据生成器降低了对调参数据集的需求。Lamini的数据生成器是一个大模型pipeline,其灵感来自斯坦福的开源调参指令模型Alpaca。Pipeline使用Lamini库来定义和调用Lamini Instruct指令调参模型以生成不同但相似的指令。通过Lamini Open数据生成器,开发者只需要投喂约100至200条输入指令,即可生成超过5万条新的输入指令。接下来Lamini Instruct调参指令模型会根据这些输入指令生成对应的5万条指令输出。因为数据生成器生成的数据质量参差不齐,所以Lamini引擎在下一步还会将生成的数据过滤为高质量数据。
   Lamini极大限度降低了模型调参的门槛,加快了RLHF的迭代速率。在Lamini发布之前,将基础模型构建成强大的语言模型是一个极具挑战性的过程,需要花费大量的时间和成本。在特定数据集上进行微调的迭代周期以月为单位,需要花费大量时间找出微调模型失败的原因,而且能融入prompt的数据量非常有限。此外,一些基础模型经过微调之后,性能变得更差,无法投入使用。Lamini引擎将微调封装成一种服务,允许开发人员可以轻松将大语言模型微调成ChatGPT。用户不再需要人工标注收集上万条高质量调参数据对,极大的降低了大模型调参的难度。这一优势也使得指令调参模型可以快速迭代prompt的指令输入与输出,加速了RLHF循环的飞轮效应。
  风险提示
  1、大模型技术推进不及预期;
  2、大模型商业化落地的过程存在风险。
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1