(相关资料图)

事件描述

近日，斯坦福A团队推出了LaminiAl大模型引擎，可以快速生成调参数据，方便使用者根据基础模型快速微调自己的大模型。开发人员只需要使用Lāmii库中的几行代码，就能在大型数据集上训练出高性能的大模型。Lamini引壁包含Lamini Open数据生成器和Lamini Instruct指令调参模型两个部分，在快速生成调参数据之后，还能对调参数据进行优化以提高prompt的质量。Lamini引幸可以实现大模型的多种优化，包括简单的优化（如消除模型幻觉）和更具桃战性的优化（如RLHF）。Lamini还支持将默认指令调参模型换成其他开源或OpenAl模型。

Lamini引攀目前已支持ChatGPT、GPT4等主流厂商发布的大语言模型。

事件评论

Lamini数据生成器降低了对调参数据集的需求。Lamini的数据生成器是一个大模型pipeline,其灵感来自斯坦福的开源调参指令模型Alpaca。Pipeline使用Lamini库来定义和调用Lamini Instruct指令调参模型以生成不同但相似的指令。通过Lamini Open数据生成器，开发者只需要投喂约100至200条输入指令，即可生成超过5万条新的输入指令。接下来Lamini Instruct调参指令模型会根据这些输入指令生成对应的5万条指令输出。因为数据生成器生成的数据质量参差不齐，所以Lmii引擎在下一步还会将生成的数据过滤为高质量数据。

Lamini极大限度降低了模型调参的门槛，加快了RLHF的迭代速率。在Lamini发布之前，将基础模型构建成强大的语言模型是一个极具挑战性的过程，需要花费大量的时间和成本。在特定数据集上进行微调的迭代周期以月为单位，需要花费大量时间找出微调模型失败的原因，而且能融入pOmt的数据量非常有眼。此外，一些基础模型经过微调之后，性能变得更差，无法投入使用。Lamini引苹将微闪封装成一种服务，允许开发人员可以轻松将大话言模型微调成ChatGPT。用户不再需要人工标注收集上万条高质量调参数据对，极大的降低了大模型调参的难度，这一优势也使得指令调参模型可以快速迭代pomp的指令输入与缩出，加速了RLHF循环的飞轮效应。

风险提示

1、大模型技术推进不及预期；

2、大模型商业化落地的过程存在风险。