上海人工智能实验室与上海交大开源89亿参数模型: 上海人工智能实验室和上海交通大学LUMIA实验室已开源NCP-ArchPreview。这是一个8.9B潜在空间模型，联合训练下一概念和下一词元预测。该模型在约51.3%的词元上成功匹配了7B基线的损失。

来源简报

上海人工智能实验室与上海交大开源89亿参数模型: 上海人工智能实验室和上海交通大学LUMIA实验室已开源NCP-ArchPreview。这是一个8.9B潜在空间模型，联合训练下一概念和下一词元预测。该模型在约51.3%的词元上成功匹配了7B基线的损失。