​李开复公司陷入 LLaMa 架构命名争议，零一万物回应：将进行代码更新

李开复公司陷入 LLaMa 架构命名争议，零一万物回应：将进行代码更新

文｜林炜鑫

编辑｜邓咏仪

11 月初新发布的大模型「Yi」这两天卷入一场争议。科技新闻社区 Hacker News 的一篇帖子指出，Yi-34B 模型完全使用了 LLaMa 的架构，只是重新命名了两个张量（Tensor，通常用来表示模型的输入、输出和参数），却未提及 LLaMa。

帖子引起业内关注

「Yi」是由李开复创办的 AI 公司「零一万物」打造的国产开源大模型，拥有 200K 上下文窗口，可处理约 40 万字文本。自推出后，零一万物表示，Yi 模型在 Hugging Face 英文开源社区平台和 C-Eval 中文评测榜单中，取得多项 SOTA 国际最佳性能指标认可，成为第一家登顶 Hugging Face 全球开源模型排行榜的国产模型。

零一万物昨日回应表示，Yi 模型的研发借鉴了行业顶尖水平的公开成果；之所以改名是为了满足训练实验的需求；团队将更新代码。

这场争议的源头是零一万物 Hugging Face 社区的一条留言。一位 ID 名为「ehartford」的工程师数天前便发现了这个问题，并指出这一行为没有符合 LLaMa 规定的许可协议。

ehartford 朝 Yi 团队喊话

有开发者跟帖道：" 如果他们确实用了 Meta LLaMa 结构、代码库和所有相关资源，需要遵守 LLaMa 规定的许可协议。"

因此，另一位开发者动手把张量名字改了回去，重新放到 Hugging Face 上。

很快，有人翻出了前阿里首席 AI 科学家、 AI 创业者贾扬清的朋友圈：

贾扬清朋友圈

需要区别的是，Yi 引发的争议在于其模型架构的命名，与抄袭、简单套壳有本质区别。LLaMa 本就是开源的模型，使用 LLaMa 的架构是正常的大模型训练步骤，即使是选择同一种架构，用不同数据集训练出来的模型也会截然不同。

一位开发者则向 36 氪表示，外界苛责的是使用开源 LLaMa-2 模型架构，却改了名字，" 好比造了跟奔驰一样的车，把牌子换了名字，把方向盘改为动力控制转向器 "。在他看来，用了 LLaMa 架构，" 大方承认就好 "。

有开发者晒出 Yi 和 LLaMa 的代码对比

昨天下午，「Yi」团队开源总监在 Hugging Face 社区回复，命名问题是团队的疏忽，" 在大量的训练实验中，我们对代码进行了多次重命名以满足实验要求，但在发布前没有将它们切换回来 "。他表示，团队将把张量名字从 Yi 改回 LLaMa，并且重新发布。

Yi 团队在社区上的回应

附零一万物给机器之心的回应：

GPT 是一个业内公认的成熟架构，LLaMa 在 GPT 上做了总结。零一万物研发大模型的结构设计基于 GPT 成熟结构，借鉴了行业顶尖水平的公开成果，同时基于零一万物团队对模型和训练的理解做了大量工作，这是我们首次发布获得优秀结果的地基之一。与此同时，零一万物也在持续探索模型结构层面本质上的突破。

模型结构仅是模型训练其中一部分。Yi 开源模型在其他方面的精力，比如数据工程、训练方法、baby sitting（训练过程监测）的技巧、hyperparameter 设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 AI Infra 能力等，投入了大量研发和打底工作，这些工作往往比起基本结构能起到更大的作用跟价值，这些也是零一万物在大模型预训练阶段的核心技术护城河。

在大量训练实验过程中，由于实验执行需求对代码做了更名，我们尊重开源社区的反馈，将代码进行更新，也更好的融入 Transformer 生态。

我们非常感谢社区的反馈，我们在开源社区刚刚起步，希望和大家携手共创社区繁荣，Yi Open-source 会尽最大努力持续进步。