导读 获悉,3月18日,马斯克旗下人工智能公司 xAI 宣布开放其 3140 亿参数混合专家模型 Grok-1 的权重和架构。 Grok-1 是一个

获悉,3月18日,马斯克旗下人工智能公司 xAI 宣布开放其 3140 亿参数混合专家模型 Grok-1 的权重和架构。

Grok-1 是一个从头开始由 xAI 训练的大型语言模型,采用混合专家模型架构,其中 25%的权重在给定令牌上处于活跃状态。

Grok-1 模型的基本模型权重和网络架构现已根据 Apache 2.0 许可证开放。