Stanford's Marin Open Labs Live-Streams Training of 535B-Parameter Model
Percy Liang's Marin Open Labs has begun publicly live-streaming the training of the Marin 535B-A23B model, a 535B-total-parameter (23B active) model trained on 18.75T tokens over approximately three months, totaling about 2.7e24 FLOPs. The team previously ran a four-stage scaling ladder from 1.6B to 27.7B parameters to debug and forecast the hero run, and plans to open data, logs, and engineering details.
Coverage timeline
机器之心机器之心
最近两天，X 上网友 Max For AI@MaxForAI 的一篇帖子引发了网友热议：「太疯狂了 —— 现在你甚至可以直播围观一个 535B 大模型是如何被训练出来的 。」 原来是 斯坦福大学教授、Simile AI 创始人 Percy Liang@percyliang 宣布由 Marin 开放实验室启动训练 Marin 535B-A23B 模型，并且整个训练过程将全程公开进行 。 Marin 拥有 5350 亿总参数、230 亿激活参数，为此，Percy Liang 和团队准备了总计 18.75 万亿 token 的训练数据，部署了 11 套 GB200 NVL72 系统，约合 792 颗 GB200 GPU。 预计模型将连续训练约 3 个月，总训练计算量约为 2.7e24 FLOPs。训练完成后，团队还将继续进行后训练（post-training）阶段。 换句话说： 未来几个月，所有人都可以围观一个前沿大模型如何从零开始成长 。 另外值得注意的是，Percy Liang 表示，在正式启动这次训练任务之前，团队已经先训练了一套包含 4 个阶段的 Scaling Ladder（规模扩展阶梯），从 1.6B-A61M（48B tokens） 一直到 27.7B-A1.2B（926B tokens）。 「这样做有两个目的， 一是用这些小规模实验提前发现并调试潜在问题；二是根据不同规模模型的训练表现，对我们的「主模型训练」（hero run）进行预测。 」 当然，Percy Liang 也表示，「这是迄今为止我们进行过规模最大的一次训练，因此，我们也确实在期待过程中出现一些意料之外的情况。」 目前，该主模型已经正式开始运行，所有人都可以直接查看实时训练曲线。后续，训练数据、实验日志以及工程问题也会持续公开。 比如数据层面，包括训练数据混合比例、数据处理方式，以及不同领域数据如何进入模型；工程层面，包括训练配置、代码以及实验设计；训练过程，包括实时 loss 变化、模型状态以及不同阶段预测结果等。 同步， Percy Liang还公开了的 具体的观看渠道。 查看数据构成：https://storage.googleapis.com/marin-public/held/harrier-k40-cluster-overview/2026.08.18/index.html?re
