ByteDance Seed restructures into four departments to train 5T-parameter model
ByteDance's Seed foundation model division has reorganized into four new first-level departments—Pretrain Data, Horizon RL, Product Posttrain-Work, and Product Posttrain-Chat—to support training a super-large model with over 5 trillion parameters and an Omni multimodal model. The restructuring merges previously scattered data and post-training teams to reduce overlap and improve collaboration, with all four department heads reporting to Wu Yonghui.
Coverage timeline
晚点 LatePost高洪浩
我们了解到，字节跳动的大模型部门 Seed 已于上周完成了新一轮的组织调整。 其中最关键的部分是 Seed Foundation Model （Seed 基础模型）成立了四个新的一级部门： Pretrain Data，负责人李成刚。由原先分散在文本模型、编程、视觉理解和语音等方向的预训练数据团队合并而来，统一负责新 Omni 模型的多模态数据，以及超大模型预训练所需的数据工作。 Horizon RL，负责人唐晟宇。整合了此前散落在后训练、推理和视觉理解的后训练团队，主要负责强化学习，提升模型的基础智能上限。 Product Posttrain-Work，负责人秦禹嘉。新部门主要服务 B 端应用，负责 Agentic 模型的整合与发布，并针对办公场景优化模型的 Agentic 能力，包括支持豆包和 Dola 的任务模式。 原本由朱文佳负责的 Application 团队继续保留，并更名为 Product Posttrain-Chat，主要服务 C 端应用，负责对话模型的整合与发布，与 Product Posttrain-Work 分工协作。 四个新部门的负责人均向吴永辉汇报。此外，Seed 还为 AI 安全及其他前沿探索方向分别任命了负责人。 8 月初， 字节跳动讨论训练一个参数规模超过 5 万亿的模型 。同时，字节也希望下一代模型直接走向能处理更长、更复杂任务的全模态（Omni）。这也给了字节更强的动力和决心去打破原有的团队边界与分工模式。Seed 在这次调整公告中也提到：“合并相似工作、减少 overlap（重合），内聚在一起”。 过去，Seed 主要按照模态和研究方向划分团队，文本、代码、视觉、推理等方向都有自己的数据、后训练团队。这种组织方式在大模型研发早期有利于快速补齐不同能力，但随着研究方向越来越多，团队之间的边界也变得越来越模糊，一些方向出现重复投入，跨团队沟通和协作的成本也随之增加。 更大尺寸模型是一个系统工程。参数规模扩大后，模型需要更多且更丰富的数据来训练；且对数据质量的要求也不断提升。如果高质量数据没有同步增长，增加的参数可能只是重复学习已有信息，继续投入资源的收益会迅速下降。 Omni 模型又增加了一层复杂性。语言、代码、视觉和语音要进入同一个基座，各类数据放多少、在什么阶段加入、如何保持模态之间的平衡，都会影响模型最终的能力。这需要 Seed
