ByteDance Seed: Caption Information Density, Not Length, Drives Text-to-Image Scaling
ByteDance Seed researchers published a paper showing that in text-to-image models, the information density of captions, not their token length, predicts diffusion training loss. They propose Structured Prompt to increase image-bound information from both Diffusability and Promptability sides, significantly improving complex composition, reasoning, and world knowledge generation tasks.
Coverage timeline
机器之心机器之心
文生图模型一直在扩展模型、数据和算力， 但训练图像所配 Caption 的信息量，却很少被作为一个独立变量系统研究 。ByteDance Seed 团队发现：自然语言 Caption 变长，并不意味着模型获得了更多可用的视觉监督；相比长度，Caption 中与图像绑定的信息量更能预测扩散模型最终达到的训练损失。 基于这一发现，团队提出 Structured Prompt，并从 Diffusability 与 Promptability 两侧共同提升文本条件，最终在复杂组合、推理和世界知识生成任务上取得显著提升。 论文 Figure 1｜自然语言长度很快饱和；结构化条件持续增加图像信息，并沿统一关系降低扩散训练损失。 过去几年，文生图模型的进步几乎沿着一条熟悉的路线展开：更大的模型、更多的数据，以及更高的训练算力。 但文生图与语言模型之间存在一个容易被忽略的差异。语言模型可以直接从文本序列中进行自监督学习；文生图模型则依赖图像与 Caption 的配对，学习 “什么样的文字对应什么样的视觉内容”。图像中可能包含大量物体、属性、位置、动作和关系，但只有被 Caption 准确描述并清晰绑定的部分，才能作为文本条件监督传递给模型。 于是，一个基础问题出现了：除了继续扩大模型、数据和算力，我们能否通过增加 Caption 所携带的图像信息，让生成模型学得更好？ 在这项新工作中，ByteDance Seed 团队研究了这一问题。核心结论可以概括为一句话： 真正随文本条件扩展的，不是 Caption 的 token 数量，而是其中可被模型利用的图像信息。 论文标题： Scaling Properties of Text Conditioning in Visual Generation 作者： Zilong Chen, Chaorui Deng, Kunchang Li, Hongyi Yuan, Haoqi Fan 机构： ByteDance Seed 论文：https://arxiv.org/abs/2607.29679 项目主页：https://heheyas.github.io/context-scaling 代码：https://github.com/heheyas/context-scaling 模型：https://huggingface.co/collectio
