Tencent Hunyuan analyzes batch size impact on scaling RL training at 10K-100K GPU clusters

Coverage timeline

1. 机器之心机器之心last month
   假如有一万张卡，RL训练该怎么扩大规模？十万张呢？

   强化学习走向规模化，效率成为关键变量 当预训练将大模型带到新的能力起点，强化学习则通过持续的探索与反馈，不断激发模型在新环境、新任务中的推理与行动能力，决定它们还能走多远。 RL 在模型开发中占的比重越大，训练效率对算力预算的影响也越直接。 算一笔示意账：假设 1 万张 GPU 连续运行 30 天，按每卡每小时 3 美元计算，总费用是 2,160 万美元。如果使用同样的卡数、达到同样的模型效果，但将训练时间缩短 10%，就能少使用 72 万 GPU 小时，按上述假设节省约 216 万美元。对租用集群的团队，这是直接减少的账单；对自建集群的团队，则意味着能更早把这些算力交给下一轮实验。 这些效率收益可以从哪里找？一个最基础、也几乎所有训练配方都无法绕开的参数，就是 Batch Size 。 在实际训练中，Batch Size 常常出现在两类决策中： Batch Size Tuning ：让配方适配新条件。 模型变大了，或 GPU 卡型变了，原来的 Batch 和学习率不一定还合适。Batch 太小可能让硬件利用不充分，与之不匹配的学习率则可能让学习变慢甚至不稳定。这时需要找到一组能稳定学习、又能高效使用当前硬件的 Batch 与配套超参数。 Batch Size Scaling ：把并行度变成更短的训练时间。 如果同一个模型得到了更多 GPU，Batch 能否同步扩大，让模型更早达标？即使 GPU 数量不变，如果生成并发较低、设备还没有充分工作，能否通过更大 Batch 利用这部分闲置能力？ 两类决策最终都指向同一个实际问题： 如何找到最优的 Batch Size，使模型以最短的 wall-clock time 达到预期性能？ 更大的 Batch，既可能是加速器，也可能成为减速带。腾讯混元团队在实验中观察到：适度增大 Batch，并同步调整学习率，可以在保持学习效率的同时提高吞吐；但 Batch 过大时，额外样本代价会反过来压过吞吐收益。图 1 把这种反差画成登山：有的路线能更快抵达同一性能「山顶」，有的看似步子更大，登顶反而更慢。 图 1｜把训练比作登山：山顶代表达到同一目标性能，四条路线代表不同的 Batch Size，每个路标代表一次优化更新。配套调整学习率后，B、2B 和 4B 在累计样本维度上保持近似相同的学习进度；其中更大的 Batch 因吞吐更高而更快「

   
2. 腾讯混元 BlogRL Teamlast month
   When Do Larger Batches Help Scale LLM Reinforcement Learning?

   !12 Figure 1. Think of training as climbing toward the same capability target. The summit is the shared validation target, each route is a different batch size, and each marker is one optimizer update. After learning-rate retuning, B, 2B, and 4B make similar progress per response, while higher throughput lets the larger batches reach the summit sooner. At 16B, however, the additional sample cost outweighs the throughput gain, so the apparently larger step becomes a slower route. The legend reports normalized time-to-target.! Introduction Pretraining gives large language models a new capability baseline; reinforcement learning determines how far they can continue to advance by learning through exploration and feedback in new environments and tasks. DeepSeek-R1 helped demonstrate how large-scale RL can develop strong reasoning capabilities with little labeled data.[^r1] With Grok 4, xAI pushed the computational scale further: it reported using Colossus, its 200,000-GPU cluster, to run re