影响力与复现性
DreamerV3 于 2025 年发表在 Nature 上，是近十年来最具影响力的基于模型的强化学习论文之一：首次证明单一固定配置算法能够掌控 150 余个跨域任务，涵盖游戏、机器人控制与开放世界环境，由此掀起了可扩展世界模型与通用智能体研究的热潮。第一作者 Danijar Hafner 已在 github.com/danijar/dreamerv3 开源完整的 JAX/Flax 实现，仓库持续维护，社区也贡献了 PyTorch 移植版本，显著降低了复现门槛。由于所有超参数在任务间保持固定，一旦计算资源到位，实验搭建相当直接。对于大多数基准（Atari、DMControl、Crafter），单张 NVIDIA A100（40 GB）即可满足需求，训练时间从数小时到一天不等；而复现 Minecraft 相关结果则需要 4–8 张 A100，因原始实验使用的是 TPU v4 Pod。
论文总结
DreamerV3 是一种通用强化学习算法，使用单一固定配置即可掌控超过 150 种不同任务，涵盖 Atari 游戏、机器人控制到 Minecraft。其核心思想是世界模型：智能体学习环境的紧凑内部表示，并完全通过想象的轨迹而非真实交互来训练决策，这也是"dreaming（做梦）“这一比喻的由来。训练过程中，评论家（critic）评估想象状态的价值，行动者（actor）学习改进动作，两者均无需与真实环境交互。为使单一配置适用于差异悬殊的领域，作者引入了若干鲁棒性技术：稳定不同奖励量级下学习的价值变换、防止世界模型内部表示坍塌的自由比特机制，以及无论奖励稠密还是稀疏都能保持一致探索行为的回报归一化。
Paper: Danijar Hafner, Jurgis Pasukonis, Jimmy Ba, Timothy Lillicrap. “Mastering Diverse Control Tasks through World Models.” Nature 640, 647-653 (2025). https://doi.org/10.1038/s41586-025-08744-2
Code: https://github.com/danijar/dreamerv3