在物流仓储领域，无序混合纸箱码垛机器人有着广泛的应用需求。面对随机到达的不同尺寸箱子，如何利用机器人实现自动化、高效的码垛，同时节约人力成本并提高物流周转效率，是物流仓储自动化的一大挑战。这个问题的核心在于解决装箱问题（Bin Packing Problem, BPP），即为每个纸箱规划在容器中的最佳位置，以最大化容器的空间利用率。

传统的求解BPP方法大多依赖启发式规则进行搜索。然而，在实际应用场景中，机器人无法预先知道传送带上所有箱子的具体信息，因此无法做出全局最优规划。这就导致现有的BPP方法难以直接应用于实际物流场景中。实际上，人类可以通过观察即将到来的几个箱子的形状和尺寸，迅速做出决策，而不需要对整个箱子序列进行全局规划。这种仅能看到部分箱子序列的装箱问题被称为在线装箱问题（Online BPP）。在物流输送线旁的箱子码垛任务通常可以描述为Online BPP问题。因此，解决这类问题对于开发真正实用的智能码垛机器人至关重要。

最近，国防科技大学、克莱姆森大学和视比特机器人的研究人员合作提出了一种使用深度强化学习求解这一问题的方法。该算法不仅表现出色，而且易于实施，可以适用于任意数量的前瞻箱子情况，摆放空间利用率达到了甚至超过了人类水平。同时，研究团队结合了3D视觉技术，成功实现了业界首个高效能无序混合码垛机器人。这项研究成果已被人工智能顶级会议AAAI 2021大会接收。

该方法首先使用带约束的深度强化学习解决BPP-1问题，即只能前瞻一个箱子的情况。然后，基于蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）方法，将算法从BPP-1扩展到BPP-k。这种方法通过考虑未来多个箱子的信息，可以显著提高空间利用率。例如，当算法能够在码放当前箱子时考虑到后续箱子的尺寸，可能会获得更好的码放效果。

为了提升算法的学习效率并确保码放的物理可行性和稳定性，研究人员在Actor-Critic框架的基础上引入了一种“预测-投影”动作监督机制。这种机制不仅让强化学习算法快速学习物理约束，还能有效避免在训练过程中出现不可行的放置位置。此外，研究团队还介绍了处理箱子水平旋转和多容器码放的扩展方案。

实验结果表明，该算法在BPP-1问题上表现优于传统启发式算法。特别是在不同约束条件下进行的消融实验进一步证实了算法的有效性。此外，用户研究显示，该算法在BPP-1问题上的性能甚至超过了人类的表现。研究团队还将该算法应用于工业机器人上，实现了一个高效的无序混合码垛机器人。这个机器人能够在实际环境中连续、稳定且快速地码放数十个随机尺寸的箱子，容器空间利用率超过70%，显著优于现有的同类机器人。

通过上述方法，研究团队展示了深度强化学习和3D视觉技术在物流仓储自动化中的巨大潜力，为智能码垛机器人的开发提供了新的思路和技术路径。