RAL2023| 莫纳什大学牛津大学与印度理工学院发布使用对抗性学习方法从单目RGB图像进行物理上合理的3D人体场景重建方案

【Physically Plausible 3D Human-Scene Reconstruction from Monocular RGB Image using an Adversarial Learning Approach】

文章链接：https://arxiv.org/pdf/2307.14570.pdf

摘要：整体3D人体场景重建是机器人感知领域的关键和新兴研究领域。整体3D人体场景重建的一个关键挑战是从单个单目RGB图像生成物理上合理的3D场景。现有研究主要提出了基于优化的方法，用于从不同场景元素（人类和物体）之间明确定义的物理定律和约束的RGB帧序列中重建场景。然而，很难在每个场景中明确定义和建模每个物理定律。本文建议使用场景元素的隐含特征表示来区分人类和物体的物理合理对齐和难以置信的对齐。我们建议使用基于图形的整体表示和场景的编码物理表示来分析场景中的人类-物体和物体-物体的相互作用。使用此图形表示，我们进行对抗性训练我们的模型，以从训练数据本身中学习场景元素的可行对齐，而无需明确定义它们之间的规律和约束。与现有的基于推理时间优化的方法不同，我们使用这种经过对抗训练的模型来生成遵守物理定律和约束的场景的单帧3D重建。我们基于学习的方法实现了与现有基于优化的整体人体场景重建方法相当的三维重建质量，并且不需要推理时间优化。这使得它与现有方法相比更适合在机器人应用中的潜在应用，如机器人导航等。

机器人感知新突破！整体3D人体场景重建方案揭秘(图1) data-ratio="0.8962962962962963" data-type="jpeg" data-w="1080">机器人感知新突破！整体3D人体场景重建方案揭秘(图2) data-ratio="0.412962962962963" data-type="jpeg" data-w="1080">机器人感知新突破！整体3D人体场景重建方案揭秘(图3) data-ratio="1.0444444444444445" data-type="jpeg" data-w="1080">机器人感知新突破！整体3D人体场景重建方案揭秘(图4) data-ratio="1.6436170212765957" data-type="jpeg" data-w="940">机器人感知新突破！整体3D人体场景重建方案揭秘(图5) data-ratio="0.6620370370370371" data-type="jpeg" data-w="1080">机器人感知新突破！整体3D人体场景重建方案揭秘(图6) data-ratio="0.33796296296296297" data-type="jpeg" data-w="1080">