近日，实验室戴雨笛博士、王志勇硕士、林希平硕士生、沈思淇副教授、王程教授、温程璐教授（通讯作者）与上海科技大学许岚研究员和马月昕研究员合作完成的论文“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”被国际学术期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》（IEEE TPAMI）录用。IEEE TPAMI是计算机学科、人工智能领域的顶级国际期刊之一，是中国计算机学会推荐的A类期刊，其影响因子为24.314。

人体动作捕捉研究在行为识别、人机交互和自动驾驶等领域的重要性日益凸显。然而，如何在大型复杂环境中准确捕捉多人交互动作及其周围场景仍面临巨大挑战。IMU传感器尽管便于安装和使用，但在长时间捕捉中会产生漂移，而基于相机的方法在光照变化和高动态环境下精度难以保持。2022年，ASC实验室在CVPR上发表的工作HSC4D，首次提出通过便携IMUs和LiDAR，成功捕捉了大规模室内外场景和多样化的人体运动。HiSC4D在此基础上进一步扩展，不仅增加了对多人交互的关注，还强调了第一人称视角下的人体动作捕捉。通过引入头戴式LiDAR，HiSC4D优化了传感器的整合过程，显著提高了动作捕捉的精度，实现了在大规模场景中同步捕捉第一人称视角下的双人交互和场景数据。

HiSC4D通过融合IMU、LiDAR和SLAM的多模态数据，构建了一个多阶段的联合优化框架，有效解决了IMU漂移问题，并显著提升了场景重建精度，扩展了空间、人体动作和互动捕捉的范围。此外，我们还发布了一个多模态双人交互数据集，涵盖不同场景和多样化动作，提供了约3.6万帧的全局人体动作数据和3.1万帧的第一人称视角点云数据，为相关研究领域提供了重要的数据资源。数据集和代码将在课题组激光雷达人体数据集网站www.lidarhumanmotion.net发布。

图 HiSC4D方法流程图