近日，实验室两篇论文被国际人工智能顶级会议NeurIPS 2023录用。分别是事件相机表示学习方面的论文” E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning”和多智能体强化学习方向的论文“RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization”。这是本实验室连续第2年论文被NeurIPS录用。
NeurIPS（全称 Neural Information Processing Systems）是人工智能、机器学习、计算神经科学领域的顶级学术会议。NeurIPS会议成立于1987年，今年是第37届会议，大会讨论的内容包含深度学习、强化学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。
E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning
实验室和英特尔公司合作，以“E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning” 为题被录用了一篇关于事件相机表示学习与事件-三维点云模型注册研究成果的论文。
作为一种新型异步视觉传感器，事件相机具有极高的时间分辨率和动态范围，能高性价比地应用于高速、高动态场景。在事件相机中，各像素对超过阈值的光照变化进行异步脉冲响应。这一独特的异步数据流对现有的同步数据处理方式带来了新的挑战。传统的事件相机相关算法通常利用简单统计方法获取事件整体统计信息作为特征；或者设计特殊的脉冲响应函数对各像素产生的事件进行类卷积操作，从而模拟传统相机的曝光成像过程以获得“事件图像”。虽然这些操作将异步非结构化的事件数据转变成同步的网格化特征张量，从而便于后续任务的处理，但是在事件表示过程中损失了大量的时间细节与时空关联信息，不利于高速、高动态场景。
针对这一问题，该论文提出将原始事件相机数据建模为特殊时空点云，使用基于点的学习方法自适应地提取重要的时间细节和时空关联信息，并将其表示为网格化特征向量。论文提出的时空分离注意力机制有效的克服了事件数据中时间与空间维度的不同物理意义、量纲、分布带来的挑战，并且能够以模块化方式嵌入现有事件相机相关算法中。提出的事件学习表示模块可结合后续任务进行端到端学习达到更好的性能。论文在事件-三维点云模型注册任务的多个场景中进行了充分实验，证明了本文表示学习方法的有效性。同时，该方法直接嵌入各类基于事件相机的光流估计、目标识别等任务中同样取得了性能提升，证明了该方法在其他任务中具有泛化性。
该论文第一作者是实验室博士生林修弘和硕士生邱畅杰（共同一作），通讯作者是沈思淇老师，其他作者还有实验室王程老师、臧彧老师、刘伟权博士，英特尔公司蔡志鹏博士、Matthias Müller博士。
RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization
实验室和国防科技大学计算机学院师生合作，以“RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization” 为题被录用了一篇关于多智能体强化学习研究成果的论文。这个工作是实验室NeurIPS 2022年亮点论文ResQ的扩展和深化。
传统的多智能体价值分解算法普遍通过最大化Q值（价值分布的期望）来选取智能体的最优动作。但是在具有高度不确定性的多智能体环境中，由于存在着一些会带来极高/低奖励的小概率事件，因此最大化期望值的算法并不总能保证得到最优解。针对这一问题，该论文对多智能体协同强化学习中常用的个体全局最优化原则(IGM)进行了扩展，提出了风险敏感的个体全局最优化原则(RIGM)，并在理论上证明了现有的主流价值分解算法无法满足RIGM原则。之后，该论文提出了RiskQ（基于风险函数的价值分解方法），将联合价值分布建模为个体价值分布的带权分位数混合的形式，通过理论验证其能够满足RIGM原则，且适用于任意扭曲风险指标（Distorted Risk Measure）。论文在悬崖环境、跟车环境以及包含星际争霸游戏的多个场景中进行了充分实验，证明了RiskQ方法的有效性。
该论文第一作者是实验室沈思淇老师，通讯作者是国防科技大学符永铨老师，实验室2022级硕士生马陈楠、2022级硕士生李超分别为学生一作和学生二作，其他作者还有实验室刘伟权博士、王程老师，国防科技大学梅松竹老师、刘新旺老师。