面向丰富观测多智能体任务的压缩状态表征学习方法
在部分可观测多智能体任务中，目前主流多智能体强化学习算法通过在训练阶段直接访问状态来提升智能体协作策略学习效率。然而，这一条件在现实生活多智能体任务中通常无法满足。因此，如何实现面向部分可观测多智能体任务的状态表征学习至关重要。针对这一问题，南京大学智能科学与技术学院高阳教授团队关注具有丰富观测假设的多智能体任务，提出Task Informed Partially Observable Stochastic Game来形式化该类任务中的压缩状态表征学习问题，并提出相应解决算法STAR。
具体而言，STAR算法将压缩状态表征学习划分为空间表征压缩和时间表征压缩两个子步骤，其中空间表征压缩利用信息瓶颈理论，基于智能体联合观测为每个智能体学习近似任务真实状态的状态表征，而时间表征压缩则基于双向互模拟度量对齐具有相似任务相关特征的状态表征，从而实现压缩状态表征的高效学习。实验结果表明，STAR算法在星际争霸多个地图上明显优于对比算法，验证了其有效性。该工作已经被人工智能顶级会议IJCAI 2024接收。
图: Task Informed Partially Observable Stochastic Game示意图和STAR算法结构示意图
面向数字人的布料实时渲染
布料渲染是图形学领域长久以来的研究热点，在影视制作、游戏开发以及虚拟现实等多个领域中广泛应用。由于布料内部复杂的纱线交织结构，低采样率渲染导致渲染噪声，而高采样率则会成倍增加渲染时间，导致实时渲染多尺度布料成为难题。针对此问题，南京大学智能科学与技术学院王贝贝教授团队与山东大学王璐老师团队合作提出了一种适用于梭织布料的神经表示方法。基于机织物纹理的规律性和重复性，该方法设计编码器在较低维的特征空间下实现了特征提取。根据不同布料材质所提取出的特征，方法进一步设计统一的轻量级解码器对材质进行查询表示。实验结果表明，该方法可以在接近60帧每秒的条件下实现梭织布料的多尺度高质量渲染，同时还支持对布料材质的多种属性进行实时的更改调整。相较于之前的方法，该方法在数据集包括的常见梭织布料类型内具有泛化性，无需对各个材质分别进行训练优化。该工作已被SIGGRAPH 2024接收发表。
布料神经表示网络结构示意图
布料神经渲染结果展示
项目链接：https://wangningbei.github.io/2024/NeuralCloth.html
基于辐射亮度解调的神经实时渲染超分辨率
随着近期显示设备分辨率的不断提升，在电子游戏等实时应用上直接渲染高分辨率图像代价仍然是十分高昂的。为此，超分辨率技术在实时渲染领域逐渐流行起来，如英伟达的DLSS，AMD的FSR系列等。然而，在实时渲染超分辨率中同时保留高频的纹理细节，保持时域稳定性，并避免出现如鬼影等走样问题仍然充满挑战。为了解决这个问题，南京大学智能科学与技术学院王贝贝教授、山东大学王璐老师团队和香港理工大学的研究者提出了基于辐射亮度解调的神经实时渲染超分辨率方法。文中通过引入辐射亮度解调的思路，将渲染图像拆分成了材质组件和光照组件，只对更平滑的光照组件进行神经超分辨率，从而避免了纹理细节的丢失。文中还提出一个可靠的时域重投影模块和帧循环神经超分辨网络，进一步保证了时域稳定性并产生高质量的结果，使得该方法在视觉上和多项指标中优于现有超分辨方法。该工作已被CVPR 2024接收发表。
与其他超分辨率方法的视觉质量对比
论文链接：https://arxiv.org/abs/2308.06699
SemanticHuman-HD: 高分辨率语义解耦3D人体生成
SemanticHuman-HD是南京大学智能科学与技术学院易子立副教授参与的一项研究成果，它提出了一种新颖的3D人体图像合成方法，该方法能够在高分辨率下实现对人体图像的语义解耦。这项技术通过两阶段的训练过程，首先在较低分辨率下生成包含人体、深度图和语义掩码的图像，然后在第二阶段应用3D感知超分辨率模块，显著提升图像质量至1024×1024分辨率。SemanticHuman-HD的独特之处在于其能够独立控制和生成人体的不同语义部分，如身体、上衣、外衣、裤子、鞋子和配饰等。
该方法利用深度图和语义掩码作为引导，优化了体积渲染过程中的采样点数量，有效降低了计算成本。SemanticHuman-HD不仅在技术上实现了创新，还在应用层面提供了广泛的潜力，包括3D服装生成、语义感知虚拟试穿、可控图像合成和跨领域图像合成等。通过消融研究，论文验证了所提出方法的各个组成部分的有效性，并在定量和定性评估中展示了其相较于现有最先进方法的优越性能。SemanticHuman-HD的研究成果为人工智能领域中的人体图像合成技术开辟了新的可能性。
图：SemanticHuman-HD方法示意图
论文链接：https://arxiv.org/abs/2403.10166
基于长-短雷达回波序列学习的短临降水预报方法
近年来，基于雷达回波数据的配备长短期记忆(LSTM)的数据驱动方法已成为短临降水预报任务的主流。这些方法通常以雷达回波序列为输入，着重学习降水的时间特征。然而，由于这些LSTM模块降水特征建模能力有限，无法充分捕捉降水的空间分布和时间运动特征。为了解决这一问题，南京大学智能科学与技术学院袁晓彤教授团队提出了一种长-短雷达回波序列学习的短临降水预报方法(SLTSL)。
具体而言，SLTSL主要包括短雷达回波序列学习模块(SSLM)和长雷达回波序列学习模块(LSLM)。SSLM通过多种加权运算对短雷达回波序列中的降水空间分布特征进行加权操作。其中，SSLM通过对四个相邻矩的特征图进行矩阵拼接得到短雷达回波序列。LSLM通过矩阵融合将所有时刻的回波图像融合成一个长雷达回波序列，然后通过多状态转换和聚合从长雷达回波序列中捕获降水在各个时刻的时间运动特征。为了验证该方法的性能，我们在RadarCIKM、TAASRAD19和RadarKNMI三种公开数据集上进行了实验。实验结果表明，该研究提出的预报方法比其他先进的方法优越。该工作已经被遥感顶刊TGRS接收。
图1: 长-短雷达回波序列学习的短临降水预报方法(SLTSL)结构示意图
图2: 短雷达回波序列学习模块(SSLM)结构示意图
图3: 长雷达回波序列学习模块(LSLM)结构示意图
