高保真三维人脸建模与驱动方法
从图像中重构人脸三维模型是计算机视觉领域的热点课题，在影视制作、数字人、元宇宙等多个领域展现了巨大的应用潜力。针对这一课题，南京大学智能科学与技术学院朱昊老师团队建立并发布了大规模高精度三维人脸数据集FaceScape，并在此基础之上开发了基于单幅图片的高精度可驱动人脸三维重建方法。该方法首先对三维人脸进行参数化建模，解耦模型中的身份与表情分量，实现基于单幅图片的可驱动人脸建模。而后，通过深度神经网络预测由面部表情运动引起的微观几何变化，实现毛孔级别精度的动态三维建模。凭借FaceScape数据平台和创新的算法框架，团队在人脸的多视点三维重建、单视图三维重建以及隐式参数化建模等多个研究领域均取得了显著的进展。
论文链接：https://ieeexplore.ieee.org/document/10226244
在线机器学习算法
在线机器学习致力于解决传统批式机器学习无法处理流式数据（如互联网数据）的关键缺陷，因而是学术界关注的重点研究领域。
南京大学智能科学与技术学院杨林老师面向在线学习和在线优化的基础算法研究，取得了一系列高质量的成果。该研究通过一系列创新的技术手段，使得在线学习和优化技术在应用性、高效性和可扩展性等方面均取得了突破性进展。除此之外，针对国内外普遍关注的学习和优化算法在分布式和并行计算环境中的通信资源瓶颈问题，该成果也提供了创新的解决方案。通过与当前主流算法对比发现，该技术成果在保障学习和优化算法最优性能的前提下，可以使算法的通信资源消耗达到世界领先水平。
相关工作发表于机器学习等计算机相关领域的顶级会议如ACM Sigmetrics、ICLR、UAI、AISTATS等等。在这些工作中，南大均为第一或通讯作者单位。
该成果结合了AI产业的发展趋势和信息产业的数据生态现状，作为支撑技术可以产生更加先进的具有流式数据处理能力在线学习平台，从而实现低成本超大规模流式数据的使用，在解决我国重大战略需求，提升在AI领域的核心竞争力方面具有重大意义。
论文链接：
1. https://dl.acm.org/doi/pdf/10.1145/3570618
2. https://openreview.net/pdf?id=QTXKTXJKIh
3. https://proceedings.mlr.press/v216/wang23a/wang23a.pdf
4. https://proceedings.mlr.press/v206/chen23c/chen23c.pdf
微批次随机近邻优化算法理论分析
南京大学智能科学与技术学院袁晓彤教授对机器学习随机优化领域近期广受关注的随机近邻优化算法（Stochastic Proximal Point, SPP）的优化及泛化性能进行了更紧致的理论分析。与经典随机梯度下降 (SGD) 方法相比，SPP方法在具有强大的收敛保证的同时展现出卓越的鲁棒性，且几乎不增加额外的计算开销。该研究主要研究了微批次随机近邻优化（M-SPP）方法，用于求解凸复合风险最小化问题。其主要贡献是通过算法稳定性理论导出的一组新颖的M-SPP溢出风险泛化上界。此外，该研究对M-SPP的无替采样变体的参数估计误差建立了上界，该上界在数据随机性上以高概率成立，同时在算法随机性上以期望成立。在Lasso和逻辑回归模型上的数值实验结果验证了我们的理论预测。相关成果发表在机器学习旗舰级国际期刊JMLR 2023。
论文链接：https://www.jmlr.org/papers/volume24/21-1219/21-1219.pdf
机器学习优化算法的非一致稳定性与可泛化性理论
机器学习算法对训练样本变化的稳定性是研究其泛化性能的重要理论工具，被广泛应用于经验风险最小化、梯度下降、随机优化等算法的泛化误差分析。目前已知最优的泛化结果在与样本分布无关的一致稳定性条件下获得，因此难以推广到压缩感知、随机梯度下降等稳定性依赖于数据或参数概率分布的学习算法中。南京大学智能科学与技术学院袁晓彤教授在机器学习优化算法非一致稳定性与可泛化性理论研究方面取得了一系列进展。首先，提出了数据分布相关的算法矩稳定性的概念，将基于算法一致稳定性的最优泛化上界推广到相对更弱的算法矩稳定性条件下。作为该理论的重要应用之一，证明梯度阈值追踪算法满足矩稳定性，进而基于所提的矩稳定性泛化理论建立了更加紧致的稀疏溢出风险上界。其次，面向以SGD为代表的随机优化算法提出了均方一致稳定性的概念，在此框架下证明了接近最优的一阶矩泛化上界，并通过置信度增强技术提高了该界限相对于算法随机性的置信度。相关系列成果已经发表在机器学习顶级会议ICLR-2023和NeurIPS-2023。
论文链接：https://openreview.net/pdf?id=1_jtWjhSSkr
https://openreview.net/pdf?id=GEQZ52oqxa
基于隐式神经场的无监督3D数字人像生成方法及其应用研究
在社会数字化建设领域，数字人像制作的效率（美术人力、数据、设备等）和质量（保真度、自然度等）已成为了智能交互系统和虚拟现实技术亟待解决的关键问题。南京大学智能科学与技术学院张振宇副教授重点研究在无监督条件下的3D数字人像制作问题，围绕隐式神经表达开展研究，旨在建立高效、可用的基于隐式神经场的3D数字人像生成链路及算法。主要研究内容包括：（1）基于非受控人像集合的3D人像隐式重建方法研究；（2）非光场依赖的无监督人像本征分解方法研究；（3）基于几何嵌入的可泛化隐式数字人像驱动方法研究；（4）基于ID一致性的解耦的文本-隐式人像编辑方法研究。最后，基于上述理论和方法的成果搭建无监督的基于隐式神经场的数字人像智能交互和定制系统。
