Symmetry专题研讨会：构建可信多模态智能——挑战与前沿进展

Symmetry专题研讨会：构建可信多模态智能——挑战与前沿进展 | MDPI Seminar

发表时间: 2025-12-22 阅读量: 48

随着多模态人工智能技术的迅猛发展，模型能力不断突破的同时，其可靠性、安全性与可解释性也面临前所未有的挑战。从深度学习在分布外场景中的脆弱性，到多模态大模型频繁出现的“幻觉”问题，再到三维感知与重建中对真实世界理解的准确性——构建真正可信的智能系统，已成为推动AI走向实际应用的关键所在。

本期研讨会Symmetry 特别邀请到上海交通大学杨杰教授作为会议主席，孙仕亮教授及刘伟副教授作为特邀嘉宾，聚焦发构建可信多模态智能的前沿进展，为大家进行分享。

会议信息

会议时间

2025年12月26日 9:00–11:00

观看方式

小鹅通直播间
点击下方链接，进入直播间观看直播。

https://9g0ug.xetlk.com/sl/3uiFjs

MDPI开放科学视频号

学者交流群

识别二维码，添加小助手微信，备注“学校+姓名+研究方向”，邀您加入 MDPI学者交流群，获取直播链接，掌握直播动态，交流科研经验。

会议议程

●

9:00–9:10

开场致辞

杨杰教授 (会议主席)

●

9:10–9:40

关于可信深度学习的防御机制与分布外检测的研究

杨杰教授

上海交通大学

●

9.40–10:10

基于深度学习的三维重建与感知理解

刘伟副教授

上海交通大学

●

10:10–10:40

多模态大模型幻觉：问题与对策

孙仕亮教授

上海交通大学

●

10.40–11:00

提问交流环节

主讲嘉宾信息

会议主席

杨杰教授

上海交通大学

个人介绍：1994年获德国汉堡大学人工智能专业博士学位，上海交通大学长聘教授 (2级)，图像处理与模式识别研究所所长，“模式识别与智能系统”学科负责人。教育部重点实验室“系统控制与信息处理”副主任。已承担国家和省部级30多项科研项目。7项成果获省部级成果奖，已授权发明专利40多项。入选教育部“跨世纪优秀人才培养计划”、上海市“曙光优秀学者”“曙光跟踪计划”。担任6个期刊编委 (其中2个SCI期刊)。在国内外出版专著5部，在国内外学术期刊和会议上发表论文400多篇，其中300多篇被SCI检索，谷歌引用超过27000次，H-index 85。担任20多个国际会议的大会主席、组委会主席、分会议主席。在国际著名大学或会议做特邀报告超过10次。指导的博士论文4次获全国优秀博士论文。培养的博士2人获国家杰青，6人次获国家“四青”，10多人获聘教授。10多人担任企业首席科学家或技术高管。入选由斯坦福和爱思唯尔发布的2025年全球2%顶尖科学家长期科研影响力榜单。

报告题目：关于可信深度学习的防御机制与分布外检测的研究

报告摘要：深度学习的迅猛发展对科技与社会的众多领域产生了颠覆性影响。在安全关键型场景中，神经网络模型对“恶意”或“意外”输入可能产生不可靠输出的风险尤为严重。本次报告将深入探讨可信深度学习领域神经网络模型的输出可靠性问题：1) 针对对抗鲁棒性与认证鲁棒性任务，涉及像素扰动的输入 (以对抗样本为例)；2) 针对分布偏移检测任务，涉及分布外数据 (Out-of-Distribution, OoD) 的输入。我们提出了一种新型的模型增强策略，采用多头神经网络结构，并将与对抗鲁棒性相关的多样性约束融入模型参数。我们采用多头神经网络结构，以多个头的集成替代多个神经网络的集成，显著降低了训练和认证阶段的计算负载。我们指出，InD (域内) 和OoD (域外) 数据中的非线性特性阻碍了PCA (主成分分析) 学习能够充分体现其多样性的子空间。我们提出了一种模式集成方法，该方法不仅能提升检测性能，还能显著降低独立模式间的性能差异。我们建议使用包含主成分的指定子空间对梯度进行线性降维处理。近年来，关于上述主题的论文已在TPAMI、IJCV、PR、NIPS等期刊和会议上发表。

特邀嘉宾

刘伟副教授

上海交通大学

个人介绍：博士，上海交通大学长聘教轨副教授、博士生导师，入选国家高层次青年人才、上海市海外高层次人才、上海市浦江人才。刘伟博士主要研究图像滤波增强，基于深度学习的计算机三维视觉任务，包括三维重建、深度估计、三维检测等，并发表60余篇学术论文，其中以第一作者发表TPAMI、IJCV、TOG、TIP、ICCV、AAAI等多篇领域内顶级期刊和会议论文。已主持多项国家级和上海市科委纵向项目以及华为ExploreX人才项目等企业横向项目，指导本科生入选国家自然科学基金青年学生项目 (本科生)，博士后入选上海市“超级博后”激励计划。

报告题目：基于深度学习的三维重建与感知理解

报告摘要：如何对场景进行三维重建和感知理解是当前计算视觉任务的热点和难点问题之一。在三维场景重建中，当前方法主要针对静态场景重建进行研究，针对动态场景重建往往存在重建质量差、训练显存消耗高和模型占用空间大的难点问题，我们课题组提出利用可持续性学习与三维重建技术相结合实现低显存和低存储空间消耗的高质量动态场景三维重建；现有的自监督深度估计任务中往往基于静态场景的假设，如何有效估计动态场景的深度是该任务的难点问题之一，我们课题组提出了一种两阶段深度估计方法，通过将场景分解为动态和静态两部分，并使用不同损失函数进行正则化约束实现了动态场景的精确深度估计；在多模态三维检测任务中，如何有效将三维点云数据的特征与二维图像的特征进行有效融合是该任务的难点问题之一，我们提出了一种双边交叉视角增强网络能够有效融合这两种特征，并有效提高三维检测的精度。

孙仕亮教授

上海交通大学

个人介绍：上海交通大学教授。担任上海市计算机学会人工智能专委会主任，上海市图像图形学学会机器学习专委会主任。本科毕业于北京航空航天大学，博士毕业于清华大学，曾在University College London，Columbia University等海外高校从事访问研究。2011年至2023年在华东师范大学任职教授，2018年至2023年担任华东师范大学人工智能研究所常务副所长。目前担任上海交通大学大数据与人工智能实验室 (PRML Research Group) 负责人。主要研究方向为机器学习、人工智能。担任IEEE TPAMI、IEEE TNNLS、自动化学报等知名期刊编委。曾获中国自动化学会自然科学奖一等奖等重要奖项。迄今发表学术论文200多篇，2020年出版中文教材《模式识别与机器学习》(清华大学出版社)。

报告题目：多模态大模型幻觉：问题与对策

报告摘要：将多模态能力集成到大型模型中，为理解和生成包括文本、图像和音频在内的多种数据模态的任务释放了前所未有的潜力。然而，尽管取得了这些进展，此类系统常常会受到幻觉的影响，即产生不准确、不相关或完全虚构的内容，这引发了人们对其可靠性、可信度和实际应用性的严重担忧。本文探讨了多模态大模型中幻觉的类型及其缓解方法，并提出了一种基于强化学习的框架作为缓解这些问题的对策。我们评估了所提出方法在解决幻觉问题方面的可行性，并对几个关键研究组成部分进行了详细的分析和讨论，以进一步推进围绕幻觉缓解这一引人入胜的主题的研究进展。

相关特刊

Computer Vision, Robotics, and Automation Engineering

Edited by Prof. Dr. Jie Yang and Prof. Dr. Jian Cheng

Deadline for manuscript submissions: 31 March 2026

https://www.mdpi.com/journal/symmetry/special_issues/OIMTBDPFGB

相关文章

A Systematic Method Combining Rotated Convolution and State Space Augmented Transformer for Digitizing and Classifying Paper ECGs

Xiang Wang and Jie Yang

点击下方链接，查看文章详情。

https://www.mdpi.com/2073-8994/17/1/120

Transformer with Hybrid Attention Mechanism for Stereo Endoscopic Video Super Resolution

Tianyi Zhang and Jie Yang