近期,中山大学电子与信息工程学院(微电子学院)王玺钧副教授和陈翔教授团队在6g图像语义通信领域取得了重大突破,其研究成果被无线通信领域顶级期刊ieee wirelESS communicatIONs接受。该论文题为“trustworthy imaGe semantic communication wITh genAI: explainability, controllability, and efficiency”。王玺钧副教授是该研究的首席作者,2024届硕士生叶东山为学生首席作者,合作作者包括埃塞克斯大学的冯晨远研究员、浙江大学的杨浩助理教授、我院的陈翔教授以及ieee fellow、新加坡科技设计大学的tony q.s. quek教授。
在数字化时代,通信系统数据流量激增,网络拥堵和系统低效问题日益突出。语义通信作为下一代6G通信技术的热门方向,被视为解决这些问题的关键。图像语义通信在高效视觉内容传输中扮演着重要角色。然而,现有的基于联合信源信道编码的图像语义通信系统在可解释性、可操作性和兼容性方面存在诸多挑战。
为了克服这些难题,王玺钧副教授团队创新性地提出了可信语义通信框架,并结合人工智能驱动的无线接入网(AI RAN)技术,为6G图像语义传输提供了新的解决方案。通过AI RAN赋予的强大智能决策和分析能力,该框架采用文本提取和分割映射技术,将图像精确转换为可解释的语义(如语义文本和分割图),显著提升了可解释性和人类理解度。接收端利用生成式人工智能,借助AI RAN的高效实时处理能力,快速准确地进行下游推理。内置的语义级多速率传输协议利用AI RAN的实时解析和数据重构优势,动态调整语义内容和任务需求,从而提高系统的适应性和效率。此外,该框架摒弃了传统无线AI的收发联合训练模式,解耦收发器的训练相关性,增强了基于AI的语义通信范式的可操作性。
可信图像语义通信框架的研究成果
研究团队还对该框架进行了多应用场景的适配和测试。在多任务场景中,基于COCO数据集的评估结果显示,该方法在图像字幕生成任务上的机器翻译评价指标远超传统数字系统;在图像重建任务中,其语义感知指标表现更为出色。在多速率通信场景下,无论是单用户单任务还是单用户多任务模式,该框架利用AI RAN的原生智能分析能力,按任务需求逐级解析/传输语义信息,极大提升了任务完成的效率和质量。
可信图像语义通信框架多场景测试示例
基于该框架,研究团队还设计了基于可解释语义的图像语义通信演示系统。该系统已在第十三届中国国际通信大会(ICCC 2024,杭州)和第二届未来通信和网络国际会议(FCN 2024,马耳他)上成功展示,并被美国国家仪器有限公司(NI)2025年度用户手册收录。系统通过将图像转换为可解释的语义文本和分割图分别传输,利用语义载体的通用性解耦收发器训练,实现了图像传输任务超过100倍的压缩效率,展示了融合AI RAN的可信图像语义通信框架在未来6G领域的巨大潜力。
基于可解释语义的6G图像通信演示系统入选NI无线手册
最新留言