现有的许多语义通信系统大多针对单任务单模型，很难处理不同的任务。不同任务需要不同的模型然而这对于有限资源的边缘设备来说是不现实的。
因此文章提出了一种统一的基于深度学习的多任务语义通信模型U-DeepSC，可以完成文本、图像、语音的语义传输任务。
文中假设了多种任务，文本、图像、语音以及其混合组成的任务，对于视频的处理则是将其转换为每一帧的图像然后作为图像任务处理
在语义编码过程中针对数据的类型分别采用图像、文本、语音的语义编码和信道编码，解码过程中则使用统一的语义解码和信道解码器
在编码器的编码层之间加入了FSM模块，用于逐层筛选有用的关键语义信息，同时可以根据信道的特征调整生成的语义信息的长度
文中针对多种任务进行测试：文本情感分类、图像理解、视频情感分析、图像分类和图像重构、文本重构
评论 (0)