本发明涉及一种面向语义保真的虚拟会议方法及三维虚拟会议系统,方法包括:根据语义概念树形语义架构;为树形语义架构中不同层级的每个语义概念,设置与之对应的默认信号;从多模态信号中提取参会者所处场景的语义描述并更新私有层级语义库;利用私有层级语义库更新公有层级语义库;服务器端向所有用户端发送公有层级语义库中的全部内容组成的层级语义描述,生成参会者视角中的虚拟会议场景;生成会议进行过程中参会者视角中的虚拟会议场景。此方法解决了虚拟形象表情动作粗糙、会议场景不真实、人与场景难互动的问题,增加虚拟会议规模,提升参会的真实感。
本发明涉及一种面向语义保真的虚拟会议方法及三维虚拟会议系统,方法包括:根据语义概念树形语义架构;为树形语义架构中不同层级的每个语义概念,设置与之对应的默认信号;从多模态信号中提取参会者所处场景的语义描述并更新私有层级语义库;利用私有层级语义库更新公有层级语义库;服务器端向所有用户端发送公有层级语义库中的全部内容组成的层级语义描述,生成参会者视角中的虚拟会议场景;生成会议进行过程中参会者视角中的虚拟会议场景。
本发明根据参会者所处场景的多模态信号,从多模态信号中分层级提取参会者所处场景的语义描述并对应更新私有层级语义库,其中,每个私有层级语义库对应一用户端,私有层级语义库用于存储所述用户端的数据。
现有虚拟会议技术主要有两种。其一是高清视频信号传输方案。该方案首先在客户端使用多角度高清摄像头录制参会者的全身视频信息和语音信息,使用头部姿态捕捉参会者的视角,并通过通信网络传输给服务器;接着由服务器接收并处理多路终端发送来的多角度视频信号,通过三维重建算法构建每位用户的高清三维模型,完成虚拟会议室的三维渲染,并根据每位用户的头部姿态录制并发送其视角下的视频信号;最后由用户端接收并播放视频。该方案存在两点问题:1)为了使人类视觉系统感到真实,虚拟现实视频需要达到21K分辨率60帧每秒。此时单路信号就需要2Gbps带宽。目前5G的理论带宽也仅有10Gbps,无法满足正常的会议需求。2)现有根据高清图像生成三维模型的算法费时费力,现有服务器难以满足大规模会议的实时算力需求。因此,研发一种面向语义保真的虚拟会议方法及三维虚拟会议系统,可以有效解决上述存在的问题。
本发明的面向语义保真的三维虚拟会议方法解决了现有技术中存在的参会人数少、虚拟形象表情动作粗糙、会议场景不真实、人与场景难以进行互动的问题,增加虚拟会议规模,提升了用户参会的真实感。
联系人:张亮 15319991017
如您想进一步了解本项目的详细信息,可以直接拨打大市场服务部了解详情或者可在下方填写相关资讯信息及您的联系方式,我们会有专家对您的咨询进行回复。