一种感知环境的语音驱动虚拟人姿态合成方法 - 佰腾网专利查询 - 全球专利搜索领导品牌

摘要:

一种感知环境的语音驱动虚拟人姿态合成方法,涉及动作合成。对第一网络输入一段语音音频,输出对应的文本内容;将文本内容输入到人物关系模块,输出三元组;对第二网络输入一张场景图片,结合三元组中的物体,输出目标物体的坐标;对第三网络输入初始人体动作骨架,三元组中的动作、第一网络输入的语音音频,输出人体动作骨架序列;输入人的坐标点作为起点,结合第二网络输出的目标物体的坐标,输入第四网络中,结合从先验高斯过程分布中的随机采样,生成从起点坐标指向目标坐标的运动轨迹;将人体动作骨架序列与运动轨迹进行时间对齐后,输入第五网络中,输出矫正的人体骨架序列。能融合图像、音频、文本等多模态信息。 - 佰腾网专利查询 - 全球专利搜索领导品牌

一种感知环境的语音驱动虚拟人姿态合成方法
使用键盘键 进行切换