面向局部视觉建模的图像描述生成方法,涉及图像描述生成方法。包括:1)模型输入特征在编码器模块通过多头自注意力模块细化特征提取;2)用局部敏感性注意力获取到的注意力权重矩阵对多头自注意力模块输出的特征进行重新加权,将相邻网格之间的依赖关系细化;3)用前馈神经网络实现通道域的互动,建立通道域上视觉特征的联系;4)用空间偏移操作将网格与其相邻的网格对齐,获取偏移后的特征表示;5)将偏移后的特征表示聚合后使用多层感知机实现视觉特征在通道域和空间域的互动;6)融合后的特征输出加权后与顶层编码器的输出加总,得到输入解码器的融合特征表示。提高局部视觉信息的标注质量,性能优异。 - 佰腾网专利查询 - 全球专利搜索领导品牌
面向局部视觉建模的图像描述生成方法