基于多模态注意力融合网络的轧辊缺陷识别方法

本发明公开了一种基于多模态注意力融合网络的轧辊缺陷识别方法，包括：获取轧辊内部缺陷的A扫时序信号和对应缺陷的D扫图像，并随机划分为训练样本和测试样本；构建多模态注意力融合网络模型，由卷积模块和改进swin transformer模块构成的双分支的特征提取层，并采用注意力特征融合模块对提取的特征向量分类。本发明克服了单一模态在复杂缺陷识别任务中的效果表现不佳和信息利用不充分，综合利用了A扫信号和D扫图像两种不同的数据源以获取更加全面和丰富的轧辊内部缺陷信息，并通过多模态注意力融合网络实现不同数据的特征提取和特征信息的有机融合，进行最优化求解，提高模型在轧辊缺陷分类识别时的准确率和复杂情况的适应能力。