CAA

智慧起航，共创未来

基于目标的图像标注一直是图像处理和计算机视觉领域中一个重要的研究问题。图像目标的多尺度性、多形变性使得图像标注十分困难。

本文提出一种基于形式概念分析和语义关联规则的目标图像标注方法，针对目标建议算法生成图像块中存在的高度重叠问题，借鉴形式概念分析中概念格的思想，按照图像块的共性将其归成几个图像簇挖掘图像类别模式，利用类别概率分布判决和平坦度判决分别去除目标噪声块和背景噪声块，最终得到目标语义簇；针对语义目标判别问题，首先对有效图像簇进行特征融合形成共性特征描述，通过分类器进行类别判决，生成初始目标图像标注，然后利用图像语义标注词挖掘语义关联规则，进行图像标注的语义补充，以避免挖掘类别模式时丢失较小的语义目标。

实验表明，本文提出的图像标注算法既能保证语义标注的准确性，又能保证语义标注的完整性，具有较好的图像标注性能。

顾广华, 曹宇尧, 崔冬, 赵耀. 基于形式概念分析和语义关联规则的目标图像标注. 自动化学报, 2020, 46(4): 767-781

01

基于FCA的模式挖掘

形式概念分析从形式背景出发对组成本体的概念、属性以及关系等用形式化的语境表述出来，然后根据语境构造出概念格( )，即本体，从而清楚地表达出本体的结构。通过概念格可以清晰的得到所有概念及概念之间的所属关系。本文为目标建议生成算法生成的图像块设计了模式挖掘的聚类算法( , PMC)。算法中以图像块为对象，以图像块的稀疏二值化特征为属性构建形式背景，按照渐进构造概念格的方式求出所有概念。在概念中外延为图像块集，内涵为这些图像块共有的特征模式。然后利用所有概念计算出所有满足簇内具有共有性、簇间具有差异性的图像簇和类别模式，如图1所示。

图1 由概念格构建图像簇

02

基于类别模式和特征融合的图像标注

在对图像进行分块后，存在完整目标、部分目标和背景三种图像块。按照基于判别模型的图像标注算法，让图像中所有的图像块通过用语义目标图像训练的分类器，其中完整的目标块将生成比较集中的类别决策分布，而其它噪声图像块生成的决策分布将会比较离散。本文结合特征模式挖掘算法，将图像块按照特征模式集合成图像簇，并将图像簇的特征进行融合，利用融合特征的共性进行图像标注。图像标注过程如图2所示。

图2 图像标注过程

03

基于关联规则的语义补充

本文为了解决图像中小目标语义缺失问题，利用算法从大量图像的语义标注词中挖掘出语义之间的关联规则，挖掘出的潜在语义利用信任度对语义进行补充。语义补充的详细过程如图3所示。

图3 基于关联规则的语义补充

04

实验结果及分析

本文使用VOC 2007数据集对实验方法进行验证。本文设计了四个图像标注实验：基于局部图像块的图像标注实验(Image Block , IBA)、基于图像块和平坦度的图像标注实验(Image Block and , IBFA)、基于图像簇和平坦度的图像标注实验(Image and , ICFA)和基于ICFA及语义补充的图像标注实验(Image and + , ICFA+SC)。表1中提供了四种方法（IBA、IBFA、ICFA和ICFA+SC）的标注实验结果，并从P、R、F和时间复杂度o(t)来验证平坦度和特征融合在标注实验中的有效性。

表1 标注实验结果比对

为了更清楚的对比几种实验方法的标注效果，表2提供了VOC 2007数据集中部分图像的标注示例。

表2 图像标注示例

为了进一步评测本文提出特征组合融合算法和平坦度去噪的有效性，本文对数据集中每类的标注结果进行了准确率统计，通过对IBA、IBFA、ICFA算法标注的每类准确率和mAP对比来验证特征组合融合算法和平坦度去噪的有效性。此外，本文算法与多语义分类算法AMM和CNN-SVM也进行了比较，来说明ICFA算法的优越性，实验结果如图4所示。

图4 图像标注方法准确率比较

作者简介

顾广华

燕山大学信息科学与工程学院教授。2013年获北京交通大学信号与信息处理专业博士学位。主要研究方向为图像理解，图像检索。本文通信作者。

E-mail:

赵 耀

北京交通大学信息科学研究所，教授。1996年获得北京交通大学信号与信息处理专业博士学位。主要研究方向为多媒体信息处理技术。

E-mail: