[普通]文本检测TIoU--metric

作者(passion) 阅读(1006次) 评论(0) 分类( 算法)

Tightness-aware Evaluation Protocol for Scene Text Detection
KeyWords PlusCVPR2019 Curved Text metric 一种新的评价指标改进了以为评价指标的一些缺陷

Introduction

文本检测近年来发展迅速,不规则文本检测常用分割做检测也发展很快,之前大多数是直接套用了传统的评价指标precision,recall,h-mean,但是这里有一些问题,今年cvpr上这篇文章就是提出了一种新的评价指标解决这些问题。

Existing metrics exhibit some obvious drawbacks

1) .They are not goal-oriented;
2).They cannot recognize the tightness of detection methods;
3).Existing one-to-many and many-to-one solutions involve inherent loopholes and deficiencies


1、论文创新点

现有评价指标存在的问题:
1、As shown in Fig. 1 (a), detection over a fixed IoU threshold with the ground truth (GT) may not com- pletely recall the text (some characters are missed); however, previous metrics consider that the GT has been entirely recalled.在检测不完全的情况下,交并比达到一定阈值也为认为检测到了,这在文本检测中会丢失信息。 不合理
2、As shown in Figs. 1 (b), (c), and (d), detection over a fixed IoU threshold with the GT may still contain background noise; however, previous metrics consider such detection to have 100% precision.含有背景噪声,但是认为precision已经是100%,不是很合理。
3、Previous metrics severely rely on an IoU threshold. However, if a relatively high IoU threshold is set, some satisfactory bounding boxes may be discarded (e.g., if 0.7 is set as the threshold, the detection in Fig. 1 (b) will be misjudged); if a low IoU threshold is set, sev- eral inexact bounding boxes would be included.单纯靠IOU阈值来判断文本检测结果,造成了单个文本指标不是1就是0的局面,不合理的。

这个文章主要做的创新点分为以下三点:
1、Completeness.Using the TIoU metric would force methods to pay more attention to recalling every part of the GT, i.e., ensuring the completeness of GT,完整性,要求指标更关注GT的每一个部分,确保文本的完整性
2、Compactness..Because the detections of outlier-GT will be punished by TIoU, the compactness of the de- tection would receive more attention.将其他文本的GT包含进来将会被惩罚,更关注检测结果的简洁。
1、Tightness-aware.TIoU can distinguish the tightness among different detection methods, i.e., a 0.9 IoU de- tection would be much better than a 0.5 IoU detection in our metric.有区分不单单是一个阈值,0.9的iou比0.5iou指标更高。

2、以往各个主流的评价方法

1、ICDAR 2003 (IC03)
2、ICDAR 2013 (IC13)
3、ICDAR 2015 (IC15)
4、AP-based methods
这边就就不一个个介绍了,大家有兴趣就去看看相关论文和代码。

ICDAR 2013 (IC13)

tp和tr是precision和recall的两个阈值,分为三部分OO,OM,MO分别是一对一,一对多和多对一
OM一对多表示一个GT对多个detection,满足两个条件即可:a、足够多的检测覆盖GT b、每个检测结果要被GT充足的覆盖,如果满足这个两个要求,precision和recall都为0.8
MO一对多表示一个detection对多个GT,满足两个条件即可:a、检测必须包含充足的GT b、每一个检测对应足够的面积,如果满足这个两个要求,precision和recall都为1

这个评价指标主要有两个问题
1、多对一,在很复杂的情况下,文本很多,一个大框可以检测到达很高的指标,但是检测结果是没有意义的,不能被识别所利用。
2、一对多,a method that separates a perfect detection into numerous small over- segmented OM detections (e.g., 20) can make the pre- cision close to 0.8.如下图公式所示,将一个文本分割成多个会损失信息,但是却能拉高指标接近0.8左右。

ICDAR 2015 IoU Metric

To be con- sidered a correct detection, the value of Intersection-over- Union must exceed 0.5.


3、Methodology

检测的目的是为了识别,之前版本的检测并没有关注文本内容等信息,为此提出三个概念去加强文本内容信息:
1、text instance不能被分割成多个文本区域
2、annotation应该尽可能包含更少的背景噪声,特别是别的文本实例内容
3、annotation应该尽可能的被检测得到的text instance完美匹配

  • TIoU-Recall

关于TIoU的计算,引入了一个惩罚机制,避免一个阈值定结果,出现对后面识别的干扰,如上图a随意,都是一样大小的Iou识别结果却差的很大。公式如下:

主要是引入了交集与GT的一个比例惩罚限制最终指标。不再是单纯的一个阈值定高低。

  • TIoU-Precision

如果一个检测结果覆盖了好几个GT,这样的情况也会有个惩罚,毕竟框进来别的文本会对识别造成干扰而导致识别出错。

  • Tightness-aware Metric

以往计算recall和precision的方式是:

计算match时不是1就是0,如果阈值是0.5,导致了IOU0.51和1的结果是相同的,这是不对的,在该评价方式中采用了联系的0-1的index

  • The Solution of One-to-many and Many-to-one Metrics

在该评价方式中,解决一对多,多对一的方式是

简单粗暴。

4、Experiments

在icd13和icd15的对比实验如上图所示可以看出,大多数算法框架普遍都直接掉了20多个百分点,这简直是巅峰了文本检测行业,不过确实存在合理之处。


6、Conclusion and Future work
个人观点:人个对这个评价指标还是给予很高的期望,毕竟是按照文本检测的具体情况提出改善的,文本检测也是为了识别服务的,最终发展趋势肯定是端到端,分成两个单独网络实在是太冗余了,但是现有技术达不到这个程度还(虽然有几篇半监督提出了),但是还是蛮难的,这个指标也算是增强了这个趋势。
In future, we will try to use TIoU metric to guide train-ing because its characteristics may be benefited to provide a strong supervision. In addition, it can also be used to help incremental or semi-supervised learning because TIoU can judge whether a detection is suitable to serve as a new GT annotation.

icdar2019已经采用了这个评价指标,说明了这个趋势
文本检测还需要很长的路要走,希望各位大佬一起努力呀。


« 上一篇:fastlabel 最强版标注神器,想你所想,做你想做
« 下一篇:人生定律
在这里写下您精彩的评论
  • 微信

  • QQ

  • 支付宝

返回首页
返回首页 img
返回顶部~
返回顶部 img