目标检测框架在目标跟踪中的应用(目标检测界面)

java8

帖子摘要：目标检测框架在目标跟踪中的应用 从SiamRPN将跟踪问题定义为one-shot detection任务之后出现了大量将检测组件由于跟踪的研究。不过Siamese系列一个很大的问题在于其本质仍然是一个......
. H" b; `& w$ J6 v
大家好，欢迎来到Java吧（www.java8.com），交流、学习Java技术、获取Java资源无任何套路，今天说一说：“目标检测框架在目标跟踪中的应用”
  d$ e8 G$ |) M, ^1 K5 C
# ?4 ]- M4 |' u/ l" v, r
! D* W& ?5 y; \( y( j        
               
                    
                        
                    
, q4 a6 @* Y6 D5 t0 m                    目标检测框架在目标跟踪中的应用
从SiamRPN将跟踪问题定义为one-shot detection任务之后出现了大量将检测组件由于跟踪的研究。不过Siamese系列一个很大的问题在于其本质仍然是一个模板匹配问题网络关注的是寻找与target相似的东西而忽视了区分target和distractor的判别能力这正是目标检测任务所擅长的。目标检测和目标跟踪的关键差异在于检测是一个class-level的任务而跟踪是一个instance-level的任务即检测只关注类间差异而不重视类内差异跟踪需要关注每一个实例同时跟踪的类别是不可知的。

. ?4 n, P) ~: |% n0 I. ]) P" C本篇笔记关注如何将目标检测框架应用在跟踪中主要介绍其思想细节部分不做过多描述记录论文包含
: J5 G. }1 |" t3 {- Z4 N- u6 `1 H
2 `; r7 g. F# W" {$ Z

Bridging the Gap Between Detection and Tracking: A Unified Approach

GlobalTrack: A Simple and Strong Baseline for Long-term Tracking

Learning to Track Any Object

Siam R-CNN: Visual Tracking by Re-Detection

Tracking by Instance Detection: A Meta-Learning Approach
Bridging the Gap Between Detection and Tracking: A Unified Approach

7f2d1150062056a0556071a169bb5a0c.png (301.84 KB, 下载次数: 0, 售价: 4 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
7f2d1150062056a0556071a169bb5a0c.png

' l! c" o6 E& l. O2 |8 Q+ n
从结构图可以很直观的看出这就是Faster RCNN的框架作者将目标跟踪任务看成是one-shot object detection 和 few-shot instance classification 的组合。前者是一个class-level的子任务用来寻找和目标相似的候选框后者是instance-level的任务用来区分目标和干扰物。主要有两个模块Target-guidence module(TGM) 和 few-shot instance classifier。
5 r# P! m; Y2 ]5 e
; O9 x3 t' B# S7 G1 J# c: @TGM对目标和搜索区域的特征以及它们在主干中的相互作用进行编码相当于让网络更关注于与目标相关的instance后面几篇文章也用了不同的方法来实现这个目的。
9 O; z3 I: Y6 z3 A9 R6 j$ }
TGM虽然使检测器聚焦于与目标相关的物体但忽略了周围的背景干扰。为了弥补这一点提出了few-shot instance classifier。 然而直接从头开始训练耗时且容易导过拟合。因此作者通过Model-Agnostic Meta Learning (MAML)进行few-shot finetune增强判别性进一步消除distractors。

MAML的目的是训练一组初始化参数**通过在初始参数的基础上进行一或多步的梯度调整来达到仅用少量数据就能快速适应新task的目的**示意图如下
! S6 [& g2 y8 F. {1 j/ @

33dd5e53f9477dd04faf5beba20d55db.png (80 KB, 下载次数: 0, 售价: 3 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
33dd5e53f9477dd04faf5beba20d55db.png

域自适应的检测器整体训练流程如下图
; ]* q9 Z2 R+ ~0 k# n
' G& d9 x8 s0 p7 u1 ^1 I5 ?

93cf63f5898b8d66c85021054150bcae.png (182.83 KB, 下载次数: 0, 售价: 4 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
93cf63f5898b8d66c85021054150bcae.png

输入是三元组包括examplar, support, query训练分为inner and outer optimization loops。对于Inner optimization loop中在support image上计算的loss用来微调meta-layers即detector heads的参数然后用微调后的参数计算meta-loss其梯度用于更新outer optimization loop。具体公式可以参考原文。
9 ?& p/ B0 f% C  B! j0 |1 I
; F; `3 v% J- `1 r8 {& f: f1 J3 w在线跟踪中将之前帧的检测结果作为训练样本在线更新detector head的参数。
( [4 D! f) y; C8 i0 v5 p8 B# N
3 k3 F! j+ R' z8 V+ p/ {! r  I作者称这是第一篇将目标检测框架应用到跟踪上的通用框架检测模型可以用Faster RCNNSSD等速度上SSD模型为10FPS Faster RCNN模型为3FPS。

. f. h2 q  C# }& w# V! }4 K
( r( k2 Y0 j5 N: ?( L4 bGlobalTrack: A Simple and Strong Baseline for Long-term Tracking

05c2ed483a52b14b11c5b4fe26546dad.png (465.25 KB, 下载次数: 0, 售价: 6 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
05c2ed483a52b14b11c5b4fe26546dad.png

  ~% E& l* H2 }6 j& K6 X- C; F) p
: }, G1 v$ [3 f* B" s这篇文章构建了一个global instance search tracker主要思想是利用target来引导网络搜索特定instance与上一篇的TGM模块思想类似不过这里对在RPN阶段和分类回归阶段都加入了target信息进行引导。对应的就是Query-guided RPN 和 Query-guided RCNN。

Query-guided RPN
1 u. i8 v8 m4 H4 A# f- `
4 V+ e2 E/ ~' ^$ v0 Q

db7f672b86280004cfc0b16343b78b2e.png (17.76 KB, 下载次数: 0, 售价: 3 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
db7f672b86280004cfc0b16343b78b2e.png

KaTeX parse error: Undefined control sequence: \[ at position 8: z \\in \?[?k,k,c\] 是query的ROI特征KaTeX parse error: Undefined control sequence: \[ at position 8: x \\in \?[?h,w,c\] 是搜索图像的特征。
' [2 Y8 V- A- G2 ]5 G6 f- x2 c6 h   
& ^6 B; @, r/ K8 c3 g     
, z) @4 J! j( K  a! s. ]% {4 k      
! z6 ?' a7 {$ A8 t# z6 _6 j      
# g" A9 V, Z) B9 A8 |) d        f
3 l8 M* T3 [" b, w% r( F4 t( l+ o      
      
        _
      
      
: z7 I6 v, Q: p0 D        z
      
      
      
8 U. d. D: @- y9 P7 H/ I  j       f\_z
      
/ ^5 k, v  a- z. z9 e/ l! b. P3 W     
    f_z 用
   
     
      
8 a4 h4 t- o0 b. u+ n2 `: ?8 G      
        k
      
      
1 _, m. F7 @" N+ r7 t4 \. A      
& S. l! k. ?! z* F/ J. [        t
& t% P2 f( H% w5 Q* }& D; R4 w      
6 u  D# c5 B4 F      
        i
      
      
4 w$ s" Q+ l5 a* b" F& K+ {        m
      
, S% i: h+ H& ?4 i      
) G/ R# u5 v+ y+ N7 g6 L" T        e
1 I" N( X. l8 _( U      
4 N! w7 `$ L; U) I  }! C      
        s
9 L( y' Y6 b7 ?8 L# R/ Y2 b+ Z      
6 S7 T# |! @; ]4 W1 \7 M% d4 v      
        k
1 ?1 d+ i  ?4 U; {) ^      
      
: R+ Q' A4 ?  L1 _      
       k \\times k
" U& N; |% S- g" S+ E8 J      
+ p7 i7 \4 r! {4 x     
8 F$ E9 L% H! E5 J8 M    ktimesk 0-padding的卷积将
* D. y6 v4 K1 c0 Q7 J   
     
* G; c5 t( {7 N) Z      
& Q' Y& _; e' A1 ]+ d, Y      
/ L# L6 U0 `& @# n; s8 @        z
      
      
      
       z
      
% d$ R- z. Y# F- q" ]8 l     
    z 转换为
   
     
) e% e" X  ]! Q( ], p" i8 C; c+ U$ c      
      
& K' _4 @+ l" F  Z) D+ J1 p5 [        1
. L# ~( x& ]! t7 u      
% J6 T5 s8 D# [+ I' e4 C: I& `$ J      
      
8 E. s6 a' w5 V: m/ B' E6 ~  o        t
      
      
        i
      
8 o( Y# W  a" p2 |0 m; q( x: y      
, o, w) V( U4 t$ o, M% y/ x        m
- ^/ `6 Z9 ^  T& s+ y      
: E( m* A$ r' F1 a      
# x5 l- N% \4 c% E2 B# B        e
9 F! q9 B3 U0 ~, _# W1 g1 \0 v      
      
        s
" H/ }( W+ o1 }( X8 Q: n      
      
) g1 L. ^& e! ^        1
      
' V3 O5 w( C9 `6 |& X0 r      
0 J, x  x6 B: O$ N      
       1 \\times 1
1 s# Z3 E4 T9 F& y  V; G* o      
     
    1times1 的核作用于搜索区域
   
     
      
3 C" @% o, B5 {      
        f
      
      
4 l; n! k8 R7 z7 h+ D5 C3 K        _
8 K5 F+ U1 S0 N( M/ U! j      
      
5 `+ @( q' J6 ~- w& f0 p2 z# X        x
      
/ \4 P# l9 \7 y& r  ^      
      
       f\_x
, j: e  g6 F! a5 _3 O      
# l* ^+ u7 Y( R$ |     
    f_x 使用
* C1 w* D' }( l& X$ v   
, ?# G6 }* t! \9 Q7 n6 q: _4 y9 ?     
      
( q1 ^! P, @$ q  K7 b: ^      
9 N& ]7 R9 \% ?        3
# r) L: K, d- X$ h* z5 Z2 q# B      
5 [0 y! a7 |$ I& L& ?9 Q      
% k# m9 _& k/ v% t1 [# z      
        t
4 i0 h8 z  |9 j      
      
" V8 m; M1 ~( P' W9 k        i
+ ~" u$ z! G$ M7 u( d. j      
8 I" Z4 _4 x  p/ T8 G: j; E5 \      
        m
      
      
        e
2 P2 e5 E$ q4 @: d      
3 D* I$ q0 x6 Q9 V) |      
        s
- ~. l& M& A. `  g0 ^: q5 e      
      
$ ?0 I. \' r9 z! [' ^! Y$ {- I        3
! }, O) _2 `6 ^$ {7 C3 T3 q5 U2 R      
  I, I2 Z, h' N( u* d6 Z7 \, v0 _& L      
      
5 G. K$ z9 t3 h, n& U       3 \\times 3
      
" Z6 s8 y2 `3 Y/ p; F* g/ C8 |3 K     
    3times3 1-padding的卷积。
5 v. }2 `0 q. F7 J$ Z& \% O   
     
0 P" z) ^( v6 X* W( }3 g      
      
8 s& e5 b3 P" I( d9 V" y0 y8 N0 W        f
      
; g/ |9 J' m. I      
        _
      
/ T  E" V, e: t: _/ e, Z      
7 }& [: D: a/ ~/ f6 a4 K% Q; Q        
         o
        
        
         u
( x- ^( q3 c1 Y" y" o        
        
9 j+ c. Z; S0 p4 Q% n4 i. H# X         t
        
( r* X' \, ]& J7 f      
      
      
       f\_{out}
      
     
    f_out 是
   
     
      
      
        1
      
2 o0 w3 k* [( z) ]5 j' O      
& ?; n; Y0 w) X6 f6 Q      
5 g' z* l( P, k2 `        t
1 ?1 o# p9 M$ u1 v9 R      
) e! R4 J& _5 p2 M7 m0 X- Z( X      
  H! y7 h( Y8 R        i
      
      
. K9 E2 v) U% s8 S; U$ [0 E% Z        m
      
% k: E+ J  ~& W/ `+ [4 E      
        e
  N1 z; ]. {2 ]9 A% _      
      
) x9 E% `  }9 d% R        s
4 n$ }& d& Z, n5 \0 ~3 J      
% ]" a& M  W( ]6 ~5 S' }      
        1
( c* g- H* W+ g; w1 A      
      
      
+ C( M! g) t3 H/ [0 B( d# o2 [3 V        t
0 ?" F: B  z% G5 ]/ t* P8 p6 f) a% M      
      
        i
      
  m4 c$ k: O$ c8 I5 N      
        m
6 @9 u' [5 W5 ~7 ]: }" V4 m      
      
% `: }/ n! }+ c8 K  n- B        e
/ n+ d3 ]. I4 P# e% ?; C& ]      
1 J. ]2 Q7 U" R      
, Y& {1 X: P. q9 g9 d        s
- A) g$ B6 M1 a% j      
) W4 v* E# q: N2 E# }4 O7 s* _      
        c
      
, E0 q# F+ N6 l4 P0 b      
      
       1 \\times 1 \\times c
      
     
4 C* t0 b! r4 h/ A  e    1times1timesc 的卷积将通道数变回为c这个过程不使用正则化和激活函数。

Query-guided RCNN

4bff7abddc42affd9b8ad166fb03e1b8.png (18.8 KB, 下载次数: 0, 售价: 6 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
4bff7abddc42affd9b8ad166fb03e1b8.png

, B5 S% T9 g" Q# S
$ @7 r8 l* b% F3 w' [$ h2 O   
     
$ v) s/ T  S7 s- @2 p, \; r' W% \+ c      
. W5 f& x. T8 H6 ~# a2 a! Y7 K9 w& h3 J      
# b- ~  v; e6 z: t3 x        z
      
6 {9 P" y" T' S5 X% S; V9 G      
  [9 G1 M7 O# @  j      
       z
: ]+ U! v' Y# Q; y5 ]0 g3 ?& {/ @      
7 s( k4 D. E9 S     
    z 定义同上KaTeX parse error: Undefined control sequence: \[ at position 11: x\_i \\in \?[?k,k,c\] 是提取的proposal的特征。
6 \  i% o+ L& U1 {   
     
- z; d; n. |2 t6 S# a, r      
      
' {; X. |7 N4 T5 c        h
      
: b/ x8 s0 D! h" w4 j3 ?      
        _
' A" x( c8 [5 m      
      
. m" |) s/ k1 H  g$ n2 H, \) \) V        z
# Q; l- q9 @7 y+ k      
      
      
5 g$ L: I) |( Y; C9 Z- ^8 g       h\_z
      
$ |0 A$ @7 i( m) T     
' m9 X/ T. l) Z: i" v5 N. ^    h_z 和
8 J6 [' X: d  K, I3 H8 q9 l3 B5 F   
( T- k; _, w  z     
      
      
        h
      
      
' V& s( T* X: l: W        _
      
( M7 k5 \0 @; ?& z( ]$ h  o+ |4 y# F      
0 u2 M+ c  @" `# X        x
8 T$ {& C+ p. k* K7 K) k      
4 t* b2 N  L# f  M1 i9 P      
      
       h\_x
      
     
    h_x 均为
! S6 t5 {5 F# K- r, E( y' D   
     
      
  h) M8 ]) }4 `& V. K1 a      
        3
      
      
      
        t
/ c: C& v; l4 r. @0 p      
      
. p% l' W0 [/ e0 I: j        i
      
% a1 H. m# H% L/ s      
        m
6 p6 m/ L) ^% E8 A# ~      
      
        e
      
  q$ {1 X* ]$ F: ^& z      
+ u  V4 e" s$ G$ l. v% F. \3 q        s
1 M- V. n0 S' J5 D      
      
" L/ c, v) ]& n2 o        3
2 p; v, Z" T& N, l! d      
) l. Z* ^+ B0 ]3 K1 b      
      
       3 \\times 3
      
     
    3times3 1-padding的卷积
   
9 t; T$ q. [/ g2 j0 E     
      
      
5 |) D; D- H4 X3 `; {; U        h
" O$ h5 o1 X; x3 Z: v      
      
- p- v8 Z2 P3 P, w        _
      
      
        
" v& _' J& m( p5 D7 g: Y) s) M9 Q         o
        
, l1 |9 A8 X+ [1 g        
9 {* C% n6 u( a2 N2 }$ b         u
        
& ^! x* `8 r4 Z; Z        
         t
( y1 F% c0 Q3 @, b        
      
      
      
       h\_{out}
9 t( n) P: m/ C$ k: `      
     
( k. x, }1 u/ y    h_out 为
9 V2 U9 Z; n: h. D( ]/ G* Z+ Q   
     
      
      
9 C$ b, H, C" K. d. t4 x$ y        1
      
      
; F) }9 p) ~; h; T1 f      
0 G9 D& n: ]( \1 X; z        t
      
( V  w- o4 g" m1 Q1 ^5 V0 j      
, {7 U& R$ e0 }2 E( X        i
      
; S& }5 d# e4 P$ n* g0 ~. D      
5 i- Y$ h8 h9 Q0 _; r        m
      
      
/ A8 F: h: n. `0 H        e
$ Q- X. R. {& I0 T5 Y      
* X0 M2 v1 k* O& s0 s, A: X' w      
        s
      
0 d( k# z* z6 v+ V6 y      
        1
6 A. h: S  \7 l3 J      
      
3 F% v: ?3 ?" e      
  I% h- q6 \7 v5 o( \7 W4 G5 K. _        t
      
      
        i
" z3 I  @) l2 w/ `# |      
      
% m9 O4 Z# Z' v2 s" l, t2 o' f        m
1 P2 O; ^* q- |# i# l      
! C/ S! i( M6 M! X8 d) G  x6 e      
        e
: w# T' S6 u9 F: y: T      
      
        s
      
      
8 Z* a, Y" {% A        c
$ W2 O0 m" p! i0 e7 h( c# H      
      
9 ?8 ?% [9 y$ f' K      
' q4 L2 `8 g- j! E       1 \\times 1 \\times c
0 l* D$ c9 Y- V( R5 X/ n7 G0 ]2 J# _      
     
    1times1timesc 卷积。
2 c1 X  B: j( I+ B# U
GlobalTrack 对视频每一帧的跟踪完全不依赖相邻帧没有累计误差使得它在长期跟踪问题中准确率保持稳定。速度为6FPS。
3 S+ u7 V" j9 o. t/ `

59df19f7121f33152f2e00d5c3f804e5.png (176.07 KB, 下载次数: 0, 售价: 3 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
59df19f7121f33152f2e00d5c3f804e5.png

- h4 P3 t) y( Q% A) t4 F! X& a! H, [
) d9 n; {' v2 W8 x车牌在长期跟踪过程中消失了一段时间当车牌再次出现的时候其他跟踪算法就再也无法恢复跟踪了而没有累计误差的 GlobalTrack不受前面的影响立刻跟踪到了目标。

! O9 ]& c" d, v: D" }
Learning to Track Any Object
7 X) |5 @5 b0 Z- d" }9 o

0ff2ac17fb7ffcc92013455c8c12c71f.png (462.51 KB, 下载次数: 0, 售价: 4 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
0ff2ac17fb7ffcc92013455c8c12c71f.png

图1 (a)从基于图像的数据集学习一个通用对象先验(b)通过计算一个封闭形式的目标和背景之间的线性判别器使其适应于一个感兴趣的特定对象(例如左上角的总线)。这允许跟踪物体通过显著的变形而不捕获干扰物

本文重点在于将category-specific object detector 变成 category-agnostic, object-specific detector来做跟踪。想达到这个目的需要处理如下两个关键的问题如图1所示

[ol]

如何将 category specific prior 改为 generic objectness prior

如何进一步的将这种 generic prior 改为 particular instance of interst[/ol]
针对问题1作者构建了 a joint model for category-specific object detection and category-agnostic tracking。和之前类似也是添加了目标特征的检测框架基于 Mask R-CNN如下图2所示 。其将目标模板作为输入计算 feature embedding。然后该模板特征与测试图像计算相似性得到attention mask。attention mask又被用于重新加权空间特征以检测感兴趣的物体。另外这个框架可以同时用于检测、跟踪和分割。
. C6 \0 H2 v/ S/ Z6 ?9 ]9 D" `
" V+ g0 F2 k: y! T( _1 a

c36837026fea659077a658b4245b4e69.png (354.54 KB, 下载次数: 0, 售价: 3 金钱)

2023-2-12 14:09 上传

点击文件名下载附件
c36837026fea659077a658b4245b4e69.png

& J. m1 d; s' Q2 w- k. _% G
' G& o7 A3 o) \: K% R* W: }2 h- u针对问题 2本文计算一个线性分类器来区分第一帧的感兴趣目标和其他目标通过最小二乘方法得到闭式解从而可以学习到一个更关注感兴趣instance的鲁棒特征。下图3通过一个例子说明左下是直接用feature embedding计算的attention map右下是用线性分类器计算的attention map显然右下效果更好。

/ o3 a: c6 l5 z% G0 f

0 B3 D: G( G. e3 ]4 i# x最后运行速度为7FPS。
# j* I& D/ P9 M7 a# y) z8 j
' p4 [9 d; _; A/ K! T% p$ n/ _
Siam R-CNN: Visual Tracking by Re-Detection
; V2 ?, V4 O5 d6 ~) T这个就是用重检测的思想做跟踪也是基于RCNN框架的同时使用Tracklet Dynamic Programming Algorithm去跟踪所有潜在的目标。
/ f2 ]6 }# `5 ^: s
具体解读见前一篇笔记
( F8 q( r+ q7 a$ Q* f- V& r
! }  f) w( }! q+ N) NSiam R-CNN: Visual Tracking by Re-Detection | CV home (kongbia.github.io)
  q0 E' V% b7 x1 F- p# E
8 ^. r, ?* q+ R" H
Tracking by Instance Detection: A Meta-Learning Approach
7 G% |& `6 z- f/ i! ~4 j3 g0 m5 L同样是域自适应方法将检测器转化成跟踪器此篇更像是第一篇Bridging the Gap Between Detection and Tracking: A Unified Approach的进阶不同的是本文没有额外添加模板引导分支而是直接用标准的检测器通过元学习的方式做域自适应。避免了冗余结构使得速度大幅提升达到40FPS。另外就是训练的时候加入了很多来自MAML++喝MetaSGD的技巧效果更好。
5 F# E  n: v, O: y5 @  `
1 S$ F$ A3 ~$ y* s7 M
( s4 O1 }; V* l. W% O, F

总结
1 n) y5 a& Y+ r2 N2 c" W+ g6 s5 J; h% u这几篇文章的一个共同思路都是融合了Siamese架构和目标检测框架将目标实例信息以各种形式加入待检测图像中从而将class-level的通用检测转变成instance-level的实例检测跟踪。借助目标检测对尺度形变等复杂条件的优越性来解决跟踪中的问题同时将跟踪转变成one-shot的检测任务也避免了更新带来的漂移第一篇里面使用了MAML进行更新主要原因猜测是单纯往RPN中融合目标信息还不够work像globaltracker在head上也添加了instance而第三篇则是构建一个分类器增强鲁棒性。当然引入检测框架带来的计算开销也是很大的最后一种方法避免了额外的模板分支相当于跳出了Siamese框架给实时带来了可能。
. `& p5 Y4 H: d! _4 | 更多Ai资讯公主号AiCharm

4 M7 o; E, H) r% S1 ?
- Q2 [1 k$ u8 @6 f, U
9 h7 M- E. U9 X7 g) [               
7 z) l- P7 o, }( c+ r7 i               
               
! J) y$ C% }! |$ x2 n( R- a2 _* R本文来源csdn，由Java吧转载发布，观点不代表Java吧的立场，转载请标明来源出处：https://www.java8.com