다중 객체 추적(MOT) 시스템의 구성 요소

2021.08.25 - [Autonomous Navigation/Perception] - 다중 객체 추적(Multi Object Tracking)

다중 객체 추적(Multi Object Tracking)

지난 글에서 다중 객체 추적 시스템의 역할과 어려운 점에 대해 살펴보았습니다. 이번에는 일반적인 다중 객체 추적 시스템은 어떻게 구성되어 있는지, 각각의 구성 요소의 역할은 무엇인지 알아보겠습니다.

 

시작하기 앞서, 앞으로는 object detector를 통해 원하는 정보를 얻는 것은 가능하다고 간주합니다. 즉, LiDAR던지 카메라던지 원하는 센서를 사용해 객체의 위치, 방향, 크기, 형상 묘사 벡터(appearance description vector), 또는 속도 등의 정보를 알아낼 수 있다는 가정 하에 추적 알고리즘이 작동하는 것입니다. 물론 detector가 오탐지 또는 탐지 실패를 일으키는 등의 경우도 고려되어 있으며, 탐지된 정보가 완벽하지 않고 잡음이 끼어 있다는 당연한 사실 또한 고려되어 있습니다. Object detector들은 기계학습의 발전에 따라 점점 더 좋은 성능을 보이고 있으며, 현재도 매우 활발한 연구 분야입니다(이것만 잘 해도 먹고살 수 있겠죠??).

 

Source : MathWorks Documentation

일단 추적 시스템이 추적 중이던 물체들의 track을 갖고 있다고 가정합니다(e.g. 물체 1의 track, 물체 2의 track...).

1. Track 정보를 이용해 칼만 필터 등의 예측 알고리즘을 돌려서 다음 time step에서의 물체 위치를 예측합니다.
2. 칼만 필터에서 나온 예측값과 분산을 활용해 예측된 위치 주변에 validation gate를 형성합니다.
3. 새로운 탐지 결과들 중 이 validation gate 안에 있는 detection들은 해당 track에 연관될 후보로 결정됩니다.
4. Data association 알고리즘이 작동하여 track 마다 detection을 연관짓습니다.
5. Track의 유지보수 절차. 새로운 track이 생성되거나(추적 시작), 기존의 track이 삭제되고(추적 실패 또는 종료), 새로 생성된 track들이 실제 물체로 confirm됩니다(잡음 필터링).
6. 업데이트된 track들을 가지고 다시 1번으로 돌아갑니다.

 

가장 많은 불확실성이 존재하고 가장 잘 설계되어야 할 부분이 Assignment, 즉 data association 부분임을 짐작할 수 있습니다. 한 가지 염두에 둘 점은, data association 알고리즘에 집어넣을 수 있는 detection data가 pose정보뿐만은 아니라는 것입니다. 예를 들어, 물체의 크기를 수치로 나타내어 time step간에 너무 크기 차이가 심하면 그 detection은 해당 track에 배정하지 않는 것이 맞을 것입니다.

 

또 요즘 중요한 카메라 영상 기반 tracker에서 인기있는 방법으로는 물체 사이의 형상 유사도를 나타내는 similarity vector를 계산해서(딥러닝이 이런 데 쓰라고 있죠) time step간에 similarity가 높은 detection결과만을 연관짓는 방법이 있습니다. 이 방법은 물체의 모습이라는 고차원 데이터를 사용하기 때문에 정확도를 크게 향상시킬 수 있으며, DeepSORT등 다양한 다중 객체 추적 시스템에서 사용하는 방법입니다.

 

Detector와 tracker는 하는 일이 다르지만 뗄 수 없는 관계입니다. 두 가지 시스템 모두의 성능을 올릴수록 전체 tracking pipeline의 성능이 크게 향상되며, detector가 제공하는 정보의 종류에 따라 tracker의 성능이 좌우되기도 합니다. 다음 글에서는 tracker에서 가장 중요하다고 할 수 있는 data association 알고리즘의 종류와 원리에 대해 살펴보겠습니다.