Beyond 스마트TV 기술 개발 – PJT CODE : BSMTV

  • 사업명 : Beyond SMartTV 기술개발(PJCode : BSMTV)
  • 기간 : 2012.3 – 2013.2
  • 주관기관 : 한국 전자통신연구원

BSMTV (Beyond SMart TV) 과제는 과제명처럼 Smart TV를 넘어서는 Smart TV, 즉, 차세대 Smart TV를 만드는 과제입니다. 모 과제는 Smart TV의 다양한 분야에 관하여 연구하지만 저희는 그중에서도 스테레오 카메라를 이용한 “제스처 인식 인터페이스 기술” 개발 분야에 참여하고 있습니다. 최종적으로는 스테레오 카메라를 이용하여 키넥트와 같은 거리 인지 센서를 만들고 거리 인지 센서를 이용하여 사용자의 제스처를 인식하는 것이 목표입니다.

그냥 간단히 이야기하면 TV 앞 3미터 정도 떨어진 소파에 앉아서 리모콘 없이 손동작만으로 TV의 채널을 바꾼다든지 볼륨을 조절하는 것과 같은 일을 하는 것이지요.

개념도

<그림1. 개념도>

그중에서도 위드로봇은 가장 앞부분에 해당하는 스테레오 카메라를 만들고 있습니다. 위드로봇의 역할은 스테레오에 해당하는 카메라 부분을 제작하고 양쪽 영상을 동기를 맞추어 PC로 전송하는 것입니다. 전송된 영상에서 거리 정보를 추출하고 추후 알고리즘을 FPGA로 구현하여  것은 ETRI에서 담당하고 있습니다. 1차년도에는 아직 구체적으로 베이스 라인을 얼마로 할지 결정되지 않았으므로 아래와 같이 개별적인 카메라로 만들어 카메라의 위치를 바꾸어가며 테스트하기로 하였습니다.

<그림2. 전체구조>

스테레오 카메라를 제작하기 위한 첫번째 과정은 센서를 선정하는 것이었습니다. 대략적으로 동작 거리는 3m정도를 예상하고 있고, 3m 정도 떨어진 곳에서 사람이 양팔을 벌리고 있는 영역을 커버할 수 있으며 그 안에서 사용자의 손가락을 구분할 수 있는 정도를 목표로 하고 있습니다.

 따라서 그정도의 성능이 나올 수 있도록 센서의 해상도를 결정해야 합니다.  물론 센서의 해상도가 높을수록 정밀하게 측정하는 것이 가능하겠지만 해상도가 높아질수록 처리해야할 데이터도 그만큼 늘어나기 때문에 무한정 높은 해상도를 사용할 수는 없습니다. 그래서 최종적으로는 1280x720의 해상도로 결정되었습니다. 1280×720 이상의 해상도를 지원하는 여러가지 센서들이 검토되었습니다만 최종적으로 HDR(High Dynamic Range)을 지원하면서 감도가 가장 좋은 Aptina의 MT9M034(MT9M024)가 선정되었습니다.

3_

<그림3. 센서선정>

두번째 과정은 센서의 데이터를 PC로 전송하는 것입니다. 선택된 센서는 1280×720 해상도에 60FPS (frame per sec)으로 동작하므로 한대의 카메라에서 나오는 데이터는 55MB/s 정도가 됩니다.

두대의 카메라로부터 영상을 받아야 하므로 대략 110MB/s 정도의 대역폭을 확보할 수 있어야 합니다. 사실 이정도의 데이터량이면 적은 양이 아니기 때문에 일반적인 인터페이스를 이용하기는 쉽지 않습니다. 그래서 이러한 대역폭을 확보할 수 있는 USB 3.0 인터페이스를 사용하기로 하였습니다. 최종적으로는 아래와 같은 구조가 되겠네요….

4_camera-structure

<그림4. 카메라 구조>

우선 센서에서 나온 데이터는 GLUE LOGIC(FPGA)을 통하여 USB 3.0 전송 칩(FX3)과 연결됩니다. USB 3.0 전송칩은 PC로 데이터를 보내구요..

우선 검증을 위하여 1차 버전의 카메라를 만들었습니다.

5_1

<그림5. 1차버전 카메라>

1차 버전에서 별다른 문제가 없이 잘 동작되었기 때문에 케이스를 수정/보완하고 동기화 부분 등을 보강하여 아래와 같은 최종 모델을 제작하였습니다.

물론 잘 동작합니다. ^^

6_2-1

< 그림6-1. 2차버전 카메라 >

6_2-2

< 그림6-2. 2차버전 카메라 >

7_

<그림7. 영상출력>

8_camera1

<그림8-1. 카메라 설치>

8_camera2

<그림8-2. 카메라 설치>

1차년도 과제를 통하여 아래와 같은 기술을 확보하였습니다.

- USB 3.0 전송 기술

USB 3.0은 아직까지 많이 알려져 있는 기술이 아니기 때문에 이부분에서 고생을 좀 했습니다. 하지만 어쨌거나 현재는 USB 3.0을 통하여 PC와 디바이스 사이의 고속 데이터 전송 기술이 확보 되었습니다. 카메라뿐 아니라 다양한 용도로 사용될 수 있는 기본 기술이라고 생각합니다.

 - FPGA 인터페이스 기술

USB 3.0 기술은 데이터를 고속으로 전송하는 기술이고 이러한 데이터를 디바이스와 연결하기 위해서는 glue logic이 필요합니다. 현재 확보된 FPGA 기술을 이용하면 다양한 형태의 디바이스를 USB 3.0에 붙일 수 있게 되었습니다. 사실 USB 3.0 + FPGA가 되어야 하나의 완전한 솔루션이라고 할 수 있습니다.

 - 센서 제어 기술

요즘 나오는 CMOS 센서들은 예전 같지 않게 특성이 많이 복잡하고 세팅해야 할 부분도 많아졌습니다. 예전에는 단순히 몇 개의 레지스터만 세팅하면 센서 사용에 별 문제가 없었는데,

요즘에는 센서가 좋아지면서 그만큼 복잡해졌더군요… 어쨌거나 이번에 Aptina 센서를 사용하면서 앞으로는 Aptina 센서쪽은 별 무리없이 사용할 수 있게 된 것 같습니다.

 이것으로써 1차년도 과제는 종료되었고, 2차년도에는 보다 업그레이드된 스테레오 카메라를 제작할 계획이며 또한 확보된 기술을 바탕으로 자체적인 스테레오 카메라 모델도 제작하여 판매할 예정입니다.

2012년 에 올린 글 태그됨: , , , ,