카메라 기반 인터랙션의 작동 원리

카메라 기반 인터랙션은 영상을 그대로 콘텐츠에 넣는 기술이 아니다. 카메라 Frame에서 필요한 특징을 추출하고 시간에 따라 대상을 추적한 뒤, 영상 좌표를 전시 공간이나 화면 좌표로 변환해 의미 있는 Event를 만든다. 일반적인 흐름은 촬영 → Calibration → 전처리 → 검출 → Tracking → 좌표 변환 → 상태 판단 → 미디어 출력이다.

1. 촬영 범위와 광학 조건

첫 단계는 관객이 움직일 공간을 렌즈와 센서가 실제로 볼 수 있는지 확인하는 것이다. 카메라 높이, Tilt, 초점거리와 Sensor 크기에 따라 수평·수직 화각과 거리별 관측 폭이 달라진다. 넓은 렌즈는 범위를 확보하기 쉽지만 가장자리 왜곡과 대상 크기 감소가 커질 수 있다. 조명, 역광, 반사 화면과 관객의 가림도 알고리즘보다 먼저 해결해야 할 조건이다.

2. Calibration: Pixel과 현실을 연결한다

렌즈는 방사·접선 왜곡을 만들 수 있으며 Camera Matrix는 초점거리와 광학 중심을 표현한다. OpenCV의 공식 Camera Calibration 절차는 Checkerboard나 Circle Pattern의 여러 관측으로 내부 Parameter와 왜곡 계수를 구하고 Reprojection Error를 확인하는 방식을 제공한다. 카메라를 이동하거나 렌즈 Zoom·Focus 조건이 바뀌면 Calibration이 더 이상 유효하지 않을 수 있다.

프로젝션 화면이나 바닥 평면에 위치를 대응하려면 영상의 기준점과 실제 면의 기준점을 측정해 Homography 또는 별도 좌표 변환을 구한다. 깊이가 큰 3D 공간은 단일 평면 변환만으로 정확하지 않으므로 Depth 정보, 여러 카메라 또는 3D Calibration을 검토한다.

3. 전처리와 특징 추출

OpenCV가 설명하는 Background Subtraction은 현재 Frame과 배경 모델의 차이로 전경 Mask를 만든다. Optical Flow는 연속 Frame 사이의 특징점 또는 Pixel 흐름을 계산한다. 어떤 방식을 선택하든 노이즈 제거, 크기·신뢰도 Filter와 관심영역 설정을 통해 불필요한 입력을 줄인다.

4. Detection과 Tracking은 다른 단계다

Detection은 한 Frame에서 대상이 어디에 있는지 찾고, Tracking은 여러 Frame에서 같은 대상을 이어 본다. 매 Frame 검출 결과만 사용하면 ID가 바뀌거나 위치가 흔들릴 수 있다. 추적 ID, 최근 위치, 속도와 누락 시간을 유지하고 일정 시간 보이지 않을 때만 이탈 Event를 발생시킨다. 여러 사람이 교차할 때 ID Switching이 경험에 미치는 영향도 시험한다.

5. Interaction 좌표와 상태로 변환한다

영상 좌표를 0~1 범위, Projector Pixel 또는 공간 미터 좌표로 바꾸고 화면 방향과 관객의 거울상 기대를 맞춘다. 좌우 반전이 자연스러운지, Camera가 보는 방향과 출력 화면의 기준이 같은지를 Prototype에서 확인한다. 작은 위치 변화에 콘텐츠가 떨리지 않도록 Smoothing과 Dead Zone을 사용하되 지나친 Filter로 반응이 늦어지지 않게 전체 지연을 측정한다.

최종 로직은 좌표를 그대로 전달하기보다 구역 진입, 손 들기, 일정 시간 머무름처럼 의미 있는 상태로 해석한다. 감지 신뢰도가 낮아지면 이전 상태를 잠시 유지할지 대기 상태로 복귀할지도 정의한다.

현장 시험 항목

• 최소·최대 키, 다양한 옷 색과 이동 속도로 시험한다.
• 한 명부터 목표 동시 인원까지 가림과 ID 유지 여부를 확인한다.
• 전시 조명 Cue, 외부광과 Projector 영상이 Camera에 미치는 영향을 본다.
• 입력 Frame, 인식 결과, 좌표 변환과 출력 반응의 시간을 각각 기록한다.
• 원본 영상의 저장 여부, 보존 기간, 접근 권한과 안내 문구를 정한다.

FAQ