실시간 렌더링은 미리 만든 영상을 재생하는 대신 현재 입력과 장면 상태를 바탕으로 각 Frame을 생성한다. 공연에서는 연주·조명 Cue와 Performer의 움직임에 반응하는 Visual을 만들고, 전시에서는 관객 위치나 센서 데이터에 따라 공간의 그래픽을 바꿀 수 있다. 장점은 변화에 즉시 대응하는 표현이지만, 콘텐츠 제작과 함께 Render 성능, 동기화와 현장 복구를 설계해야 한다.
어디에 활용하는가
| 활용 방식 | 입력 | 출력 변화 | 핵심 위험 |
|---|---|---|---|
| Generative Visual | 시간, 음악 특징, Parameter | Particle, Material, 공간 장면 | 부하 급증과 반복 재현 |
| Motion 연동 | Camera·Mocap·IMU Tracking | Avatar, Effect와 Virtual Camera | 지연, 가림, 좌표 불일치 |
| Data-driven 전시 | 센서, 환경·업무 데이터 | 상태 색상, 그래프와 3D Animation | 오래된 데이터와 단위 오류 |
| Multi-display 공간 | Show Cue, Camera View | 여러 Projector·LED의 연속 장면 | Frame·출력 동기 불일치 |
기본 제작·운영 파이프라인
- Content Source: 3D Asset, Texture, Video, Audio와 데이터 스키마를 준비한다.
- Input Adapter: Tracking, OSC·MIDI, DMX, API와 Sensor Event를 Engine Parameter로 변환한다.
- Scene Logic: Timeline, State Machine, Cue와 Interaction 규칙을 실행한다.
- Render: 목표 해상도와 Frame Time 안에서 장면을 계산한다.
- Distribution: Video Output 또는 Render Cluster가 화면별 Signal을 전달한다.
- Display: Projector, LED Processor와 Monitor가 최종 영상을 표시한다.
재생 Cue와 상호작용을 함께 관리한다
공연에는 정해진 순서와 즉흥 입력이 동시에 존재한다. 장면 전환은 명시적인 Cue로 관리하고, Tracking과 Audio 입력은 현재 Cue가 허용한 Parameter 범위 안에서 반응하게 한다. 센서가 끊겼을 때 장면이 멈추지 않도록 기본 Animation과 수동 Cue를 준비한다. 운영자는 콘텐츠 UI에서 현재 Scene, 다음 Cue, 입력 상태와 남은 시간을 확인할 수 있어야 한다.
조명과 실시간 Engine을 연결할 때는 DMX 주소와 Fixture 정의를 통일한다. Unreal Engine의 DMX 기능은 DMX Port, Fixture와 Pixel Mapping 등을 제공하지만 현장 Console과 동시에 제어한다면 우선권과 Merge 정책을 사전에 정해야 한다. 기계 장치나 안전 효과는 미디어 Cue만으로 직접 구동하지 않고 전용 제어와 안전 회로를 거친다.
멀티 화면과 동기화
여러 Render Node가 하나의 큰 장면을 출력하면 각 Node가 같은 Frame과 View 구성을 사용해야 한다. Unreal Engine의 nDisplay는 Primary와 Secondary Node로 구성된 Cluster가 여러 Display용 Viewport를 렌더링하고 동기화하도록 설계되었다. 화면의 물리 크기와 위치, 해상도, Viewpoint를 Configuration에 반영해야 한다.
Timecode는 장면과 Cue가 어느 시간 위치에 있는지 맞추는 기준이고, Genlock 또는 Frame Sync는 장치의 영상 Frame 타이밍을 맞추는 데 사용된다. 두 역할은 같지 않다. Signal 경로 전체에서 Camera, Render, Processor와 Display가 무엇을 지원하는지 확인하고 실제 장비로 시험한다.
Frame 성능을 지키는 방법
- 평균 FPS보다 Frame Time의 급증과 최악 구간을 본다.
- 목표 출력 해상도와 실제 Node 수로 Profile한다.
- 고해상도 Texture, 투명 Material, Particle과 Dynamic Light의 비용을 예산화한다.
- 장면 전환 전에 필요한 Asset과 Shader를 준비해 순간 멈춤을 줄인다.
- 입력 데이터가 폭주해도 Render Thread를 막지 않도록 Queue와 갱신 제한을 둔다.
- 품질을 낮춘 Fallback Scene과 사전 Rendered Clip을 비상 대안으로 준비한다.
현장 리허설에서 확인할 것
Studio Monitor가 아니라 실제 LED 밝기와 Projector 환경에서 색, Black Level, Text 가독성을 확인한다. Tracking Performer의 전체 동선, Network 단절, Render Node 재시작, Cue 되돌리기와 수동 전환을 연습한다. 전시라면 장시간 반복 실행에서 메모리 증가와 열, 자동 업데이트·알림 Popup을 확인한다. 공연이라면 장비 교체 시간을 포함해 Backup으로 전환하는 절차를 Cue Sheet에 적는다.
FAQ
실시간 렌더링이 사전 제작 영상보다 항상 좋은가?
아니다. 입력에 따라 변할 필요가 없고 완벽한 화질·재현성이 우선이면 사전 Render가 효율적이다. 두 방식을 장면별로 혼합할 수 있다.
한 대의 PC로 여러 Projector를 출력할 수 있나?
출력 수, 해상도와 장면 부하가 장비 한계 안이면 가능하다. 실제 GPU Output, Processor와 케이블 조건으로 안정성을 검증해야 한다.
Timecode만 연결하면 화면이 Frame 단위로 맞나?
그렇지 않을 수 있다. 시간 위치와 영상 Frame 동기는 별도 문제이므로 Render Cluster, 출력 장치와 Display의 동기 기능을 함께 확인해야 한다.