XR 학부 연구 인턴

학부 연구 인턴 / HCS Lab

역할 / 2D-3D 그라운딩, XR 오버레이 구현, AI 생성 출력 평가

기술 / Unity, OpenXR, Gemini

XR 에이전트가 생성한 응답을 사용자가 더 쉽게 이해할 수 있도록 하는 연구 프로젝트에 참여했습니다. XR 클라이언트의 객체 기반 오버레이, AI 생성 출력의 품질 평가를 담당했습니다.

이 프로젝트에서는 실제 장면과 연결되는 시각 단서가 어디에, 어떤 형태로, 언제 제시되어야 하는지를 다루었습니다. 논문 투고 및 익명성 유지를 위해 구체적인 시스템명, 실험 결과, 세부 구조는 의도적으로 생략했습니다.

• Unity와 OpenXR 기반 XR 환경에서 시선 입력, 실제 장면, UI 오버레이가 연결되는 클라이언트 흐름을 파악하고 구현했습니다.
• 이미지 기반 지시 대상 탐지 결과를 객체 연결 XR 오버레이로 이어주는 2D-3D 그라운딩 작업을 수행했습니다.
• 객체 기반 시각적 제시를 위해, 화면 좌표, 카메라 투영, 월드 공간 배치 사이의 정렬 문제를 분석했습니다.
• AI가 생성한 출력이 장면 맥락, 지시 대상, 응답 의도에 맞는지 평가했습니다.

이 프로젝트의 핵심 과제는 AI가 생성한 설명을 단순히 음성이나 텍스트로 보여주는 것이 아니라, 사용자가 보고 있는 실제 장면과 연결해 이해할 수 있도록 만드는 일이었습니다.

이를 위해 XR 클라이언트에서는 실제 장면 위에 표시되는 시각 단서가 대상 위치와 어긋나지 않도록 좌표계와 오버레이 배치를 다루어야 했습니다. 화면 좌표, 카메라 입력, Unity 월드 공간이 서로 다른 기준을 사용하기 때문에, 객체 탐지 모델의 결과를 그대로 UI에 표시하는 것만으로는 충분하지 않아 변환 과정을 거쳐야 했습니다.

또한 생성형 AI가 만든 멀티모달 출력은 항상 정답이라고 볼 수 없었습니다. 시각 단서가 실제 장면의 올바른 대상을 가리키는지, 설명 내용과 맞는 종류의 단서인지, 전체 응답 흐름과 어긋나지 않는지 평가해야 했습니다. 이러한 출력 결과를 검토하고, 장면 맥락과 의도한 응답에 맞는지 기준을 세워 평가했습니다.

익명성 유지를 위해 미리보기 이미지는 생략했습니다.