2025 SW중심대학 디지털 경진대회 : SW부문

키오스크가 점점 일상화 되고있지만 노년층의 경우, 이러한 키오스크 도입이 오히려 불편함으로 다가오는 경우가 많은 상황에 집중했습니다.
실제로 ‘노인 정보화 기기 활용 역량’ 조사에 따르면, 키오스크 주문 능력은 17.9%로 매우 낮은 수치를 보였습니다. 
시니어층을 대상으로 한 키오스크 사용 시 시선 이동에 대한 연구 결과, 인지 능력과 집중력의 저하로 인해 시니어는 시선 이동 횟수가 많고, 시선 분포도 더 넓게 퍼져 있는 경향이 확인되었습니다. 해당 논문 심층 인터뷰에서, 키오스크에 사용되는 외래어나 익숙하지 않은 용어들이 노년층에게 불편함을 준다는 점도 지적되었습니다.

“사람처럼 도와줄 수 있는 에이전트를 만들 수 없을까?”라는 질문에서 프로젝트를 시작하였습니다.
여기서 말하는 ‘사람처럼’이라는 것은 단순히 정해진 결과를 출력하는 수준을 넘어, 화면을 인식하고(보고), 상황을 이해하며, 사용자와 대화하고, 적절한 버튼을 눌러주는 등 실제 사람처럼 행동하는 능동적인 도움을 의미합니다.
이를 실현하기 위해, OCR 기술을 활용해 키오스크 화면의 시각적 정보를 인식하고, LLM을 통해 사람의 인지 및 추론 과정을 모방함으로써, 사용자의 상황을 정확히 이해하고 돕는 에이전트를 구현하고자 했습니다.

** 시연 영상: https://drive.google.com/file/d/188Ieo7qHlrFToKnOgVlAGBCXptR-A_K7/view?usp=sharing