2026 AI·SW중심대학 디지털 경진대회 : SW부문

AI·SW중심대학 | SW부문 | AI·SW개발 | AI Agent

  • moneyIcon 상금 1,220만 원
  • 237명 마감
마감

 

[캡처메이트] 스크린샷을 분석하여 미래 행동을 유도하는 서비스

공동작성자

stroke
2026.07.02 18:22 288 조회 language

서비스명 : 캡처메이트
일상의 스크린샷 속에서 유용한 정보와 사용자 의도를 파악하여 미래 행동을 유도하는 AI 에이전트 서비스입니다.

[시연영상]
https://youtu.be/H-Bks1T1z24

테스트를 위해 백그라운드 배치 분석 주기를 하루 단위에서 한 시간 단위로 수정했습니다.
app-release.apk 설치 : https://drive.google.com/file/d/13EPp1lM-D_MJwx5aemVPYoeQF6F8T3oK/view?usp=sharing
[테스트 계정]
이메일 : lifepilot.test1@gmail.com
비밀번호 : fkdlvmvkdlffjt

PDF
YOUTUBE
로그인이 필요합니다
0 / 1000
BioCode25
2026.07.15 11:03

안녕하세요! 복지 AI 에이전트 [모두봄] 팀입니다 :)
스크린샷을 "나중에 다시 볼 저장 매체"로 본 관점이 진짜 신선하네요. 저도 갤러리에 스크린샷만 수백 장 쌓여 있는데 결국 다시 안 본다는 게 문제였거든요..!! 근데 그걸 단순 정리가 아니라 사용자 의도를 읽어서 미래 행동까지 연결한다는 접근이 좋습니다. 배경에 논문 근거까지 붙여두신 것도 설득력 있었어요!

하나 여쭤보고 싶은 게, 스크린샷에서 의도를 뽑을 때 OCR 텍스트만 쓰시나요 아니면 이미지 자체도 같이 넣으시는지 궁금하네요. 백그라운드 배치 분석이면 배터리랑 비용도 걸릴 것 같은데 그건 어떻게 잡으셨는지도요!
아 그리고 기획서 다이어그램이랑 PPT를 진짜 깔끔하게 뽑으셨던데 이건 무슨 툴로 만드신 건가요? 저희도 다음에 참고하고 싶어서요..!!! ㅎㅎ
APK랑 테스트 계정까지 열어두신 거 보고 놀랐네요, 바로 설치해서 써보겠습니다!
시간 되시면 프로필 눌러서 저희 팀 프로젝트에도 의견 한 번만 남겨주시면 정말 감사하겠습니다 :) 캡처메이트 팀 좋은 결과 있으시길 응원할게요! 화이팅!!

휴지이
2026.07.15 17:05

안녕하세요! 프로젝트를 정말 꼼꼼하게 봐주시고 따뜻한 리뷰까지 남겨주셔서 감사합니다 😊
저희도 갤러리에 스크린샷은 계속 쌓이는데 정작 다시 찾아보지 않는 경험에서 출발한 아이디어라, 문제의식에 공감해주셨다는 말씀이 특히 반갑네요!

질문 주신 부분에 답변드리면, 스크린샷에서 의도를 추출할 때 LLM에는 원본 이미지가 아닌 OCR로 추출한 텍스트만 전달합니다.
저희는 개인정보 보호를 서비스의 중요한 설계 요소로 고려했습니다. 서버에서는 스크린샷 원본을 OCR 처리 과정에서만 일시적으로 사용하며, 처리가 끝난 뒤에는 저장하지 않고 즉시 폐기합니다. 이후 OCR로 추출된 텍스트에서도 전화번호나 이메일 등의 개인정보를 먼저 마스킹한 뒤 LLM에 전달해, 원문 노출을 최소화하면서 사용자의 저장 의도와 필요한 후속 행동을 분석하도록 설계했습니다.

배터리와 비용 측면에서는 실제 운영 기준으로 하루에 한 번 백그라운드 분석이 실행되도록 설계했습니다. 주변 사례를 살펴봤을 때 한 달 동안 저장되는 스크린샷 중 실제로 활용 가치가 있다고 판단되는 비율은 약 3분의 1 정도였고, 월평균 스크린샷 저장량도 100장을 크게 넘지 않았습니다. 이를 기준으로 하루 단위로 최신 스크린샷을 최대 20장까지 확인하는 배치 방식이면 충분하다고 판단했습니다. 현재 테스트 환경의 1시간 주기는 분석 결과를 빠르게 확인하기 위해 임시로 변경한 값입니다!
또한 네트워크가 연결된 상태에서만 WorkManager가 실행되도록 했고, 이미 분석 작업이 진행 중인 중복 워커는 서버 요청 없이 건너뜁니다. 처리 완료된 스크린샷 URI를 기기에 기록해 같은 이미지를 다시 업로드하지 않으며, 새롭게 분석할 이미지가 없을 때는 서버를 호출하지 않도록 구성했습니다.

휴지이
2026.07.15 17:05

다이어그램은 Mermaid로 구조를 작성한 뒤 Canva에서 디자인을 다듬었고, 기획서 전체 구성과 편집도 Canva에서 진행했습니다. 깔끔하게 봐주셨다니 열심히 만든 보람이 있네요 ㅎㅎ

APK도 직접 설치해주신다니 정말 감사합니다! 사용하시면서 발견하신 불편한 점이나 의견도 편하게 남겨주세요. 저희도 모두봄 팀 프로젝트 구경하러 가서 의견 남기겠습니다 :) 모두봄 팀도 좋은 결과 있으시길 응원할게요. 함께 화이팅입니다! 🙌

지만
2026.07.15 16:12

안녕하세요! RAG 기반 챗봇이 개인 맞춤 복지 정책을 추천해주는 [정책 큐레이터]를 만든 내몫 팀입니다 :)
캡처메이트 소개 보면서 스크린샷을 "나중에 다시 볼 저장 매체"로 바라본 관점이 신선했습니다. 저도 노트북 캡쳐보드에 캡처한 정보나 링크가 잔뜩 쌓여있는데 결국 다시 찾아보지 않고 묻히는 경우가 많았거든요. 그걸 단순히 분류·정리하는 데서 그치지 않고, 사용자 의도를 읽어서 실제 행동으로까지 이어준다는 방향이 인상 깊었어요. 저희도 복지 정책이라는 정보를 다루다 보니, 결국 사용자한테 필요한 건 "정보를 보여주는 것"이 아니라 "다음 행동을 대신 제안해주는 것"이라는 걸 느끼고 있었습니다.
백그라운드 배치 분석으로 자동화까지 구현하신 부분도 실제 서비스 단계까지 고려한 완성도가 느껴졌고, APK와 테스트 계정까지 공개해두신 실행력에는 정말 배울 점이 많았습니다.
그리고 지금 유튜브가 영상이 삭제되었다고 뜹니다 ㅠㅠ
저희 [정책 큐레이터]도 한번 봐주시고 피드백 남겨주시면 정말 감사하겠습니다 :) 예선 마무리까지 화이팅입니다!

휴지이
2026.07.15 17:08

안녕하세요! 저희 서비스에 관심 가져주시고 댓글까지 남겨주셔서 감사합니다!! 

저희도 단순히 정보를 분류하고 정리하는 것보다, 사용자가 저장했던 의도를 다시 떠올리고 실제 다음 행동으로 이어지게 만드는 것이 더 중요하다고 생각했습니다. AI Agent에 걸맞는 라이프 혁신 서비스가 되기 위해서는 단순히 사용자의 요청에 응답하는 데서 그치지 않고, 사용자가 잊고 있던 정보를 AI가 먼저 찾아 적절한 시점에 다음 행동까지 제안하는 자동화가 필요하다고 판단하여 서비스 완성도에 더 노력을 기울였었는데 그 부분을 알아봐주셔서 정말 감사합니다 😊 

저희와 비슷한 방향성으로 프로젝트를 기획하신 것 같아 내몫 팀이 구현하신 서비스도 궁금하네요! 저희도 내몫 팀의 정책 큐레이터 서비스를 살펴보고 피드백 남기겠습니다 :) 내몫 팀도 예선 잘 마무리하시고 좋은 결과 있으시길 바랍니다. 화이팅입니다! 🙌

마아고
2026.07.15 16:18

시연영상 : https://drive.google.com/file/d/1a1qyE3EggRYFEpKM41KYLdg_97z4qL9M/view?usp=sharing

갑자기 유튜브 쪽에서 정책 위반 이슈로 영상이 삭제되어 구글 드라이브 링크로 시연영상 공유드립니다.
영상 삭제되었다고 알려주신 지만님 감사합니다ㅠㅠ!!

iimss
2026.07.16 17:05

디지털 기록을 신문으로 바꿔주는 'Paperback Agent' 팀입니다!
스크린샷을 분석하는 서비스가 필요하다고 생각했는데, 단순 정리에 그치지 않고 구글캘린더로 리마인드 하거나, 위치 기반으로 알림 설정 가능한 것이 사용자 편의성을 대폭 강화하였다 생각합니다. 좋은 기획 감사합니다!
시간 되시면 저희 페이퍼백에이전트도 구경와주시면 감사하겠습니다! 파이팅!