AUTOMANUAL / PROJECT STORY
작업을 멈추지 않는
기록과 코칭
숙련자의 작업을 지식으로 남기고,
필요한 순간에 음성으로 안내합니다.
- PROJECT
- AI 글래스 기반 작업 지원 서비스
- MY ROLE
- 팀장 / 기획·개발
- TOUCHPOINTS
- 글래스 · 모바일 · 관리자 웹
손은 작업에,
시선은 현장에.
작업을 하다가 매뉴얼을 찾거나 동료에게 물어보는 순간, 하던 동작은 잠시 멈춥니다. AutoManual은 숙련자가 일하는 과정에서 기록을 남기고, 학습자가 그 기록을 활용하도록 기획한 서비스입니다.
출발점은 디스플레이가 없는 글래스와 양손을 쓰는 작업 환경이었습니다. 현장에서는 음성을 우선하고, 내용을 자세히 확인하거나 수정할 때는 모바일과 관리자 웹을 사용하도록 역할을 나눴습니다.
기록한 경험이
다음 작업의 안내로.
작업 과정을 기록합니다
글래스로 촬영한 작업 영상과 음성을 모으고, 모바일에서 기록을 확인합니다.
기록을 검토하고 승인합니다
자동으로 정리한 내용은 사람이 확인합니다. 관리자 화면에서 매뉴얼을 검토하고 수정한 뒤, 승인된 내용을 코칭에 사용합니다.
다음 행동을 음성으로 안내합니다
작업 중 화면을 조작하는 부담을 줄이도록 음성으로 다음 단계를 요청하고 안내를 듣는 흐름을 구성했습니다.
하나의 작업 기록,
여러 형태의 지식.
글래스에서 입력한 영상과 음성은 Android 앱을 통해 서버로 전달됩니다. 서버에서 기록을 구조화하고, 검토한 절차 데이터를 문서·교육 영상·학습 코칭에 연결하는 구조입니다.
제약을 구현 기준으로
옮기는 역할.
팀장으로서 기획·개발과 협업을 조율했습니다. 작업 중 조작을 줄이는 방식과 앱·서버·AI 사이의 연결 기준을 정하고, 자동 단계 분리를 구현했습니다.
- 01
자동 단계 분리
매 단계마다 사용자가 명령하지 않아도 기록을 구조화하도록, 음성과 장면 변화를 활용한 자동 단계 분리를 구현했습니다.
- 02
한 문장에 한 동작
화면을 보지 않고도 따라 할 수 있도록 코칭 문장의 기준을 정했습니다. 앱·서버·AI 인터페이스도 함께 정리해 각 기능이 같은 흐름으로 이어지도록 했습니다.
- 03
안내 음성의 사전 생성과 캐시
다음 안내를 기다리느라 작업이 끊기지 않도록, 승인된 매뉴얼의 음성을 미리 생성하고 재사용하는 방식을 정해 팀원과 적용했습니다.
위 항목은 개인 기여입니다. 서비스 화면과 전체 시스템, 발표 디자인은 팀 프로젝트 결과물입니다.
기다림을 줄이고,
실제 환경에서 확인하기.
- 검증 범위
- 8단계
- 서버 평균 응답
- 0.62초
- 목표 응답 시간
- 3초 이내
2026.08.18 서버 코칭 API 검증 기준입니다. 글래스·앱을 포함한 전체 응답 시간과는 구분합니다.
서버 코칭 API 검증에서 다음 단계 안내 요청의 평균 응답 시간은 0.62초로 목표를 충족했습니다. 이 수치는 서버 검증 결과이며, 기기와 앱까지 포함한 사용 경험은 별도로 확인해야 합니다.
객체 탐지 모델도 동일한 라벨링 데이터로 YOLO와 RF-DETR을 학습·평가하고, 실제 글래스 촬영 장면에서 결과를 확인한 뒤 YOLO를 선택했습니다.
WHAT I LEARNED
기능의 완성도는
사용하는 순간의 제약까지 포함합니다.
무엇을 자동화할지뿐 아니라, 어디에서 사람이 확인하고 얼마나 기다려야 하는지를 구체적인 기준으로 정하는 경험이었습니다.
