상상 말고,
내 3D 얼굴
을
원하는 대로.
SSAFY 자율 프로젝트 ·
B204
2025년 전 세계 성형 수술
0
만 건
페인포인트 1
2D 기반
시뮬레이션
써 보고 실제 결정 · 상담에 참고한 사람
7.3
%
에 불과
페인포인트 2
성형외과
방문 부담
“성형외과에 직접 가서
상담받는 게
부담스러웠어요
”
1차 유저 테스트 자유 응답
페인포인트 3
말 · 남의 얼굴로
하는 상담
상담 받아 본 사람 중
71.4
%
원하는 모양을
말로 설명
42.9
%
의사와 ‘같은 그림’을
그린다고 느낀 사람
상상 말고,
내 3D 얼굴
을 원하는 대로.
3D 얼굴 만들기
휴대폰 하나로
내 3D 얼굴
성형 시뮬레이션
원하는 부위를
원하는 만큼
AI 상담실장
AI가
변화 부위
제안
표정 트래킹
내 표정을
그대로
03
라이브 시연
01
기획 배경
02
서비스 소개
03
라이브 시연
04
핵심 기술
05
트러블슈팅
06
아키텍처 · 팀
휴대폰 영상 47초,
어떻게
3D 얼굴
이 될까요?
휴대폰으로
얼굴 한 바퀴 찍기
휴대폰 브라우저
·
음성 안내
·
자이로
46.9
초
1,406프레임
녹화 중
각도마다
가장 선명한 사진
자이로·얼굴 각도 2.5° 칸
·
선명도 점수
91
장
1,406프레임 중 · 흐림 · 눈 감음 제외
카메라 위치와
얼굴 깊이 계산
COLMAP SfM
·
SIFT 특징점
·
사람 분할 마스크
3,962
점
사진 87장이 함께 찾은 얼굴 점
기본 머리를
내 얼굴 모양으로
Google GNM 통계 머리
·
SfM 점
·
얼굴 윤곽 맞춤
17,821
점
모두 같은 구조라 편집 가능
눈꺼풀 · 코 · 턱선은
사진으로 따로
눈꺼풀 접힘선
·
코 옆선·콧구멍 맞춤
·
얼굴·목 경계
3
부위
기본 머리가 못 만드는 부위
사진 색을
3D 피부에 입히기
GPU 텍스처 굽기
·
사람별 헤어라인
·
민머리 피부
2048
2
UV 피부 지도
실제 사진과 겹쳐
닮았는지 확인
찍은 카메라 그대로 3D를 그림
·
실제 사진과 겹쳐 비교
18
장
만들 때 안 쓴 사진으로 채점
녹화
사진 고르기
카메라 · 깊이
머리 맞추기
부위 맞추기
색 입히기
결과 확인
처음부터
이렇게 잘 나왔을까요?
그렇지 않았습니다.
모델링 변천사
PoC 1차
PoC 2차
1차 배포
2차 배포
부딪힌 문제들
그중
핵심 세 가지
측면 깊이 부정확
3D 생성 실패
긴 모델링 시간
평균 얼굴로 채워진 부위
어색한 피부
쌍꺼풀이 사라짐
코가 틀어짐
거북목처럼 쏠린 목
뭉툭한 턱선
두피에 남은 머리카락 색
헤어라인 경계
4K 영상 초점값
흐린 프레임
눈 감은 프레임
기종마다 다른 카메라
자이로 축 방향
텍스처 이음매
동시 접속 대기
표정 트래킹 깨짐
카톡 압축 화질
콧구멍 모양
정면에 몰린 사진
문제 1
측면 깊이
부정확
MediaPipe 랜드마크
고개를 돌릴수록
점이 어긋남
AI가 사진마다 468개 기준점을
새로 짐작해 찍기 때문
그 기준점의 실제 자리
MediaPipe가 찍은 자리
그래서
사진끼리 짝지은 점
을 씀
SIFT
눈꼬리 · 점 · 주름처럼
모양이 또렷한 곳
을 찾아 사진끼리 짝지음
SfM
그 짝으로 카메라 위치와
3D 점
을 계산
SfM 점
고개를 돌려도
같은 자리
여러 사진에서 짝지어진
같은 곳이기 때문
SfM 점
깊이
는
SfM 점
으로
MediaPipe 점은
부위 이름표로만
전 · 코가 사진보다
튀어나옴
후 · 사진 옆선에
맞음
문제 2
잦은 3D
생성 실패
1차 배포 · 55건 중 19건 실패
34.5
%
사람마다 다른
촬영 방식
같은
시간 간격
으로 찍으면
녹화하면서
각도
도 함께 기록
시간이 아니라 각도로 사진을 고르기 위한 방법 추가
각도
로 사진 고르기, 전과 후
실패
시간 간격
정면에 몰리고
옆은 비어 있음
성공
새 각도 칸
옆모습까지
고르게
각도로 사진 고르기
결과
3D 생성 실패율
34.5%
9.3
%
문제 3
긴 모델링
시간
PoC · 3D 1건 만드는 데
13
분
37
초
원인 1
피부 지도
약 400만 칸
마다
사진 수십 장의 색을 섞는
같은 계산
을 반복
그래서
GPU
로: 칸마다 같은 계산을 한꺼번에
원인 2
사진 수십 장마다 따로 하는 계산을
한 장씩 차례로
돌려
나머지 코어는 놀고 있었음
전 · 코어 8개 중
1개만
사용
그래서 코어
8개 모두
사용
원인 3
PoC에서
확인하려고 만든 계산
이
서비스에도
그대로 남아
매번 돌고 있었음
그래서
필요한 계산만
남김
사진 맞춤
후보 형상 평가
부위 맞춤
눈 색 측정
텍스처
확인용 회색 그림
사진 맞춤
부위 맞춤
텍스처
3D 얼굴이 나오기까지
영상을 올리고 완성될 때까지
13분 37초
3
분
24
초
캠퍼스 내,
부스 운영
을 통한
유저 테스트
실시
내 얼굴과 얼마나 닮았나요?
1·2차 유저 테스트 · 10점 만점
6.36
8.11
피부가 어색한가요?
1·2차 유저 테스트 · 어색하다고 답한 사람
63.6%
15.8
%
06
아키텍처 · 팀
01
기획 배경
02
서비스 소개
03
라이브 시연
04
핵심 기술
05
트러블슈팅
06
아키텍처 · 팀
시스템 아키텍처
Preface 시스템 아키텍처
사용자 요청은 Caddy를 거쳐 Spring API로 가고, API가 3D 작업을 Redis 리스트에 넣는다. GPU 워커는 API에 작업을 요청해 받아 3D를 만들고 결과를 Amazon S3에 저장한다. 운영 서버는 EC2.
운영 서버 · EC2
워커 서버 · GPU
넣기 · 꺼내기
작업 요청
OAuth
되돌림
검증
저장
카카오 · 구글
로그인
GMS
AI 상담
Amazon S3
결과 파일
사용자
휴대폰 브라우저
Caddy
프록시
Spring API
요청 처리
MySQL
작업 · 회원
GPU Worker
3D 만들기
Next.js
웹 화면
Redis 리스트
작업 대기
Job Manager
멈춘 작업 복구
Edit Validator
편집 검증
Frame Extractor
사진 뽑기
팀원 소개
양은하
팀장 · FE · QA
나주원
INFRA · QA
오민근
BE · 발표
고우정
AI · 3D
김채원
AI · 3D
김민서
AI · 3D
박민규
AI · 챗봇
상상 말고,
내 3D 얼굴
을 원하는 대로.
상상 말고,
내 3D 얼굴
을 원하는 대로.
Q&A