상상 말고,
내 3D 얼굴을
원하는 대로.
SSAFY 자율 프로젝트 · B204
2025년 전 세계 성형 수술
0만 건
정면 사진을 자연스럽게 보정하는 손에 든 휴대폰 · 가상 인물로 연출한 상황 예시
페인포인트 1
2D 기반
시뮬레이션
써 보고 실제 결정 · 상담에 참고한 사람
7.3%에 불과
침대에서 여러 후기를 찾아보는 사람 · 가상 인물로 연출한 상황 예시
페인포인트 2
성형외과
방문 부담
“성형외과에 직접 가서
상담받는 게 부담스러웠어요”
1차 유저 테스트 자유 응답
참고 사진을 번갈아 보며 원하는 부위를 가리키는 상담 장면 · 가상 인물로 연출한 상황 예시
페인포인트 3
말 · 남의 얼굴로
하는 상담
상담 받아 본 사람 중
71.4%
원하는 모양을
말로 설명
42.9%
의사와 ‘같은 그림’을
그린다고 느낀 사람
상상 말고, 내 3D 얼굴을 원하는 대로.
3D 얼굴 만들기
휴대폰 하나로
내 3D 얼굴
휴대폰을 옆으로 옮기며 얼굴을 담는 동작 실제 촬영 화면
성형 시뮬레이션
원하는 부위를
원하는 만큼
실제 편집 화면의 3D 모델
실제 조절 카드
AI 상담실장
AI가
변화 부위 제안
실제 편집 화면의 3D 모델
실제 AI 상담 카드
표정 트래킹
내 표정을
그대로
내 3D 얼굴이 미소·놀람·찡그림·볼 부풀리기를 따라 하는 모습
03
라이브 시연
  1. 01기획 배경
  2. 02서비스 소개
  3. 03라이브 시연
  4. 04핵심 기술
  5. 05트러블슈팅
  6. 06아키텍처 · 팀
휴대폰 영상 47초,
어떻게 3D 얼굴이 될까요?
휴대폰으로
얼굴 한 바퀴 찍기
휴대폰 브라우저 · 음성 안내 · 자이로
46.9초
1,406프레임
녹화 중
각도마다
가장 선명한 사진
자이로·얼굴 각도 2.5° 칸 · 선명도 점수
91장
1,406프레임 중 · 흐림 · 눈 감음 제외
카메라 위치와
얼굴 깊이 계산
COLMAP SfM · SIFT 특징점 · 사람 분할 마스크
3,962점
사진 87장이 함께 찾은 얼굴 점
기본 머리를
내 얼굴 모양으로
Google GNM 통계 머리 · SfM 점 · 얼굴 윤곽 맞춤
17,821점
모두 같은 구조라 편집 가능
눈꺼풀 · 코 · 턱선은
사진으로 따로
눈꺼풀 접힘선 · 코 옆선·콧구멍 맞춤 · 얼굴·목 경계
3부위
기본 머리가 못 만드는 부위
사진 색을
3D 피부에 입히기
GPU 텍스처 굽기 · 사람별 헤어라인 · 민머리 피부
20482
UV 피부 지도
실제 사진과 겹쳐
닮았는지 확인
찍은 카메라 그대로 3D를 그림 · 실제 사진과 겹쳐 비교
18장
만들 때 안 쓴 사진으로 채점
녹화
사진 고르기
카메라 · 깊이
머리 맞추기
부위 맞추기
색 입히기
결과 확인
처음부터
이렇게 잘 나왔을까요?
그렇지 않았습니다.
모델링 변천사
PoC 1차
PoC 2차
1차 배포
2차 배포
부딪힌 문제들
그중 핵심 세 가지
측면 깊이 부정확3D 생성 실패긴 모델링 시간평균 얼굴로 채워진 부위어색한 피부쌍꺼풀이 사라짐코가 틀어짐거북목처럼 쏠린 목뭉툭한 턱선두피에 남은 머리카락 색헤어라인 경계4K 영상 초점값흐린 프레임눈 감은 프레임기종마다 다른 카메라자이로 축 방향텍스처 이음매동시 접속 대기표정 트래킹 깨짐카톡 압축 화질콧구멍 모양정면에 몰린 사진
문제 1
측면 깊이
부정확
MediaPipe 랜드마크
고개를 돌릴수록
점이 어긋남
AI가 사진마다 468개 기준점을
새로 짐작해 찍기 때문
그 기준점의 실제 자리
MediaPipe가 찍은 자리
그래서 사진끼리 짝지은 점을 씀
SIFT눈꼬리 · 점 · 주름처럼 모양이 또렷한 곳을 찾아 사진끼리 짝지음
SfM그 짝으로 카메라 위치와 3D 점을 계산
세 각도 사진에서 짝지어진 점
SfM 점
고개를 돌려도
같은 자리
여러 사진에서 짝지어진
같은 곳이기 때문
SfM 점
깊이는
SfM 점으로
MediaPipe 점은
부위 이름표로만
후 · 사진 옆선에 맞음
문제 2
잦은 3D
생성 실패
1차 배포 · 55건 중 19건 실패
34.5%
사람마다 다른
촬영 방식
같은 시간 간격으로 찍으면
녹화하면서 각도도 함께 기록
시간이 아니라 각도로 사진을 고르기 위한 방법 추가
각도로 사진 고르기, 전과 후
실패
시간 간격
정면에 몰리고
옆은 비어 있음
성공
새 각도 칸
옆모습까지
고르게
각도로 사진 고르기 결과
3D 생성 실패율
34.5%
9.3%
문제 3
긴 모델링
시간
PoC · 3D 1건 만드는 데
13분 37초
원인 1
피부 지도 약 400만 칸마다
사진 수십 장의 색을 섞는
같은 계산을 반복
그래서 GPU로: 칸마다 같은 계산을 한꺼번에
원인 2
사진 수십 장마다 따로 하는 계산을
한 장씩 차례로 돌려
나머지 코어는 놀고 있었음
전 · 코어 8개 중 1개만 사용
그래서 코어 8개 모두 사용
원인 3
PoC에서 확인하려고 만든 계산이
서비스에도 그대로 남아 매번 돌고 있었음
그래서 필요한 계산만 남김
사진 맞춤후보 형상 평가부위 맞춤눈 색 측정텍스처확인용 회색 그림
사진 맞춤부위 맞춤텍스처
3D 얼굴이 나오기까지
영상을 올리고 완성될 때까지
13분 37초
3분 24초
캠퍼스 내, 부스 운영을 통한
유저 테스트 실시
내 얼굴과 얼마나 닮았나요?
1·2차 유저 테스트 · 10점 만점
6.36
8.11
피부가 어색한가요?
1·2차 유저 테스트 · 어색하다고 답한 사람
63.6%
15.8%
06
아키텍처 · 팀
  1. 01기획 배경
  2. 02서비스 소개
  3. 03라이브 시연
  4. 04핵심 기술
  5. 05트러블슈팅
  6. 06아키텍처 · 팀
시스템 아키텍처
Preface 시스템 아키텍처 사용자 요청은 Caddy를 거쳐 Spring API로 가고, API가 3D 작업을 Redis 리스트에 넣는다. GPU 워커는 API에 작업을 요청해 받아 3D를 만들고 결과를 Amazon S3에 저장한다. 운영 서버는 EC2. 운영 서버 · EC2 워커 서버 · GPU 넣기 · 꺼내기 작업 요청 OAuth 되돌림 검증 저장 카카오 · 구글로그인 GMSAI 상담 Amazon S3결과 파일 사용자휴대폰 브라우저 Caddy프록시 Spring API요청 처리 MySQL작업 · 회원 GPU Worker3D 만들기 Next.js웹 화면 Redis 리스트작업 대기 Job Manager멈춘 작업 복구 Edit Validator편집 검증 Frame Extractor사진 뽑기
팀원 소개
양은하
팀장 · FE · QA
나주원
INFRA · QA
오민근
BE · 발표
고우정
AI · 3D
김채원
AI · 3D
김민서
AI · 3D
박민규
AI · 챗봇
상상 말고,
내 3D 얼굴을 원하는 대로.
상상 말고,
내 3D 얼굴을 원하는 대로.
Q&A