🎭 Latent Space-Based Facial Expression Reconstruction and Editing using VAE and GAN: VAE와 GAN을 활용한 얼굴 표정 복원 및 잠재 공간 기반 표정 변화

Background & Problem Definition

본 프로젝트는 Variational Autoencoder(VAE)와 Generative Adversarial Network(GAN)를 활용하여, 기존 이미지 편집 도구로는 다루기 어려운 얼굴 표정을 자연스럽게 복원하고 생성하는 것을 목표로 하였습니다. 일반적인 이미지 편집 도구는 피부 톤 보정, 잡티 제거, 밝기 및 색감 조절과 같이 픽셀 수준에서 비교적 규칙적으로 정의되는 이미지 수정에는 강점을 보이지만, 웃음이나 찡그림처럼 얼굴 근육의 움직임과 감정적 의미가 동시에 반영되는 표정을 자연스럽게 조작하는 데에는 한계가 있습니다. 예를 들어 피부 톤이나 잡티는 간단한 보정으로 개선할 수 있지만, “자연스럽게 웃는 표정으로 변경하기” 또는 “찡그린 표정을 부드럽게 복원하기”와 같은 작업은 단순한 필터 적용만으로 해결하기 어렵습니다. 이는 얼굴 표정이 단순한 텍스처 변화가 아니라 눈가, 입꼬리, 볼의 형태 등 여러 얼굴 부위의 상호작용을 포함하며, 그 변화가 연속적이고 복잡한 구조를 가지기 때문입니다. 따라서 본 프로젝트에서는 얼굴 이미지를 확률적 잠재 공간으로 표현하고, 해당 공간에서 표정의 변화를 조절하거나 복원할 수 있는 생성 모델을 설계함으로써, 표정 조작 가능성과 결과 이미지의 현실감을 동시에 달성하고자 하였습니다.

---

Objective

본 프로젝트는 다음과 같은 목표를 가지고 진행하였습니다. 먼저 얼굴 이미지로부터 표정 정보를 포함하는 잠재 표현(latent representation)을 학습하여, 표정이 변화하더라도 얼굴의 전체 구조와 정체성이 크게 훼손되지 않도록 하고자 하였습니다. 다음으로 학습된 잠재 표현을 이용하여 입력 이미지의 표정을 자연스럽게 복원하거나 변형할 수 있도록 하였습니다. 마지막으로 VAE와 GAN을 결합하여, 잠재 공간에서의 의미적 조작 가능성과 생성 결과의 시각적 현실감을 동시에 향상시키는 것을 목표로 하였습니다.

---

Dataset

본 프로젝트에서는 Kaggle에서 제공하는 FER-2013 얼굴 표정 이미지 데이터셋을 사용하였습니다. 해당 데이터셋은 다양한 인종과 성별의 얼굴 이미지를 포함하고 있으며, 실제 환경에서 촬영된 저해상도 얼굴 이미지를 기반으로 구성되어 있어 표정 인식 및 생성 모델을 실험하기에 적합한 데이터셋입니다. FER-2013 데이터셋은 총 7개의 표정 클래스로 구성되어 있으며, 각 이미지는 angry, disgust, fear, happy, neutral, sad, surprise 중 하나의 표정 레이블을 가지고 있습니다. 이러한 다양한 표정 범주는 모델이 단일 표정에 치우치지 않고, 얼굴 근육 변화와 감정 표현의 폭넓은 변형을 학습할 수 있도록 도와줍니다.

---

Preprocessing

본 프로젝트에서는 kaggle의 FER-2013 데이터셋을 사용하여 생성 모델 학습에 적합하도록 전처리를 수행하였습니다. 데이터셋은 이미 얼굴 영역이 포함된 흑백 이미지로 구성되어 있으므로 별도의 얼굴 검출 과정은 적용하지 않았으며, 모든 이미지를 48×48 해상도로 리사이즈하여 입력 크기를 통일하였습니다. 데이터 로딩 과정에서 채널 수의 불일치를 방지하기 위해 모든 이미지를 단일 채널 grayscale 형태로 변환하였고, PyTorch Tensor로 변환한 뒤 픽셀 값을 평균 0.5, 표준편차 0.5로 정규화하여 [-1, 1] 범위로 스케일링하였습니다. 학습 및 평가를 위해 FER-2013 데이터셋에서 제공하는 train 및 test 분할을 그대로 사용하였습니다.

---

Model Architecture & Training

본 프로젝트에서는 VAE, GAN, 그리고 VAE와 GAN을 결합한 구조를 구현하고 비교하였습니다. VAE는 표정 변화와 같은 연속적인 변형을 잠재 공간에서 부드럽게 표현하는 데 강점이 있으며, GAN은 생성 이미지의 선명도와 현실감을 향상시키는 데 강점이 있습니다. 따라서 두 모델을 각각 학습해 비교하고, 결합 모델에서 두 장점을 동시에 얻을 수 있는지 확인하는 방식으로 진행하였습니다.

---

1. Variational Autoencoder (VAE)

모델 선택 배경 및 역할

얼굴 표정 변화는 단순한 픽셀 값의 변화가 아니라, 눈, 입, 볼과 같은 얼굴 부위의 형태가 연속적으로 변화하며 감정적 의미를 반영하는 고차원적인 문제입니다. 따라서 본 프로젝트에서는 이러한 표정 변화를 연속적이고 해석 가능한 방식으로 다룰 수 있는 생성 모델이 필요하다고 판단하였으며, 그에 따라 Variational Autoencoder(VAE)를 기본 모델로 선택하였습니다.

VAE는 입력 이미지를 하나의 고정된 벡터로 압축하는 대신, 평균과 분산을 가지는 확률 분포로 인코딩합니다. 이로 인해 잠재 공간이 연속적이고 부드럽게 구성되며, 서로 다른 표정 간의 보간(interpolation)이나 방향 벡터를 통한 표정 편집과 같은 작업이 자연스럽게 가능합니다. 이러한 특성은 본 프로젝트에서 수행한 latent space 기반 표정 편집의 핵심적인 기반이 됩니다.

모델 구조

본 프로젝트에서 사용한 VAE는 CNN 기반의 Encoder–Decoder 구조로 구성되어 있습니다. Encoder는 입력 얼굴 이미지를 받아 잠재 변수의 평균(μ)과 로그 분산(log σ²)을 출력하며, 이는 얼굴 이미지가 따르는 확률 분포를 의미합니다. 이후 reparameterization trick을 사용하여 해당 분포로부터 잠재 변수 z를 샘플링함으로써, 역전파가 가능하도록 설계하였습니다.

Decoder는 샘플링된 잠재 변수 z를 입력으로 받아 CNN 기반의 업샘플링 과정을 거쳐 원본 이미지와 동일한 크기의 얼굴 이미지를 복원합니다. 이 구조를 통해 모델은 얼굴 이미지를 효율적으로 압축·복원하는 동시에, 잠재 공간이 특정 분포를 따르도록 학습됩니다. 결과적으로 잠재 공간은 표정 변화와 같은 의미적 변형을 수행하기에 적합한 형태로 정돈됩니다.

손실 함수 설계

VAE 학습에는 두 가지 손실 항이 사용되며, 이는 코드에서 vae_loss 함수로 구현되어 있습니다.

첫 번째 항은 Reconstruction Loss로, 복원된 이미지와 원본 이미지 간의 차이를 최소화하는 역할을 합니다. 본 프로젝트에서는 픽셀 단위 차이를 측정하기 위해 Mean Squared Error(MSE)를 사용하였습니다. 이 항은 얼굴의 전반적인 구조와 표정이 입력 이미지와 유사하게 유지되도록 유도합니다. 두 번째 항은 KL Divergence로, Encoder가 출력하는 잠재 분포가 표준 정규분포에 가까워지도록 제약을 가합니다. 이를 통해 잠재 공간이 과도하게 흩어지지 않고, 연속적이며 구조적인 형태를 유지하도록 합니다. 본 프로젝트에서는 두 손실 항의 균형을 조절하기 위해 β 계수를 적용하였으며, β 값을 0.01로 설정하여 복원 품질을 우선적으로 유지하면서도 잠재 공간의 정규화를 유도하였습니다.

최종적으로 사용된 손실 함수는 다음과 같은 형태를 가집니다.

Total Loss = Reconstruction Loss + β × KL Divergence

학습 및 학습 결과

VAE는 FER-2013 데이터셋의 학습 데이터를 사용하여 총 30 epoch 동안 학습되었으며, 최적화 알고리즘으로는 Adam 옵티마이저를 사용하였습니다. 학습 과정에서는 매 epoch마다 전체 손실, 복원 손실, KL 손실을 각각 추적하여 모델이 안정적으로 수렴하는지를 확인하였습니다. 학습이 완료된 후에는 추후 표정 편집 및 GAN 결합 실험에 활용하기 위해 학습된 VAE 모델의 파라미터를 파일로 저장하였습니다.

VAE 학습 과정에서 전체 손실은 초기 약 0.10 수준에서 시작하여 30 epoch 이후 약 0.046까지 점진적으로 감소하며 안정적으로 수렴하는 모습을 보였습니다. 특히 Reconstruction Loss는 약 0.09에서 약 0.03 수준까지 지속적으로 감소하였습니다. 반면 KL Divergence는 학습 초반 증가한 이후 약 1.3 내외에서 안정적으로 유지되어, 잠재 공간이 과도하게 붕괴되지 않고 구조적으로 정규화되었음을 시사합니다.

---

2. VAE + GAN

결합 배경 및 목적

앞서 설명한 VAE는 잠재 공간이 연속적이고 구조적으로 정돈되어 있어 표정 보간이나 잠재 공간 조작과 같은 의미적 편집에 매우 적합한 모델입니다. 그러나 평균적인 복원 결과를 생성하는 경향이 있어, 복원 이미지가 다소 흐릿하게 나타나는 한계가 존재합니다. 반면 GAN은 실제 이미지와 구별하기 어려운 선명한 결과를 생성하는 데 강점을 가지지만, 잠재 공간의 해석 가능성이나 표정 방향 벡터와 같은 의미적 조작을 직접적으로 제공하지는 않습니다. 이에 따라 본 프로젝트에서는 표정의 의미적 조작은 VAE가, 시각적 개선은 GAN이 담당하도록 하였습니다. 이를 통해 표정 변화의 연속성과 해석 가능성은 유지하면서도, 최종 생성 결과를 보완하는 것을 목표로 하였습니다.

모델 구조

VAE + GAN 결합 모델에서는 사전에 학습된 VAE를 기반으로 하여, VAE의 Encoder와 Decoder를 표정 표현 학습 및 복원의 핵심 모듈로 사용합니다. 먼저 VAE는 FER-2013 데이터셋을 이용해 단독으로 학습되며, 이 과정에서 얼굴 이미지의 구조와 표정 정보가 잠재 공간에 안정적으로 표현됩니다. 이후 VAE + GAN 학습 단계에서는 VAE의 파라미터를 고정(freeze)하고, VAE가 생성한 복원 이미지를 입력으로 받아 이를 개선하는 Generator와 Discriminator를 학습합니다. 즉, GAN은 원본 이미지를 직접 생성하는 것이 아니라, VAE의 복원 결과를 입력으로 받아 보다 실제 이미지처럼 보이도록 정제하는 역할을 수행합니다.

학습 및 손실 함수 구성

학습 과정에서 VAE는 고정된 상태로 유지되며, 각 입력 이미지에 대해 VAE Encoder를 통해 잠재 변수의 평균을 추출하고, Decoder를 통해 초기 복원 이미지(VAE output)를 생성합니다. 이후 Discriminator는 실제 이미지와 VAE 복원 이미지를 구분하도록 학습되며, 이를 통해 Generator가 생성하는 결과가 실제 이미지 분포에 더 가까워지도록 유도합니다.

Generator는 두 가지 손실 항을 동시에 최소화하도록 학습됩니다. 첫째는 Adversarial Loss로, Discriminator를 속여 생성 결과가 실제 이미지로 판별되도록 만드는 역할을 합니다. 둘째는 L1 Loss로, Generator의 출력 이미지가 원본 이미지와 과도하게 달라지지 않도록 제약을 가합니다. 본 프로젝트에서는 L1 Loss의 가중치로 비교적 큰 값(λ = 100)을 사용하여, 시각적 선명도 향상과 동시에 얼굴 구조 및 표정의 안정적인 보존을 유도하였습니다.

Discriminator는 실제 이미지와 VAE 복원 이미지를 각각 실제(real)와 가짜(fake)로 구분하도록 학습되며, Generator는 이러한 Discriminator를 속이면서도 원본 이미지와의 픽셀 단위 차이를 최소화하도록 학습됩니다. 이와 같은 학습 구조를 통해 GAN은 표정의 의미를 변경하지 않고, VAE가 생성한 결과를 보다 자연스럽고 일관된 질감으로 개선하는 역할을 수행합니다.

---

Result

MSE

다음 표는 테스트 데이터에 대해 원본 이미지와 복원 이미지 간의 Mean Squared Error(MSE) 를 비교한 결과입니다. MSE는 픽셀 단위에서 복원 결과가 원본 이미지와 얼마나 차이가 나는지를 나타내는 지표로, 값이 작을수록 재구성 성능이 높음을 의미합니다.

Model	Reconstruction MSE
VAE	79.859829
VAE + GAN	85.155731

Visualization

모델이 학습한 얼굴 표현과 표정 조작 결과를 직관적으로 확인하기 위해, 복원 결과와 표정 변화 결과를 시각화하였습니다.

Reconstruction

위 그림은 동일한 입력 이미지에 대해 각 모델의 복원 결과를 비교한 결과입니다. 첫 번째 행은 원본 이미지(original image)를 나타내며, 두 번째 행은 VAE를 통해 복원된 결과입니다. 세 번째 행은 VAE의 복원 결과를 GAN을 통해 추가적으로 정제한 VAE + GAN의 출력 결과를 보여줍니다.

Change of Expression

위 그림은 잠재 공간에서 표정 방향 벡터를 따라 이동시키며 표정 변화를 생성한 결과를 나타냅니다한 표정 변화 결과이며, 두 번째 행은 동일한 잠재 편집 결과에 GAN을 적용한 VAE + GAN의 결과입니다. α는 표정 방향 벡터의 크기를 조절하는 계수로, 값의 절대값이 커질수록 표정 변화의 강도가 증가함을 의미합니다. α가 0일 경우에는 원본 이미지의 잠재 표현이 그대로 사용되며, 양의 α 값은 목표 표정 방향으로의 변화를 강화하고, 음의 α 값은 반대 방향의 표정 변화를 유도합니다. 잠재 공간에서의 선형 이동만으로 표정 변화를 생성할 수 있음을 보여줍니다.

Conclusion

본 프로젝트에서는 Variational Autoencoder(VAE)와 VAE + GAN 결합 모델을 활용하여 얼굴 표정 복원 및 표정 편집 가능성을 실험하였습니다. 실험 결과, VAE는 얼굴의 전반적인 구조와 표정 정보를 안정적으로 잠재 공간에 학습하였으며, 잠재 공간에서의 선형 이동을 통해 표정이 점진적으로 변화하는 모습을 확인할 수 있었습니다. 이를 통해 VAE가 표정과 같은 의미 정보를 연속적이고 구조적인 방식으로 표현하고 있음을 확인하였습니다.

반면, VAE + GAN 결합 모델의 경우 시각적 품질 개선을 기대하였으나, MSE 기준에서는 VAE 단독 모델보다 오히려 성능이 저하되는 결과가 나타났습니다. 이는 GAN이 픽셀 단위의 재구성 오차를 최소화하는 데 목적이 있는 모델이 아니라, 시각적으로 자연스러운 질감과 분포를 학습하는 데 초점을 두고 있기 때문으로 해석할 수 있습니다. 실제로 GAN을 적용한 결과에서 시각적으로 큰 선명도 향상이 나타나지는 않았으며, 일부 경우에는 노이즈가 추가된 듯한 결과도 관찰되었습니다. GAN은 입력으로 제공된 복원 결과의 품질에 크게 의존하므로, VAE 단계에서 충분한 정보가 보존되지 않은 경우 GAN의 효과가 제한적으로 나타날 수 있습니다.

Limitation & Future Work

Limitations

본 프로젝트에는 다음과 같은 한계점이 존재합니다.

첫째, 사용한 FER-2013 데이터셋의 해상도가 48×48로 매우 낮다는 점입니다. 원본 이미지 자체가 저화질이며, 얼굴의 세부적인 표정 변화나 고주파 정보가 충분히 포함되어 있지 않습니다. 이러한 특성으로 인해 VAE의 복원 단계에서 이미지가 전반적으로 흐릿해지는 경향이 나타났으며, 이후 GAN을 적용하더라도 크게 개선하는 데에는 한계가 있었습니다.

둘째, 표정 변화의 정도에 따라 편집 결과의 차이가 크게 나타났습니다. 위에서 제시한 happy → neutral과 같은 경우에는 표정 변화가 비교적 뚜렷하게 관찰되었으나, sad → angry와 같이 표정 간 차이가 상대적으로 미묘한 경우에는 변화가 명확하게 드러나지 않았습니다. 실제 이미지들을 확인한 결과, FER-2013 데이터셋 내 일부 표정 클래스는 표정 자체가 강하게 표현되어 있지 않아, 잠재 공간에서의 선형 이동만으로는 의미 있는 표정 변화를 생성하기 어려운 경우가 존재하였습니다.

셋째, 표정 편집이 잠재 공간에서의 단순한 선형 이동에 기반하고 있다는 점 또한 한계로 볼 수 있습니다. 잠재 공간이 연속적이라는 장점은 있으나, 모든 표정 변화가 하나의 선형 방향으로 잘 표현된다고 가정하기는 어렵습니다. 이로 인해 α 값이 커질수록 표정 변화가 과도해지거나 얼굴 구조가 왜곡되는 현상이 일부 관찰되었습니다.

Future Work

향후 연구에서는 다음과 같은 방향으로 본 프로젝트를 확장할 수 있을 것입니다.

단순한 픽셀 기반 손실 함수(MSE, L1 loss) 외에 perceptual loss나 feature-based loss를 도입한다면, GAN의 장점을 보다 효과적으로 반영할 수 있을 것입니다. 이러한 손실 함수는 사전 학습된 네트워크의 중간 특징 공간에서 이미지 간 차이를 측정하므로, 인간의 시각적 인식과 보다 잘 부합하는 평가 기준을 제공할 수 있습니다. 이를 통해 픽셀 단위 오차는 다소 증가하더라도, 시각적으로 자연스러운 결과를 생성하는 방향으로 모델을 유도할 수 있을 것으로 기대됩니다. 또한 표정 편집 방식 측면에서는 단일 방향 벡터를 사용하는 방식에서 나아가, 조건부 생성 모델을 도입하는 것도 하나의 확장 방향이 될 수 있습니다. 예를 들어 conditional GAN이나 conditional VAE와 같이 표정 레이블을 조건으로 사용하는 모델을 활용한다면, 특정 표정으로의 변환을 보다 명확하게 제어할 수 있을 것입니다. 이러한 방식은 표정 간 차이가 미묘한 경우에도 모델이 목표 표정을 보다 분명하게 학습하도록 도와줄 수 있습니다. GAN 기반 접근법 외에도 다양한 생성 모델을 활용한 개선 가능성이 존재합니다. 예를 들어, attention 메커니즘을 활용하여 얼굴의 특정 부위(눈, 입 등)에 집중하도록 설계하거나, autoencoder 구조에 residual connection을 추가하여 복원 품질을 향상시키는 방법도 고려할 수 있습니다. 이러한 접근법은 모델의 복잡도를 과도하게 증가시키지 않으면서도 복원 성능을 개선하는 대안이 될 수 있습니다. 마지막으로 diffusion 모델과 같은 최신 생성 모델은 점전적인 노이즈 제거를 통해 고품질 이미지를 생성하는데 강점을 가지므로, diffusion과 같은 모델도 활용하여 비교 실험을 해보는 것도 의미가 있다고 생각합니다.

---