프로젝트 제목

Moodify : SNS 맞춤형 멀티모달 BGM 추천 프로젝트

(0) 실행 방법

• 백엔드

  python -m venv venv  
  ./venv\Scripts\activate (window ver.)  
  pip install -r requirements.txt  
  cd model  
  py app.py  
  

• 프론트엔드

  npm install  
  npm start  
  

(1) 프로젝트 소개

팀원

<인공지능 연합동아리 프로메테우스 15팀>
김형선 (Team Leader)
김지수 (AI Model Engineer)
이강룡 (Full-Stack Developer)
최윤서 (Designer)

개발 기간

24.09.09 - 25.02.05

개요

사용자가 업로드한 SNS 게시물의 사용된 멀티모달 데이터를 종합적으로 감정분석하여 BGM을 추천하는 시스템

목표

1. 멀티모달 모델을 활용한 다양한 멀티모달 데이터의 감정 분석 기술 구현

• SNS 게시글의 텍스트, 사진, 오디오, 비디오 데이터를 통합적으로 분석하여 감정을 정확히 분류할 수 있는 멀티모달 감정 분석 시스템을 개발
• clip 모델을 감정 분류에 적용해 성능을 향상

2. 사용자 경험을 향상시키는 맞춤형 BGM 추천 시스템 구축

• 감정 분석 결과에 기반해 사용자의 감정에 어울리는 BGM을 추천하여, 보다 개인화된 사용자 경험을 제공.
• 사용자의 감정 상태와 연관된 음악 데이터베이스를 효율적으로 매칭하는 알고리즘을 개발

3. 멀티모달 데이터 처리 및 통합 학습 경험

• 텍스트, 이미지, 오디오, 비디오 데이터를 개별적으로 처리하고 이를 통합적으로 학습시키는 과정을 통해 멀티모달 데이터 처리 역량 강화
• 멀티모달 데이터를 활용한 크로스모달 학습과 최적화를 경험

4. 음악 추천 시스템의 혁신적 활용 사례 제시

• 단순 음악 추천을 넘어, 사용자의 감정에 기반한 새로운 추천 패러다임 제시
• 실제 데모데이에서 사용자 피드백을 통해 감정 기반 음악 추천의 유용성을 검증

5. 팀워크 및 협업 능력 강화

• 백엔드, 프론트엔드, 데이터 분석, 모델링 등 각자의 역할을 분담/협력하며, 효율적인 팀워크 경험.
• Git과 Jira 활용한 협업 환경에서 코드와 일정을 추적/관리하고, 효과적인 프로젝트 개발 프로세스 구축

6. 실제 적용 가능한 프로토타입 완성

• 감정 분석과 BGM 추천이 가능한 웹 애플리케이션 형태의 프로토타입을 개발하여, 실질적인 사용자 경험을 제공할 수 있는 데모 완성.
• 학술적인 기술을 실용적인 솔루션으로 전환하는 경험 축적.

(2) 기술 스택

(3) 데이터 수집

Video Dataset

• 멀티모달 영상 데이터셋(Action)
  https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=58

Image Dataset

• 구글 감정에 관련된 검색어를 바탕으로 한 이미지 크롤링 데이터

Text Dataset

• 한국어 감정 정보가 포함된 단발성 대화 데이터셋
  https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=270

(4) 프로젝트 진행 과정

<노션 링크>
https://www.notion.so/ai-prometheus/15-Moodify-31c010a861d74eb1b18c2677c9c87a65