[AI➡️Unity,Server] 대본 생성 기능 의견 제의

[yechan-9208]

카테고리

코드 관련

전달 사항

안녕하세요 저희가 원래 기획에는 대본 파트가 있었지만
저번에 다같이 모여서 회의를 할 때 대본을 추가하는 부분에서 문제점이 많을 것 같아서 뺀 걸로 알고 있습니다.

AI 측에서 대본 기능 관련해 저희가 처리할 수 있다고 판단하여 테스트를 진행 하였습니다.
생각보다 결과가 괜찮게 나와서 영상을 만들때 크리에이터 툴에서 설정하는 부분 없이
후 처리로 대본 생성해보면 어떨까 생각되어 작성하게 되었습니다.

AI 대본 생성 결과

영어 자막

123_en.mp4

123_en.mp4

한글자막

123_kr.mp4

123_kr.mp4

기술 플로우

제가 생각했던 자막 생성 플로우는 아래와 같습니다.

영상 저장

[기존 플로우]

• Unity에서 영상생성 -> 서버에서 영상 저장

[자막 추가 시 변경되는 플로우]

• Unity에서 영상 생성 -> 서버 영상 서빙 -> AI에서 한글자막,영어자막 영상 생성 -> 서버에 한글자막,영어자막 영상 저장

영상 시청

[기존 플로우]

• Unity에서 영상 시청 요청 -> 서버에서 영상 보내줌

[자막 추가 시 변경되는 플로우]

• Unity에서 영상 시청 요청, 원하는 언어 선택 -> 서버에서 선택된 언어 자막 영상보내줌

이때, Unity에서 원하는 언어 선택은 크리에이터 툴에서 설정에 있는 채팅 번역 설정과 같습니다.

문제점

• API 한계
  AI에서 자막을 생성할 때 영상의 음성을 영어로 번역해서 자막 생성 합니다.
  한국 자막을 달기 위해서는 영어로 번역된 자막을 다시 한국어 번역을 통해야 하므로
  영상 오디오와 한국 자막이 완벽히 일치하지 않는 문제가 있습니다.

위 내용 보고 각 전공에서 가능한지 의견 말해주시면 감사하겠습니다!

요청 사항

• Unity
• Server

첨부 코드

code

[hhkim331]

api로 보내는 자막의 데이터 구조가 어떻게 되나요?

[yechan-9208]

자막 추가된 동영상은 mp4입니다. AI에서 자막과 동영상을 합쳐서 다시 서버에 주는 방식으로 이루어집니다.

위 작업 플로우로 진행할 시 Unity에서 처리해야 하는 부분은 "플랫폼"(수정됨)에서 영상 보러가기를 누를 때 [설정에서 선택한 언어]를 서버에 보내주면 됩니다.

• 이전에 댓글을 작성할때 "플랫폼" 부분을 크리에이터 툴 이라고 작성해 의사소통에 착오가 있어서 수정하였습니다.

[silverpoodle]

영상이 생성되는데 시간이 얼마나 걸리나요?

[yechan-9208]

영상길이 x 2 입니다.

1분짜리 영상이면 2분 정도 걸려요

[yechan-9208]

영상이 한국자막, 영어자막 두 버전으로 나누어지면
두 영상의 좋아요를 일치 시키는데 많이 복잡한 작업이 될까요?

[JCURVEs]

플랫폼 영상 보는 부분에서 처리해야하는 작업은 어떤 것이 있을까요?

[yechan-9208]

크리에이터 툴은 기존과 동일한 방식으로 진행해주시고

플랫폼에서는 영상 보러 가기를 누를 때 [설정에서 선택된 언어]를 서버에 보내주면 됩니다.

즉, 플랫폼에서 [설정에서 선택된 언어]는 채팅 번역 언어, 자막 언어 선택 개념이 됩니다.

[yechan-9208]

제 생각에는
영상 보러 가기를 누를 때 [설정에서 선택된 언어]를 서버에 보내주면, 서버에서는 해당 언어 버전 자막 영상만을 플랫폼에 전달하므로
영상 보는 부분에 들어갔을 때는 플랫폼에서 처리할 작업은 없다고 생각됩니다.

[numerical43]

예찬님 말씀대로면 요청 보내실때 '설정된 언어'를 보내주셔야하는데, 그렇게되면 영상보는 부분 진입할 때 서버로 보내는 요청이 달라질거에요. 그리고 전체 리스트 조회할 때도 한글자막/영어자막 영상을 전부 보여줄수는 없으니까 그때도 요청을 다르게 보내셔야 할 것 같습니다. 그게 아니면 서버에서 한글자막/영어자막 url을 전부 보내면 유니티 측에서 필터링하시는 방법이 있습니다.

[yechan-9208]

"서버에서 한글자막/영어자막 url을 전부 보낸다" 이 말은 AI가 서버에 생성된 한글자막/영어자막 동영상을 전부 보낸다는 말인가요?

[numerical43]

서버에서 유니티로 한글자막/영어자막 영상의 url들을 String으로 보냅니다. 동영상은 클라우드 스토리지에 있고 유니티에서 url을 받으면 그 url로 클라우드 스토리지에 있는 영상을 재생하는 방식이에요.