[AI➡️Unity] Pose Estimation 좌표 문제 1차 해결안

[nonamed000]

카테고리

코드 관련

전달 사항

@hhkim331

진행 과정

• mediapipe의 좌표를 통해 전송했지만, z값의 부정확한 값으로 아바타가 실제 움직임과 매우 다름을 보였습니다.
• 이에 대한 해결안으로 openpose를 하고자 했지만, 3d reconstruction과정에서 오류가 많아 적용하지 못했습니다.
• unityplugin의 경우 다운 받아야하거나 환경 부분에서 오류가 많아 시도해보지 못했습니다.

해결한 내용

• cvzone 라이브러리를 적용한 결과 제 행동에 맞게 움직인 것을 확인했습니다. 특히 상체만 찍고 있는 경우 서 있는 것처럼 표현된다는 것이 인상깊었습니다.
• 일단을 몸통만 했고, 얼굴, 핸드까지 적용 가능합니다.
• 지난번 이야기 된대로 위치:값을 딕셔너리로 표현한 후 string으로 전달하도록 했습니다. 인중을 'P'라고 표현했으나 공식문서에 포즈에서는 '코'로 탐색한다고 해서 'N'으로 키값을 바꿨습니다.
• python에서 전송받을 때 변수를 pose_dict로 바꾸면 됩니다.

# 코(Nose), 왼쪽 눈 안쪽(Leyei), 왼쪽 눈(Leye), 왼쪽 눈 바깥쪽(Leyeo),
# 오른쪽 눈 안쪽(Reyei), 오른쪽 눈(Reye), 오른쪽 눈 바깥쪽(Reyeo),
# 왼쪽 귀(Lear), 오른쪽 귀(Rear), 왼쪽 입(LM), 오른쪽 입(RM),
# 왼쪽 어깨(LS), 오른쪽 어깨(RS), 왼쪽 팔꿈치(LE), 오른쪽 팔꿈치(RE), 왼쪽 손목(LW), 오른쪽 손목(RW),
# 왼쪽 골반(LP), 오른쪽 골반(RP), 왼쪽 무릎(LK), 오른쪽 무릎(RK), 왼똑 발목(LA), 오른쪽 발목(RA)

• 시뮬레이션 결과 화면은 discord AI 파트에 올려두겠습니다.
• 제가 아직 C#이 익숙치 않아서 딕셔너리로 받았을 때 표현하는 방법을 찾지 못했습니다. 일단 표현을 해야 해서 2차원 배열로 받았을 때의 코드 버전으로 첨부합니다.

[참고자료]

• 3D Motion Capture using Normal Webcam | Computer Vision OpenCV

요청 사항

• 담당자의 PC에서도 통신이 원활하게 잘 이루어지는지 확인 부탁드립니다.
• 적용했을 때 아바타가 잘 움직이는지 확인 부탁드립니다.

첨부 코드

import cv2
import mediapipe as mp
import numpy as np
from cvzone.PoseModule import PoseDetector
import socket

# 서버 설정
HOST = '127.0.0.1'  # 서버의 IP 주소
PORT = 12345  # 사용할 포트 번호

server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_socket.bind((HOST, PORT))
server_socket.listen()

print(f'Server is listening on {HOST}:{PORT}')

client_socket, client_address = server_socket.accept()
print(f'Connected by {client_address}')

detector = PoseDetector()

# 위치 정보
# pose_ind = [0, 11, 12, 13, 14, 15, 16, 23, 24, 25, 26, 27, 28]         # 몸통

pose_name = ['N','Leyei','Leye','Leyeo','Reyei','Reye','Reyeo','Lear','Rear','LM','RM',
             'LS','RS','LE','RE','LW','RW',
             'LP','RP','LK','RK','LA','RA']
# 코(Nose), 왼쪽 눈 안쪽(Leyei), 왼쪽 눈(Leye), 왼쪽 눈 바깥쪽(Leyeo),
# 오른쪽 눈 안쪽(Reyei), 오른쪽 눈(Reye), 오른쪽 눈 바깥쪽(Reyeo),
# 왼쪽 귀(Lear), 오른쪽 귀(Rear), 왼쪽 입(LM), 오른쪽 입(RM),
# 왼쪽 어깨(LS), 오른쪽 어깨(RS), 왼쪽 팔꿈치(LE), 오른쪽 팔꿈치(RE), 왼쪽 손목(LW), 오른쪽 손목(RW),
# 왼쪽 골반(LP), 오른쪽 골반(RP), 왼쪽 무릎(LK), 오른쪽 무릎(RK), 왼똑 발목(LA), 오른쪽 발목(RA)

## 영상촬영

print("영상촬영시작")

cap = cv2.VideoCapture(0)

while True:
    ret, image = cap.read()
    if not ret:
        print("카메라를 찾을 수 없습니다.")

        # 동영상을 불러올 경우는 'continue' 대신 'break'를 사용합니다.
        break

    image = detector.findPose(image)

    lmList, bboxInfo = detector.findPosition(image)
    pose_dict = dict(zip(pose_name, lmList))

    # 유니티에게 값을 데이터를 보냄
    data = client_socket.recv(1024)
    if not data:
        break
    else:
        # print(f'Received from Unity: {data.decode()}') # 유니티에서 보낸 데이터를 파이썬에서 확인하는 코드
        client_socket.sendall(str(lmList).encode())      # 2차원 배열: lmList, 딕셔너리: pose_dict

cap.release()
client_socket.close()

using System.Collections;
using System.Collections.Generic;
using System;
using System.Net;
using System.Net.Sockets;
using UnityEngine;
using System.Diagnostics;

public class Animationcode : MonoBehaviour
{
    public GameObject[] Body;

    private Socket clientSocket;

    private void Start()
    {
        Process psi = new Process();
        psi.StartInfo.FileName = "C:/Users/user/anaconda3/envs/mtvs_final/python.exe";
        // 파이썬 환경 연결
        psi.StartInfo.Arguments = "D:/mtvs_10_meta_mingle/pose_estimation/socket_pose_cvzone.py";
        // 실행할 파이썬 파일
        psi.StartInfo.CreateNoWindow = true;
        psi.StartInfo.UseShellExecute = false;
        psi.Start();
        UnityEngine.Debug.Log("실행완료");

        clientSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
        IPAddress serverIP = IPAddress.Parse("127.0.0.1");
        IPEndPoint serverEndPoint = new IPEndPoint(serverIP, 12345);

        try
        {
            clientSocket.Connect(serverEndPoint);
            UnityEngine.Debug.Log("Connected to server");
        }
        catch (Exception e)
        {
            UnityEngine.Debug.LogError($"Error connecting to server: {e}");
            return;
        }
    }


    void Update()
    {
        int counter = 0;
        
        try
        {
            //유니티에 값보내기 
            string message = "Hello from Unity!";
            byte[] messageBytes = System.Text.Encoding.UTF8.GetBytes(message);
            clientSocket.Send(messageBytes);


            //파이썬에서 값 받기
            byte[] buffer = new byte[1024];
            int receivedBytes = clientSocket.Receive(buffer);
            string receivedMessage = System.Text.Encoding.UTF8.GetString(buffer, 0, receivedBytes); //receivedMessage 문자열받기
            UnityEngine.Debug.Log($"Received from Python: {receivedMessage}");

            // 문자열에서 괄호 및 쉼표를 제거
            receivedMessage = receivedMessage.Replace("[[", "").Replace("]]", "").Replace(", [", "");
            string[] coordinatePairs = receivedMessage.Split(new char[] { ']' }, StringSplitOptions.RemoveEmptyEntries);

            // 각 좌표 쌍을 반복하고 x, y, z 값을 추출
            foreach (string pair in coordinatePairs)
            {
                //UnityEngine.Debug.Log($"pair: {pair}");
                string[] coordinates = pair.Split(',');

                float x = float.Parse(coordinates[0]) / 200;
                float y = float.Parse(coordinates[1]) / 200;
                float z = float.Parse(coordinates[2]) / 200;
                UnityEngine.Debug.Log($"x: {x}, y: {y}, z: {z}");

                Body[counter].transform.localPosition = new Vector3(x, -y, z);
                counter += 1;

            }
        }
        catch (Exception e)
        {
            UnityEngine.Debug.LogError("[알림] 에러발생: " + e.Message);
            clientSocket.Shutdown(SocketShutdown.Both);
            clientSocket.Close();
        }
    }
}

[hhkim331]

lmList 에서는 좌표가 정상적으로 보이는데 pose_dict에서는 좌표가 이상하게 옵니다

[nonamed000]

죄송합니다. 제가 코드를 보낼 때 키 값 매칭에 있어 오류가 있었던 것 같습니다.

pose_name = ['N','Leyei','Leye','Leyeo','Reyei','Reye','Reyeo','Lear','Rear','LM','RM',
             'LS','RS','LE','RE','LW','RW','Lpinky','Rpinky','Lindex','Rindex','Lthumb','Rthumb',
             'LP','RP','LK','RK','LA','RA','LH','RH','LFindex','RFindex']
# 코(Nose), 왼쪽 눈 안쪽(Leyei), 왼쪽 눈(Leye), 왼쪽 눈 바깥쪽(Leyeo),
# 오른쪽 눈 안쪽(Reyei), 오른쪽 눈(Reye), 오른쪽 눈 바깥쪽(Reyeo),
# 왼쪽 귀(Lear), 오른쪽 귀(Rear), 왼쪽 입(LM), 오른쪽 입(RM),
# 왼쪽 어깨(LS), 오른쪽 어깨(RS), 왼쪽 팔꿈치(LE), 오른쪽 팔꿈치(RE), 왼쪽 손목(LW), 오른쪽 손목(RW),
# 왼쪽새끼(Lpinky),오른쪽새끼(Rpinky),왼쪽검지(Lindex),오른쪽엄지(Rindex),왼쪽검지(Lthumb),오른쪽검지(Rthumb),
# 왼쪽 골반(LP), 오른쪽 골반(RP), 왼쪽 무릎(LK), 오른쪽 무릎(RK), 왼똑 발목(LA), 오른쪽 발목(RA)
# 왼쪽 뒤꿈치(LH), 오른쪽 뒤꿈치(RH), 왼쪽엄지발(LFindex), 왼쪽엄지발(RFindex)

다음으로 변경 부탁드립니다.