(MMD4Mecanim)모션에 관해

네, 여러가지 알아보고 실험하고 왔습니다.

처음에 무슨 문제가 있었는지 휴머노이드로 변형하자 기본 vmd 모션들이 전혀 먹지 않아 휴머노이드 상태에선 mmd 모션을 이용하지 못한다고 판단해버려 많은 착오가 있었습니다.

기왕 알아보는 김에 스테이지나 카메라도 몇 개 실험해봤습니다.

기본

MMD 모델을 MMD4Mecanim을 통해서 변환해줍니다. 이 때 vmd모션을 같이 첨부해야 해당 모션도 사용 할 수 있습니다. 

이때 변환 된 FBX 모델은 Rig가 Generic으로 되어있고 vmd가 애니메이션이 포함되어 나오는데 이 애니메이션에는 애니메이션 자체에 해당 모델의 옷이나 머리카락 등 원래 흔들릴 수 있게 되어있는 부위의 물리효과까지 포함되어 있습니다. 그렇기에 별도로 다른 처리를 해주지 않고 애니메이션만 재생시켜주어도 자연스러운 모습을 볼 수 있지만 도중도중 부자연스러운 부분도 볼 수 있기에 

기본으로 해당 FBX 모델에 포함되어지는 위 스크립트에서 맨 아래 Physics Engine을 설정해주시면 애니메이션의 옷, 머리카락 움직임과 무관하게 실시간 물리 효과 연산을 합니다.

다만 이 기능은 퍼포먼스를 꽤나 많이 먹는 편입니다.

노래 연동의 경우엔

같은 스크립트에서 Anim 탭으로 가보면 해당 모델을 변환시켰을 때 같이 등록한 모션들이 있습니다.

모션과 일치하는 노래를 오디오 클립 자리에 넣어주시면 해당 애니메이션이 작동할 때 자동으로 노래가 나옵니다.

휴머노이드

변환시킨 MMD모델은 기본 Rig가 Generic으로 되어있지만 휴머노이드로 변환시켜서도 사용이 가능합니다.

이렇게 변환하게 되면 애니메이션도 자동으로 휴머노이드 타입이 되어 다른 휴머노이드 타입의 모델들에게도 모션을 적용시킬 수 있습니다.

반대로 다른 휴머노이드 타입의 애니메이션을 해당 모델이 사용하는 것 또한 가능합니다.

다만 휴머노이드로 변경 과정에서 일부 모델들은 정상적으로 변경되지 않는 경우가 있습니다.

제가 알아낸 것 중엔 sour식 모델들이 그러합니다만 위 사진과 같이 손으로 가는 본과 팔꿈치까지 가는 본이 따로 있어서 생긴 문제 같은데 저는 이쪽으로는 아는바가 많지 않아 해결하지 못했습니다... 그래도 이 모델의 경우가 특수한거지 어지간한 모델은 문제 없다고 생각합니다.

혹시 해결 방법을 아시는 분은 가르쳐주시면 감사하겠습니다.

휴머노이드 관련해서 이해를 돕기위한 요약 움짤

여기 업로드 하면서 품질이 많이 안 좋아졌네요;

각각 MMD캐릭터 휴머노이드 + 휴머노이드화 vmd / 유니티짱 + 휴머노이드화 vmd / MMD캐릭터 기본 + 기본 vmd 모션입니다.

MMD캐릭터 기본 + 기본 vmd 

위 움짤에서 오른쪽 캐릭터인 린이 담당합니다.

별도의 물리 효과를 주지 않았지만 옷이나 머리카락이 움직임에 맞춰 흔들립니다.

이 모델도 휴머노이드로 변경하면 미쿠같은 문제가 있지만 Generic 상태에선 거의 전혀 그런 문제를 볼 수 없습니다.

또한 실제 몸의 중심도 vmd모션 그대로 따라가고 있습니다.

표정 또한 잘 변화하고 있습니다.

MMD캐릭터 휴머노이드 + 휴머노이드화 vmd

위 움짤에서 미쿠가 담당합니다. 팔이 분리되는 문제가 있습니다만 위에서 언급한데로 다른 멀쩡한 모델을 쓰면 생기지 않는 문제입니다. 

여기서는 Bullet Physics를 켜서 자연스러운 모습을 보이지만 키지 않으면 옷이나 머리카락은 따로 물리 효과가 생기지 않습니다. 휴머노이드 변경 과정에서 제외되기 때문입니다.

그래도 어쨌든 Bullet Physics를 키면 기본상태와 거의 흡사한 모습을 보이며 중심 또한 vmd모션을 따라가고 있습니다.

표정도 문제 없습니다.

유니티짱 + 휴머노이드화 vmd

유니티에서 대표적인 인간형 모델을 꼽으라면 유니티짱이겠죠. 그래서 유니티짱에게 부탁해봤습니다.

린의 경우 Generic 타입이라 아바타가 다르면 애니메이션이 먹지 않기에 휴머노이드 화 시킨 미쿠의 애니메이터 컨트롤러를 그대로 박았습니다.

춤의 동작은 일치합니다. 손가락까지 잘 따라가고 있네요.

다만 기본적으로 옷이나 머리카락의 물리 처리가 되어있지 않고 표정 변화 메커니즘도 다르기 때문에 표정에 변화가 없고 옷이 굳어있습니다. 머리카락의 경우엔 제가 부분적으로 실험삼에 끝부분에만 Cloth 컴포넌트를 이용해서 그렇지 원래는 전부 뻣뻣합니다. 근데 생각보다 Cloth 컴포넌트의 효과가 괜찮네요. 조금 과하기도 합니다만 설정 좀 더 만져주면 더 자연스럽게도 할 수 있을거 같습니다.

그리고 움짤 프레임이 낮아서 잘 보이진 않지만 중간중간 팔이 뒤틀리기도 합니다. 이건... 좀 치명적인데 어디가 문제인지 모르겠네요.

전체적으로는 휴머노이드로 변경해서 사용해도 큰 문제가 없습니다.

다른 모델에 적용해도 물리 효과 부분만 어떻게 해주면 써먹을 수 있을만큼 괜찮구요.

퍼포먼스를 좀 더 먹겠지만 애초에 MMD4Mecanim을 사용하면서 고퀄리티의 모델을 써먹겠다 마음먹은 순간 이미...

휴머노이드의 장점은 춤추는데만 있는게 아닙니다.

유니티짱이 MMD의 모션을 사용했듯 MMD의 모델들도 다른 애니메이션을 사용 할 수 있다는게 중요합니다.

솔직히 춤만 볼거면 그냥 MMD에서 하는게 더 좋으니까요. 애초에 거기에 맞춰진걸 가져온건데..

유니티로 게임만 만들라는 법은 없지만 그래도 그런 엔진이니 게임처럼 만들수도 있습니다.

애초에 그렇게 만들고 있는게 이 카테고리의 게임이구요.

하지만 문제도 있습니다.

이게 아피미쿠 모델의 문제인지는 몰라도 몇몇 큰 동작에서 옷과 신체의 경계 부분이 깨지기도 합니다.

부위와 각도가 조금 거시기 합니다만 달리는 동작에서 저런 증상을 보입니다.

그외 카메라와 스테이지

혹시 카메라 워킹이나 스테이지는 못가져오나 싶어서 테스트해봤습니다.

모델 변환 과정에 vmd 넣는 곳에 카메라 모션을 넣어봤지만...

변환된 카메라 애니메이션엔 아무것도 들어있지 않았습니다.

이동과 회전좌표 애니메이션만이라도 있으면 떼서 카메라에 붙여볼까 했는데 아무것도 오지 않을 줄은 몰랐네요. 뭔가 찾아보면 있을거 같은데 일본어로 검색해도 딱히 뜨는게 없네요.

스테이지의 경우 2개 해봤는데 하나는 위 움짤의 배경입니다.

근데 스테이지 효과들은 안 딸려오더군요.

나머지 하나는 격렬한 에러를 내뿜던데 다 무시하니까 모델링만 오고 머티리얼은 하나도 적용되지 않아 흰 스테이지만 있었습니다.

이쪽은 당장 급한건 아니지만 좀 더 알아봐야겠네요.

특히 카메라는 유용하게 쓸 수 있을거 같으니...

마무리

이전에 제가 착각해서 모션 활용이 꽤나 까다롭다고 생각했는데 아니었습니다. 이정도로 이식이 가능하게 만든 MMD4Mecanim 제작자 분이 감탄스럽네요.

모델마다 특정 상황에서 잠재적 문제를 지니고 있는 경우가 많은거 같기도 합니다만 모델 제작에 정확한 틀이 없는 이상 이런건 어쩔 수 없겠죠. 애초에 MMD에 맞춰 나온것이니까요.

잠재적 문제들은 유니티 내에서 해결하는 방법을 알아봐야 할 거 같습니다.