오랜만에 흥미로운 프로젝트를 진행하게 되었습니다. 바로 스트라디바리우스 프로젝트인데요. 아시는 분들도 계시겠지만 스트라디바리우스는 이탈리아 크레모나에서 활동한 바이올린 제작자 안토니오 스트라디바리와 그의 집안에서 만든 현악기를 통칭합니다. 특유의 우아하면서도 세련된 음색으로 전무후무한 세기의 명기로 불리죠. 불변의 가치 때문에 제작된 지 300년이 넘은 지금까지도 스트라디바리우스는 바이올리니스트의 악기로 무대에 끊임없이 오르고 있다고 합니다.
음악을 통해 경험한 청각적 아름다움과 벅차로움은 이로 말할 수 없습니다. 하지만 그때의 경험을 다시 한번 더 느낄 수 없는 아쉬움은 언제나 존재합니다. 그렇다면 현실 세계에 있는 악기들을 메타버스로 옮겨 디지털 세계에서도 음악적 경험을 통해 이러한 아쉬움을 해소할 수 있다면 어떨까요?
이를 위해 생성된 DAO가 바로 NFT Classics Society입니다. NFT Classics Society에서 진행하는 프로젝트는 명확합니다. 바로 현실 세계에서의 음악적 경험을 메타버스 상으로 옮기는 것이죠.
회사에서 이 프로젝트를 진행한다고 했을 때 저는 속으로 ‘이 프로젝트를 내가 진행하게 되면 좋겠다’라는 생각을 했었습니다. 개인적으로 클래식 공연을 1년에 1~2번 정도 다니는데 제가 좋아하는 연주자분의 표를 구하기 힘들어서 아쉬웠던 적이 한두 번이 아닙니다. 콘서트 장에서의 경험을 디지털에서도 느끼게 되다면 어떨까라는 상상을 많이 하곤 했는데 이 프로젝트에 의해 이런 상상이 실현될 수 있을 거 같아 기대가 됩니다.
저희는 이 프로젝트를 위해 2가지 작업을 진행하고 있습니다.
첫 번째, NeRF(Neural Radiance Fields) 기반의 AI 모델을 활용하여 바이올린을 3D 모델로 변환하는 작업을 진행하고 있습니다. NeRF는 하나의 물체를 여러 각도에서 동시에 촬영한 이미지 N 장을 입력 데이터로 사용합니다. 그 이미지들을 이용해서 이미지에 주어지지 않은 새로운 각도에서의 동일 물체의 이미지를 만들어내는 것이죠. NeRF 기술을 활용하면 입력으로 들어온 2D 이미지를 바탕으로 360도 렌더링 영상을 얻을 수 있습니다.
두 번째, AI 기술을 이용하여 MIDI(Musical Instrument Digital Interface) 파일 형태의 음악을 스트라디 바이올린 연주 음악으로 변환하는 작업을 진행하고 있습니다. MIDI는 소리의 파형을 녹음한 wav 파일과 달리 전자 악기를 연주하기 위한 악보 그 자체로 볼 수 있어 작곡 등에서 많이 사용되는 파일 포맷입니다. 이 작업이 완료되면, 사용자가 업로드한 MIDI 파일을 스트라디 바이올린이 연주하는 듯한 소리로 변환할 수 있게 됩니다.
Neural Redering과 음악 도메인에 대한 AI 작업 경험이 없기 때문에 긴장이 있는 것이 사실입니다. 그러나 오늘날 인터넷을 통해 수많은 정보들을 얻을 수 있고, 동료들과 같이 협업한다면 목표를 달성할 수 있을 것이라 믿고 있습니다.
저희는 위 작업들을 AI Network 상에서 진행하여 나온 결과물들을 AINFT로 만들려고 합니다. 앞으로 진행 과정을 공유해 드리려고 하니 많은 관심 부탁드립니다!
NFT Classics Society Discord : https://discord.gg/amvj4qFzAv
AI Network Dao Discord : https://discord.gg/WCtwjV7vkK