Звідки їсти пішов Animusic

Під катом коротка історія анімаційного дітища Вейна Лайтла (Wayne Lytle) - проекту Animusic. Це серія роликів, що демонструють самобутні і дивовижні віртуальні музичні інструменти, анімація яких згенерована на основі музичних MIDI-партій (зрозуміло, на чолі всіх зусиль стоїть створення технології, ролики - лише її демонстрація).

Візитна картка Animusic - Pipe Dreams:

Intel навіть відтворили в реальності музичну установку цілком (як рекламу для Intel Atom; згідно з описом відео, використовується 7 штук для відтворення):

Менш відомі шанувальники творчості Вейна теж рвуться в бій:

На десерт:

Витоки

Ідея використовувати музичні партії в якості основи для генерації візуального супроводу прийшла до Уейна Лайтла в 1982. Тоді він ще не мав необхідних знань і навичок для втілення задуму. Перший справжній досвід Вейн отримав у 1989, відтоді він працював над системою, що згодом стала прототипом Animusic.

Через рік Вейн представляє плоди своєї діяльності на SIGGRAPH 1990 - анімацію для власної композиції «More Bells and Whistles»:

Навіть крізь грубі моделі і манеру «поведінки» інструментів легко дізнаються майбутні дійові «особи» серії.

Ролик отримує безліч нагород на різних заходах, у тому числі і від IBM.

У 1995 році Уейн об'єднується з комп'ютерним художником Дейвом Крогнейлом (Dave Crognale) для роботи над комерційним замовленням - 5-хвилинною стереоскопічною анімацією для компанії V-Rex (виробник стереоскопічних окулярів і проекторів):

(прим. перекладача: саме тоді була заснована Visual Music, що змінила пізніше назву на Animusic)

У 1998 Уйен і Дейв приступають до створення відеоальбому, який побачив світ в 2001. То був перший Animusic. На прохання дистриб'юторів, хлопці додали аудіо у форматі 5.1 і з'явилося так зване спеціальне видання.

Через деякий час вони беруться за другий альбом, що вийшов у 2005 році. Після завершення робіт над DVD Дейв вирішує зробити перерву. У Вейна ж повно нових ідей і, в добавок до всього, він усвідомлює необхідність змін в пайплайні.

Компанія перебирається в Ітаку (Ithaca, NY). Уейн повністю з нуля пише ПО. До нього приєднується Стів Вестін (Steve Westin), який зробив за 2 роки перебування в команді великий внесок у графічний інтерфейс, реалізацію шейдерів та інтеграцію з RenderMan.

Враження Вейна від нової системи:

іноді ми з Дейвом жартуємо над ANIMUSIC'studio, складність і просунутість якої досягла того рівня, коли додавання кнопки «Створити Animusic 3 DVD» стає цілком логічним наступним нашим кроком - тиснеш на неї і, через кілька місяців, забираєш готовий DVD!

Терміни виходу Animusic 3 відсувалися кілька разів через різні труднощі і на підтримку DVD хлопці навіть провели успішну кампанію на Kickstarter.

Статус третього DVD - як і раніше «в процесі», дата виходу - «як тільки, так відразу». Що ж, чекаємо!

Команда

Основними членами команди є Уейн і Дейв. Обидва зайняті over9000-fulltime і вкладають всі свої сили в поточний проект (Animusic 3).

Будучи засновником компанії і ідейним натхненником Уейн контролює процес створення контенту від і до.

Вотчина Вейна - розробка ANIMUSIC'studio, яка забезпечує коректну синхронізацію музичного супроводу та анімації інструментів. Саме він створює прототипи для всіх анімацій і вдихає життя в інструменти. Вейн керує віртуальними камерами, задаючи ракурси для «зйомки» (рендерінга), і здійснює кінцевий монтаж роликів. Музичні композиції, що звучать в Animusic, також написані Вейном з використанням програмних і апаратних синтезаторів (Minimoog Voyager, Nord Lead 2, Yamaha DX7, і т. д.), DAW (Nuendo/Cubase SX, Reason/Record, Fruity Loops).

Дейв же фокусується на естетичній стороні питання - зовнішньому оформленні інструментів та їх оточення, замальовкам ідей та їх втіленню в Modo, 3ds Max, або XSI. На його плечах лежить відповідальність за моделювання сотень елементів, які пізніше легко збираються в єдине ціле, завдяки ANIMUSIC'studio. Крім моделювання Дейв займається підготовкою шейдерів і матеріалів, що надають сценам закінчений вид (тобто створює dirt, bump, specular текстури) при рендерингу, і композитингом.

У Animusic є власна рендер-ферма, вона працює в режимі 24/7 і знаходиться на піклуванні Дейва.

Промо-матеріали, друкована продукція - результат спільних старань (реалізацією займається Дейв).

ANIMUSIC|studio и Co.

Вейну часто ставлять запитання щодо використовуваного ПЗ.

Центральне місце в процесі створення контенту займає ANIMUSIC'studio - MIDI-секвенсор і система анімації, заснована на візуальному програмуванні (прим. перекладача: мається на увазі нодове подання даних і залежностей). Ядро ANIMUSIC'studio - власна бібліотека генерації анімації (вже 5-та її версія) - MIDImotion.

Зараз написане Вейном ПЗ, недоступне для ліцензування. По-перше, тому що головний пріоритет компанії - створення контенту (зокрема Animusic 3), а не продаж ПЗ. По-друге, автора пригнічує сама думка про написання документації до продукту, в якому він і сам іноді плутається. Вейн не виключає можливості випуску ANIMUSIC'studio в майбутньому.

Пайплайн

Вейн про пайплайн:

Протягом багатьох років ми змінювали деталі робочого процесу, при цьому дотримуючись загальної схеми: для моделювання, створення матеріалів і рендерінга використовуємо стороннє комерційне ПЗ, в той час як анімація сцен генерується процедурно за допомогою власних розробок.

Ми перейшли на XSI (і частково Z-Brush) по частині моделювання і повернулися до RenderMan в якості движка візуалізації. Всі партії пишуться прямо в ANIMUSIC'studio (прим. перекладача: до цього функцію секвенсора виконував Steinberg Cubase SX), так що головний біль від постійного імпорту/експорту MIDI-файлів тепер у минулому. Замість цього після закінчення роботи MIDI відправляється по гігабітному каналу на другу робочу станцію, де відбувається рендеринга підсумкової аудіодоріжка в host-додатку з підключеними програмними синтезаторами (прим. перекладача: зазвичай VST).

MIDImotion

Анімування інструментів класичним keyframing без MIDImotion - витратна за часом операція. Бібліотека включає близько 12 основних алгоритмів (які отримують на вході від 10 до 50 параметрів) і генерує анімацію з граничною точністю. Змінилася музика - процес генерації запускається заново, без зайвих зусиль!

Закладені в MIDImotion принципи відрізняються від реактивних технологій візуалізації, що стали популярними через застосування в аудіо-плеєрах. Генерації передує етап аналізу та попередньої обробки музичних партій. Інструменти не просто виконують ноти, які призначені в MIDI-секвенсорі на даний момент часу, але і враховують попередні і наступні переходи для відтворення більш природного руху.

Animusic очима його творця

Інтерв'ю з Вейном для midi.org (оригінал):

Інтерв'юер: З чого все починалося?

Уейн Лайтл: У 70-ті, ще до появи MIDI, відбулося моє знайомство з синтезаторами на зразок MiniMoog, і т. п. З настанням ранніх 80-х я смутно здогадувався про існування чогось на кшталт MIDI і лише робив замальовки в блокноті, зображуючи своє бачення анімації, керованою музикою. Одного разу друг повідав мені про штуку, ім'я якої MIDI, і раптово два моїх світу злилися воєдино. Мабуть, це було найдивовижніше і прекрасне відкриття в моєму житті.

Однак перші мої досліди почалися тільки з 1989 року. Я пробував аналізувати MIDI-файли, якими оперують секвенсори, і генерувати анімацію на основі отриманих даних.

Інтерв'юер: Ви клавішник по натурі?

Уейн Лайтл: Я починав з фортепьяно і ударних. Незважаючи на здобуту в коледжі музичну освіту за спеціальністю класичне фортепьяно, в моїх навичках гри видатних успіхів не спостерігалося. Куди більше я захоплювався діяльністю в музичних групах. Я не дуже акуратний виконавець, і дуже радий існуванню MIDI і секвенсерів. Мені достатньо «подумати» про ноти і вуаля, вони вже зайняли своє місце. При цьому клавішні можуть як використовуватися, так і не використовуватися. Слава Богу, для цього мені не обов'язково бути гранично точним у виконанні.

Інтерв'юер: Скільки людей працюють над проектом?

Уейн Лайтл: Три людини зайняті основною розробкою, пара фрілансерів займаються другорядними проектами. Також в команді є один розробник, найнятий на повну робочий зміну. Ми з Дейвом займаємося генерацією ідей, моделюванням і написанням музики. З одного боку складно бути маленькою командою, а з іншого - не простіше бути і великою. Хоча у нас і немає проблем зі спілкуванням між членами команди, коли людей настільки мало, шанси погоріти досить великі.

Інтерв'юер: Як багато часу йде на проект?

Уейн Лайтл: На випуск кожного з перших двох DVD пішло близько трьох років. Ми на шляху до скорочення термін до року, в даний момент для цього пишеться ПЗ, яке дозволить оптимізувати процес розробки. Наше завдання досягти тієї позначки, коли ми зможемо приділяти більше часу грі з інструментами і творчості, ніж програмуванню та налагодженні коду.

Інтерв'юер: Ви аніматор, який любить музикувати, або музикант, який займається анімацією?

Уейн Лайтл: Я і сам не раз ставив собі це складне питання! Насправді: музикант я, який займається програмуванням, або програміст, який намагається бути музикантом? Вважаю, я досить довго намагався досягти успіху хоч на якомусь з теренів, відчуваючи, що варто зупинитися і зосередитися на чомусь одному. Однак, цього не сталося і тепер обидва захоплення чудово доповнюють один одного.

Безумовно, це дуже весело. Чудово займатися улюбленою справою, і до того ж мати власну компанію. Ми вважаємо, що нам дуже пощастило.

Інтерв'юер: Чи є якесь послання, що ховається за вашою роботою?

Уейн Лайтл: Відмінне питання, і я радий, що він прозвучав, оскільки його рідко ставлять. На самому початку проект був повністю особистим - він відображав те, чим я хотів займатися, і те, про що я думав дні напролет. Безумовно, саме моє захоплення і стало відправною точкою. Але після випуску першого DVD, коли ми побачили реакцію людей, наші мотиви і цілі дещо змінилися. Схоже результати наших праць дійсно приносили людям задоволення, змушуючи їх посміхатися і відчувати радість. Діти і літні люди особливо перейнялися нашою творчістю. Навіть знайшлися педагоги, які застосовували Animusic як допоміжний матеріал при навчанні музичної ритміки, математики та соціальної взаємодії в навчанні фізично неповноцінних дітей.

Вищеперелічене стало для нас повною несподіванкою і, звичайно ж, приємним сюрпризом. Тепер ми твердо маємо намір рухатися далі і «роздмухувати полум'я». Взагалі кажучи, на порядку денному у нас стоїть не спроба нести просвіту, але бажання внести позитивний внесок в електронні медіа та індустрію розваг, на наш погляд повні низькоякісних продуктів, насильства і просто огидного вмісту. Ми намагаємося показати людям гарну сторону індустрії - створюємо щось класне, при цьому уникаючи дурниці і банальності.

Інтерв'юер: Що первинно - візуальна або музична складова?

Уейн Лайтл: І те, і інше. Ми практикуємо обидва підходи. Для одних анімацій я попередньо повністю написав і звів музичний супровід, перш ніж взагалі замислюватися над візуалізацією. В інших випадках все починалося з оформлення інструментів і тестування анімації, після чого переходили до написання музики.

В іделі - і ми дотримуємося подібного підходу при створенні Animusic 3 - мова йде про симбіоз обох складових, тобто одночасної роботи над створенням інструментів і вивченням способів їх найкращого застосування. Ми з'ясовуємо на що здатний інструмент, чи підходить він більше для швидких пасажів або ж повільних партій, для важких риффів або баса. Чи багато нот можна відтворити, або доведеться щось викинути і вийде 8-нотна басс-машина, або інструмент з діапазоном в сорок нот? У міру просування змінюється і музична палітра, а розвиток композиції може позначитися на зовнішньому вигляді інструменту. Досконалий варіант, знову ж таки, передбачає навіть більшого ступеня інтеграції і відомості практично нанівець першочерговості будь-якої зі складових творчості.

Інтерв'юер: Чи доводилося вам співпрацювати з виробниками DAW?

Уейн Лайтл: Поки не доводилося. Ми намагаємося фокусувати свою увагу тільки на контенті. Наш продукт - DVD, а не написане ПЗ, хоча в майбутньому стан справ може змінитися. Насправді, ми пішли від використання комерційних секвенсерів. Аж ніяк не через те, що вони погані - сучасні DAW постійно вдосконалюються - просто рік або два тому я вирішив написати свій власний секвенсор (прим. перекладача: MIDIMotion), який можна було б інтегрувати в процес візуалізації музики настільки органічно, що ви змогли б назвати це твором анімацій і анімуванням музики.

Інтерв'юер: MIDIMotion доступний для придбання?

Уейн Лайтл: Це обговорювалося, однак, поки секвенсера немає у відкритому доступі. Досить складно випустити недороге ПЗ і забезпечувати підтримку на хорошому рівні, тому MIDIMotion і донині є виключно внутрішнім інструментом Animusic.

Так само у нас є складне ПЗ для анімації ANIMUSIC'Studio, в якому MIDIMotion використовується в якості движку, що відповідає за музичну складову анімації.

Інтерв'юер: Які, на ваш погляд, сильні сторони сучасних програмних синтезаторів порівняно з апаратними?

Уейн Лайтл: Я, перш за все, радий поточному стану речей, і для скарг у мене практично немає причин. Зараз ти можеш використовувати фантастично звучать синтезатори в будь-якій кількості. Раніше було проблематично піти і купити 6 MiniMoog'ів. Тепер же я можу відкрити, скажімо, кілька вікон в Reason і просто перемикатися між ними, залежно від того, над якою композицією я працюю на даний момент. І при цьому, все вже налаштовано. Сказати по правді, я не часто помічаю за собою ностальгію за минулим.

Втім, у мене є теплі спогади про виступ ELP на Медісон Сквер Гарден, де я побачив гори обладнання і ножі Емерсона, що стирчали в його Хаммонді та інших інструментах. Було весело!

Інтерв'юер: Як MIDI вписується в сучасну ідіому створення музики?

Уейн Лайтл: Той факт, що MIDI максимально прозорий, свідчить про неймовірний успіх. Так, він володіє величезними можливостями, і при цьому не обов'язково вивчати його від і до. На відміну від минулої епохи старих модульних синтезаторів, коли ти просто тонув у питаннях, не розуміючи куди і що підключати. Зараз багато що приховано за лаштунками. MIDI використовується і в комп'ютерах, навіть якщо поблизу немає ніяких кабелів, оскільки MIDI - це не тільки інтерфейс, але і протокол, про що багато людей не здогадуються.

Я не бачу в цьому великої проблем, хоча було б непогано більше розвивати стандарт, оскільки є речі, яких не вистачає. Не помітно людей, які просувають MIDI вперед. Один з моїх персональних - можливість контрольованого переходу від однієї ноти до іншої, як при використанні стрічкового контролера на старих синтезатора, що дозволяє плавно повернутися до попередньої ноти.

Інтерв'юер: Чи має сенс вникати в тонкощі MIDI?

Уейн Лайтл: Можливо, але наскільки добре ви хочете розуміти пристрій ваших інструментів? Можна використовувати музичне обладнання, не вивчаючи досконально принципи його роботи. Художнику не обов'язково знати все про деревину, з якої зроблена його пензель, або де була вироблена щетина. Це не завадить йому створювати по-справжньому прекрасні роботи. При бажанні ви може копнути ще глибше і дізнатися щось нове.

Очевидно, для людей, що займаються розробкою ПЗ для створення музики, розуміння MIDI критично, більш того воно має безперервно розширюватися. Зрештою, знання нікому ще не пошкодили.

Інтерв'юер: Як багато деталей процесу розробки ви готові розкрити?

Уейн Лайтл: Знаєте, ми воліли б зберегти рецепт нашого соусу в секреті, але, думаю, в певний момент необхідно буде поділитися те, що відбувається за лаштунками. Для нас важливо з'ясувати, як зрозуміло донести деталі до людей і уникнути реакції типу "ого, як все складно. А ці хлопці мозковиті! ", бо наша мета полягає в іншому. При правильному підході до пояснення все стає простіше.

У першу чергу ми хочемо показати, яка міць ховається в MIDI. Можливо, це відбудеться одночасно з відкриттям доступу до ПЗ (прим. перекладача: йдеться про Animotion, нині ANIMUSIC'studio). На даний момент наша увага, здебільшого, сфокусована на наступному DVD.

Інтерв'юер: Як думаєте, чи багато чого зможе зробити «середня» людина з вашим ПЗ?

Уейн Лайтл: З ПО в тому вигляді, в якому воно знаходиться зараз, ймовірно, не багато. Прямо як у ті давні часи, коли синтезаторами керували діти в лабораторних халатах з університету; втикали всякі дроти в... Зараз за допомогою ноутбука можна зробити все, що душі завгодно. Я вважаю, що так і повинно розвиватися ПЗ; і це стосується музики з анімацією - у людей повинна бути можливість drag-n-drop'ом створювати нові інструменти і призначати їм музичні партії. Користувач не зобов'язаний заморочуватися з приводу технологій, що використовуються в нашому продукті. Наша мета - забезпечити простий і приємний процес творчості, без збоїв і падінь кожні кілька хвилин, дозволяючи людям створювати круті речі!

При створенні публікації використовувалися матеріали наступних ресурсів:

• MIDI Manufacturers Association
• Офіційний сайт Animusic