Портал | Содержание | О нас | Пишите | Новости | Голосование | Топ-лист | Дискуссия Rambler's Top100

TopList Яндекс цитирования

НОВОСТИ
"РУССКОГО ПЕРЕПЛЕТА"

ЛИТЕРАТУРА

Новости русской культуры

Афиша

К читателю

Содержание

Публицистика

"Курск"

Кавказ

Балканы

Проза

Поэзия

Драматургия

Искания и размышления

Критика

Сомнения и споры

Новые книги

У нас в гостях

Издательство

Книжная лавка

Журнальный зал

ОБОЗРЕНИЯ

"Классики и современники"

"Слово о..."

"Тайная история творений"

"Книга писем"

"Кошачий ящик"

"Золотые прииски"

"Сердитые стрелы"

КУЛЬТУРА

Афиша

Новые передвжиники

Фотогалерея

Музыка

"Неизвестные" музеи

Риторика

Русские храмы и монастыри

Видеоархив

ФИЛОСОФИЯ

Современная русская мысль

Искания и размышления

ИСТОРИЯ

ХРОНОС

История России

История в МГУ

Слово о полку Игореве

Хронология и парахронология

Астрономия и Хронология

Альмагест

Запечатленная Россия

Сталиниана

ФОРУМЫ

Дискуссионный клуб

Научный форум

Форум "Русская идея"

Форум "Курск"

Исторический форум

Детский форум

КЛУБЫ

Пятничные вечера

Клуб любителей творчества Достоевского

Клуб любителей творчества Гайто Газданова

Энциклопедия Андрея Платонова

Мастерская перевода

КОНКУРСЫ

За вклад в русскую культуру публикациями в Интернете

Литературный конкурс

Читательский конкурс

Илья-Премия

ДЕТЯМ

Электронные пампасы

Фантастика

Форум

АРХИВ

2001

2000

1999

Фотоархив

Все фотоматериалы


Новости
"Русский переплет" зарегистрирован как СМИ. Свидетельство о регистрации в Министерстве печати РФ: Эл. #77-4362 от
5 февраля 2001 года. При полном или частичном использовании
материалов ссылка на www.pereplet.ru обязательна.

Тип запроса: "И" "Или"

22.06.2018
17:03

Нейросеть Facebook предсказала движения музыкантов по аудиозаписи

    Разработчики из Facebook представили нейросеть, которая умеет предсказывать движения рук музыканта по аудиозаписи. Система слушает музыкальную композицию и одновременно проецирует в дополненной реальности аватара, играющего мелодию. Программисты, чья статья была представлена на конференции Conference on Computer Vision and Pattern Recognition (CVPR), считают, что разработка может быть полезна для обучения игре на музыкальных инструментах.

    Сегодня для самостоятельного обучение игре на различных инструментах используются разные приложения и видеоуроки. Однако они, как правило, позволяют рассмотреть движения музыканта лишь с определенного ракурса. Перенос учителя в виртуальную или дополненную реальность может быть удобен для пользователей, так как он позволит им полностью увидеть правильную постановку рук при игре на инструменте.

    Группа разработчиков под руководством Эли Шлицермана (Eli Shlizerman) решила создать виртуальный аватар, который бы мог имитировать движения рук пианиста или скрипача, основываясь на аудиозаписи. Для этого они использовали LSTM-нейросеть. Это разновидность архитектуры рекуррентных нейросетей, где каждый слой имеет обратную связь с другими слоями и обладает своеобразной памятью, позволяющей учиться на своих ошибках и усваивать долгосрочные связи (подробнее об LSTM-нейросетях можно почитать в нашем материале «Самая человеческая задача»).

    В качестве данных для обучения программисты использовали публично доступные видеозаписи, на которых профессионалы играют на музыкальных инструментах без аккомпанемента. Для пианино исследователям удалось собрать 3,6 часа материала, для скрипки — 4,4 часа. На каждом кадре видеозаписи нейросеть определяла, где находятся руки и пальцы исполнителя и строила скелетную модель. Она сопоставляла эти данные с мел-частотным кепстральными коэффициентами, которые используются в качестве характеристики аудиосигналов. Важно заметить, что исследователи не использовали midi-файлы, поэтому нейросеть не обучалась зависимостям между нотами и, например, конкретными клавишами пианино.

    В результате программа научилась определять взаимосвязь между характеристиками звука и движениями рук музыканта и строить предсказания. Созданную нейросетью скелетную модель разработчики использовали для создания аватара в дополненной реальности. Итог их работы можно увидеть на видео ниже:

    На видеоролике хорошо видно, что аватар скорее подражает музыкантам, чем полноценно повторяет их движения. Тем не менее, движения виртуального персонажа выглядят вполне естественно. По мнению создателей, в будущем подобная технология может найти множество применений. Например, аватар может быть использован для обучения — в то время как он будет копировать движения профессионала в виртуальной реальности, пользователь сможет обойти его с разных сторон и понаблюдать за техникой игры.

    Сегодня виртуальные аватары все чаще используются для решения различных задач. Например, с их помощью предлагают опрашивать свидетелей преступления, лечить больных шизофренией и парализованных людей.

    По информации https://nplus1.ru/news/2018/06/22/facebook-music

    Обозрение "Terra & Comp".

Выскажите свое мнение на:

22.06.2018
16:58

Общую теорию относительности подтвердили на галактических масштабах

22.06.2018
16:27

Зонд «Хаябуса-2» увидел 150-метровую скалу и валуны на астероиде Рюгу

22.06.2018
15:27

Беспилотный автомобиль «Яндекса» впервые проехал по длинному маршруту

22.06.2018
15:20

В 2025 году Норвегия начнёт переход на электрические самолёты для пассажирских перевозок

22.06.2018
15:13

В Intel создали самый маленький в мире квантовый чип

22.06.2018
13:30

"Потуга." - новое в литературном обозрении Соломона Воложина

21.06.2018
17:49

Лазер из темной материи

21.06.2018
17:20

Внеземные цивилизации могут уже сейчас двигать звезды, считает один астроном

21.06.2018
17:16

Феномен серебристых облаков может быть связан с древним извержением вулкана

21.06.2018
17:11

NASA показало голубые дюны на Марсе

21.06.2018
16:59

Астрономы сообщили о произошедшей в четверг вспышке на Солнце

21.06.2018
16:29

Сгорающие в атмосфере метеоры — очень частое, но неопасное явление

21.06.2018
16:18

Пылевая буря на Марсе охватила всю планету, заявляют в НАСА

21.06.2018
16:12

Квадратные наномагниты научились вести себя согласованно

21.06.2018
16:05

Мировые запасы бесхозного пластикового мусора пополнятся на 111 миллионов тонн к 2030 году

21.06.2018
16:00

Китайцы разработали электродвигатель для рельсотрона

21.06.2018
15:12

Большая длина трещин объяснила их отталкивание друг от друга

21.06.2018
15:11

"Апология России." - новое в литературном обозрении Соломона Воложина

21.06.2018
15:07

Назван способ просуществовать 100 триллионов лет

<< 161|162|163|164|165|166|167|168|169|170 >>

НАУКА

Новости

Научный форум

Научно-популярный журнал Урания в русском переплете

Космические новости

Энциклопедия космонавтика

Энциклопедия "Естествознание"

Журнальный зал

Физматлит

News of Russian Science and Technology

Научные семинары

Почему молчит Вселенная?

Парниковая катастрофа

Хронология и парахронология

История и астрономия

Альмагест

Наука и культура

НАУЧНЫЕ ОБОЗРЕНИЯ

"Физические явления на небесах"

"TERRA & Comp"

"Неизбежность странного микромира"

"Биология и жизнь"

ОБРАЗОВАНИЕ

Открытое письмо министру образования

Антиреформа

Соросовский образовательный журнал

Биология

Науки о Земле

Математика и Механика

Технология

Физика

Химия

Русская литература

Научная лаборатория школьников

КОНКУРСЫ

Лучшие молодые
ученые России

Для молодых биологов

БИБЛИОТЕКИ

Библиотека Хроноса

Научпоп

РАДИО

Читают и поют авторы РП

ОТДЫХ

Музеи

Игры

Песни русского застолья

Народное

Смешное

О НАС

Редколлегия

Авторам

О журнале

Как читать журнал

Пишут о нас

Тираж

РЕСУРСЫ

Поиск

Проекты

Посещаемость

Журналы

Русские писатели и поэты

Избранное

Библиотеки

Фотоархив

ИНТЕРНЕТ

Топ-лист "Русского переплета"

Баннерная сеть

Наши баннеры

НОВОСТИ

Все

Новости русской культуры

Новости науки

Космические новости

Афиша

The best of Russian Science and Technology

 

 


Если Вы хотите стать нашим корреспондентом напишите lipunov@sai.msu.ru

 

Редколлегия | О журнале | Авторам | Архив | Ссылки | Статистика | Дискуссия

Галерея "Новые Передвижники"
Пишите

© 1999, 2000 "Русский переплет"
Дизайн - Алексей Комаров

Русский Переплет
Rambler's Top100 TopList