Портал | Содержание | О нас | Пишите | Новости | Голосование | Топ-лист | Дискуссия Rambler's Top100

TopList Яндекс цитирования

НОВОСТИ
"РУССКОГО ПЕРЕПЛЕТА"

ЛИТЕРАТУРА

Новости русской культуры

Афиша

К читателю

Содержание

Публицистика

"Курск"

Кавказ

Балканы

Проза

Поэзия

Драматургия

Искания и размышления

Критика

Сомнения и споры

Новые книги

У нас в гостях

Издательство

Книжная лавка

Журнальный зал

ОБОЗРЕНИЯ

"Классики и современники"

"Слово о..."

"Тайная история творений"

"Книга писем"

"Кошачий ящик"

"Золотые прииски"

"Сердитые стрелы"

КУЛЬТУРА

Афиша

Новые передвжиники

Фотогалерея

Музыка

"Неизвестные" музеи

Риторика

Русские храмы и монастыри

Видеоархив

ФИЛОСОФИЯ

Современная русская мысль

Искания и размышления

ИСТОРИЯ

ХРОНОС

История России

История в МГУ

Слово о полку Игореве

Хронология и парахронология

Астрономия и Хронология

Альмагест

Запечатленная Россия

Сталиниана

ФОРУМЫ

Дискуссионный клуб

Научный форум

Форум "Русская идея"

Форум "Курск"

Исторический форум

Детский форум

КЛУБЫ

Пятничные вечера

Клуб любителей творчества Достоевского

Клуб любителей творчества Гайто Газданова

Энциклопедия Андрея Платонова

Мастерская перевода

КОНКУРСЫ

За вклад в русскую культуру публикациями в Интернете

Литературный конкурс

Читательский конкурс

Илья-Премия

ДЕТЯМ

Электронные пампасы

Фантастика

Форум

АРХИВ

2001

2000

1999

Фотоархив

Все фотоматериалы


Новости
"Русский переплет" зарегистрирован как СМИ. Свидетельство о регистрации в Министерстве печати РФ: Эл. #77-4362 от
5 февраля 2001 года. При полном или частичном использовании
материалов ссылка на www.pereplet.ru обязательна.

Тип запроса: "И" "Или"

24.06.2018
18:40

Расшифрован Розеттский камень активных галактических ядер

24.06.2018
18:24

Физики создали суператомы

24.06.2018
18:14

Для создания квантового компьютера совместят темпоральные кристаллы и майорановские фермионы

23.06.2018
22:34

В России изобрели электроракетный двигатель на йоде

23.06.2018
22:15

«Поле чудес в стране дураков»

23.06.2018
22:14

Источник HESS J1943+213 оказался экстремальным блазаром

23.06.2018
22:09

О неподтвержденных околоземных объектах

23.06.2018
22:02

Парадоксы Вселенной: масса продолжает удивлять физиков

23.06.2018
10:58

"Белиберда или обыкновенное барокко?" - новое в литературном обозрении Соломона Воложина

22.06.2018
22:35

Россия включается в космическую гонку

22.06.2018
22:30

С секстантом в космос

22.06.2018
22:24

«Красные самородки» стали настоящим галактическим Клондайком для астрономов

22.06.2018
17:32

Почти 80 экзопланет-кандидатов идентифицированы в рекордные сроки

22.06.2018
17:27

Ученые расшифровали «розеттский камень» активных ядер галактик

22.06.2018
17:23

Британские физики объяснили, почему мы не найдем инопланетян

22.06.2018
17:12

Астрономы напрямую увидели недостающую барионную материю Вселенной

22.06.2018
17:06

В небе над Липецком сгорел суперболид

22.06.2018
17:03

Нейросеть Facebook предсказала движения музыкантов по аудиозаписи

    Разработчики из Facebook представили нейросеть, которая умеет предсказывать движения рук музыканта по аудиозаписи. Система слушает музыкальную композицию и одновременно проецирует в дополненной реальности аватара, играющего мелодию. Программисты, чья статья была представлена на конференции Conference on Computer Vision and Pattern Recognition (CVPR), считают, что разработка может быть полезна для обучения игре на музыкальных инструментах.

    Сегодня для самостоятельного обучение игре на различных инструментах используются разные приложения и видеоуроки. Однако они, как правило, позволяют рассмотреть движения музыканта лишь с определенного ракурса. Перенос учителя в виртуальную или дополненную реальность может быть удобен для пользователей, так как он позволит им полностью увидеть правильную постановку рук при игре на инструменте.

    Группа разработчиков под руководством Эли Шлицермана (Eli Shlizerman) решила создать виртуальный аватар, который бы мог имитировать движения рук пианиста или скрипача, основываясь на аудиозаписи. Для этого они использовали LSTM-нейросеть. Это разновидность архитектуры рекуррентных нейросетей, где каждый слой имеет обратную связь с другими слоями и обладает своеобразной памятью, позволяющей учиться на своих ошибках и усваивать долгосрочные связи (подробнее об LSTM-нейросетях можно почитать в нашем материале «Самая человеческая задача»).

    В качестве данных для обучения программисты использовали публично доступные видеозаписи, на которых профессионалы играют на музыкальных инструментах без аккомпанемента. Для пианино исследователям удалось собрать 3,6 часа материала, для скрипки — 4,4 часа. На каждом кадре видеозаписи нейросеть определяла, где находятся руки и пальцы исполнителя и строила скелетную модель. Она сопоставляла эти данные с мел-частотным кепстральными коэффициентами, которые используются в качестве характеристики аудиосигналов. Важно заметить, что исследователи не использовали midi-файлы, поэтому нейросеть не обучалась зависимостям между нотами и, например, конкретными клавишами пианино.

    В результате программа научилась определять взаимосвязь между характеристиками звука и движениями рук музыканта и строить предсказания. Созданную нейросетью скелетную модель разработчики использовали для создания аватара в дополненной реальности. Итог их работы можно увидеть на видео ниже:

    На видеоролике хорошо видно, что аватар скорее подражает музыкантам, чем полноценно повторяет их движения. Тем не менее, движения виртуального персонажа выглядят вполне естественно. По мнению создателей, в будущем подобная технология может найти множество применений. Например, аватар может быть использован для обучения — в то время как он будет копировать движения профессионала в виртуальной реальности, пользователь сможет обойти его с разных сторон и понаблюдать за техникой игры.

    Сегодня виртуальные аватары все чаще используются для решения различных задач. Например, с их помощью предлагают опрашивать свидетелей преступления, лечить больных шизофренией и парализованных людей.

    По информации https://nplus1.ru/news/2018/06/22/facebook-music

    Обозрение "Terra & Comp".

Выскажите свое мнение на:

22.06.2018
16:58

Общую теорию относительности подтвердили на галактических масштабах

22.06.2018
16:27

Зонд «Хаябуса-2» увидел 150-метровую скалу и валуны на астероиде Рюгу

<< 181|182|183|184|185|186|187|188|189|190 >>

НАУКА

Новости

Научный форум

Научно-популярный журнал Урания в русском переплете

Космические новости

Энциклопедия космонавтика

Энциклопедия "Естествознание"

Журнальный зал

Физматлит

News of Russian Science and Technology

Научные семинары

Почему молчит Вселенная?

Парниковая катастрофа

Хронология и парахронология

История и астрономия

Альмагест

Наука и культура

НАУЧНЫЕ ОБОЗРЕНИЯ

"Физические явления на небесах"

"TERRA & Comp"

"Неизбежность странного микромира"

"Биология и жизнь"

ОБРАЗОВАНИЕ

Открытое письмо министру образования

Антиреформа

Соросовский образовательный журнал

Биология

Науки о Земле

Математика и Механика

Технология

Физика

Химия

Русская литература

Научная лаборатория школьников

КОНКУРСЫ

Лучшие молодые
ученые России

Для молодых биологов

БИБЛИОТЕКИ

Библиотека Хроноса

Научпоп

РАДИО

Читают и поют авторы РП

ОТДЫХ

Музеи

Игры

Песни русского застолья

Народное

Смешное

О НАС

Редколлегия

Авторам

О журнале

Как читать журнал

Пишут о нас

Тираж

РЕСУРСЫ

Поиск

Проекты

Посещаемость

Журналы

Русские писатели и поэты

Избранное

Библиотеки

Фотоархив

ИНТЕРНЕТ

Топ-лист "Русского переплета"

Баннерная сеть

Наши баннеры

НОВОСТИ

Все

Новости русской культуры

Новости науки

Космические новости

Афиша

The best of Russian Science and Technology

 

 


Если Вы хотите стать нашим корреспондентом напишите lipunov@sai.msu.ru

 

Редколлегия | О журнале | Авторам | Архив | Ссылки | Статистика | Дискуссия

Галерея "Новые Передвижники"
Пишите

© 1999, 2000 "Русский переплет"
Дизайн - Алексей Комаров

Русский Переплет
Rambler's Top100 TopList