В Китае научили нейросеть превращать речь в пение

Фото: Liqiang Zhang et al. / arXiv.org, 2019

Алгоритм основан на предыдущей разработке Tencent — нейросети DurIAN, которая синтезировала реалистичные видеоролики с говорящими людьми на основе текста.

Разработчики рассказали, что система может работать в обе стороны, конвертировать пение в речь и наоборот.

На сайте авторов опубликованы образцы работы нейросети, пишет nplus1.ru.