今日国内综艺 今日港台综艺 今日欧美综艺
地方网 > 娱乐 > 今日综艺 > 今日国内综艺 > 正文

跟郎朗媳妇有一拼的AI 只看弹琴动作 完美复现原声

来源:澎湃新闻 2020-06-30 07:14   http://www.yybnet.net/

金磊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

见识过「听歌识曲」,体验过看弹奏动作识曲吗?

就像最近的一档综艺节目中,郎朗比划了几个弹钢琴的动作,他媳妇(吉娜·爱丽丝)秒答:《柴可夫斯基第一协奏曲》!

来自华盛顿大学的研究团队提出了一种新方法Audeo,就解锁如此神奇的操作——仅仅根据钢琴师弹奏时的动作,就能直接复现原声音乐。

先来体验下这种神奇的感觉。

下面便是钢琴师演奏时的动图,我们能看到的,仅仅就是手指在钢琴键盘上的变换。

然后,你知道这是哪首曲子吗?

大部分人(或许郎朗级别的大神们可以)应该是猜不到的。

但AI可以,下面便是这项技术复现的原声音乐。

那么,这般神奇的操作是怎么实现的呢?

三步实现「看动作识音乐」

简单来说,Audeo方法主要包括三大步骤,分别是:

钢琴按键检测

生成乐谱内容

合成音乐

钢琴按键检测

这个步骤可以理解为一个多标签(multi一label )分类问题。

输入是弹钢琴视频中5个连续的帧,将它们输入到Video2Roll Net中,经过ResNet18、特征变换、特征细化(refinement)和相关学习的处理,最后输出中间帧的按键预测。

值得注意的是,在这个步骤中,研究人员没有直接使用ResNet18,而是在此基础上做了算法改良,提出了Video2Roll Net。

这样做的原因很简单,就是ResNet18检测到的「精度」不够细致,下面2张热力图的对比,便一目了然地展示了2种方法的效果。

生成乐谱内容

在第二个步骤中,就需要将 Roll 转换为 Midi(乐器数字接口),以便合成音乐。

但在上步生成出来的 roll ,没办法直接转换成 Midi,一个至关重要的原因就是—— Roll 不包含时间信息。

此外,由于 Midi 比较依赖音频流,所以经常出现的一个现象就是:演奏者按一个钢琴键的时间较长时,相应频率的幅度会逐渐衰减为零,也就是在 Midi 中会被标记为零。

像下面这张图中显示的那样,就会造成不匹配的现象。

并且,研究人员表示:

这种不匹配的现象,是经常发生的。

于是,研究人员便提出了一个叫 Roll2Midi Net的方法解决了这个问题。

主要是在二者之间加入了一个生成对抗网络(GAN),来调节并解决上述问题。

合成音乐

最后一步,就是根据调节好的 Midi 来生成音乐,主要过程如下图所示。

将 Midi 作为输入,经过一个上采样,而后可以选择通过「Midi 合成器软件」,也可以选择使用「PerfNet+Unet+GriffinLim」的组合方式来生成音乐。

至于 Audeo 方法与其它方法的定量比较,主要集中在第二个核心步骤。

可以明显看到,研究人员在第二步骤中提出来的 Roll2Midi Net方法,在各项评测指标中,都具有一定优势。

合成音乐还可以转换成别的乐器

当然,Audeo 除了精准复现视频中的钢琴音乐外,还有一个更有意思的玩法。

它可以将钢琴原声,转换成其他乐器的声音。

例如,可以将钢琴音乐转换成吉他的声音。

还可以将钢琴音乐转换成日本十三弦古筝的声音。

这个有趣的玩法,主要得益于「合成音乐」这个步骤,选择的方法不同,得到的结果便不同。

研究团队

这项研究由华盛顿大学的三位研究人员共同完成,研究还入围了本届CVPR。

△从左至右:Kun Su、Xiulong Liu和Eli Shlizerman

论文一作是Kun Su,本科就读于美国纽约州伦斯勒理工大学(RPI),目前在华盛顿大学攻读电子与计算机工程系攻读硕士。

△Kun Su

研究的另一位作者是Xiulong Liu,本科在上交大就读,硕士毕业于华盛顿大学,目前在OneClick.ai 担任数据科学家。

△Xiulong Liu

论文最后一位作者是Eli Shlizerman,华盛顿大学应用数学及电子与计算机工程助理教授。

目前专攻生物神经网络和人工神经网络的基本特性,通过结合时空数据分析、机器学习和动力系统理论的方法将这两个系统联系起来。

△Eli Shlizerman

那么问题来了,如果以郎朗的手速弹奏钢琴,这个AI的效果还会如此惊艳吗?

论文地址:

https://arxiv.org/abs/2006.14348

作者系网易新闻·网易号“各有态度”签约作者

— 完 —原标题:《跟郎朗媳妇有得一拼的AI,只看弹琴动作,完美复现原声 | CVPR 2020》

阅读原文

新闻推荐

恐怖童谣 远不止一首《小白船》

原创恺哥新周刊蓝蓝的天空银河里,有只小白船。/隐秘的角落为什么童谣×杀人的套路屡试不爽呢?不用说,童谣中天真稚嫩的童声,...

相关推荐:
娱乐 看点 广西 四川 山东 安徽
猜你喜欢:
评论:(跟郎朗媳妇有一拼的AI 只看弹琴动作 完美复现原声)
频道推荐
  • 路遇汽车起火,他猛踹4脚救出3人80后救人司机罗艺:人在外需互相体谅帮衬
  • 美国纽约:抗议警察暴力执法活动持续
  • 【融媒作品选粹】新冠病房里的“敢死队”
  • 【融媒作品选粹】核酸检测做不做?怎么做才最科学?
  • 【图说】举手之劳
  • 热点阅读
    费纠纷变诈骗案别当笑话看... 路遇汽车起火,他猛踹4脚救出3人80后... 北京四中院公布行政审判白皮书 政府...
    图文看点
    《2019中国艺术发展报告》发布 网络文艺精品化发展渐成主流 《2019中国艺术发展报告》发布 网络文艺精品化发展渐成主流
    乡里乡亲
    垃圾分类要从共识走向落实... 突出政治性、先进性、群众性 推进群... 重庆23个区县降下暴雨 4条河流水位超...
    热点排行
    法治教育进校园 花椒基地来了 一群“小红帽” 武胜县举行送教下乡活动 垃圾分类要从共识走向落实 对标对点 整治改进广安全面做好迎接全国 今年以来,前锋区税务局以争创全国文明单位 双桨激荡青春 “乘风破浪”前行 探访广安 谈心谈话强作风 履职尽责服好务