微软“小冰乐队”编曲生成框架新突破：刚作曲《梦如江月》念赤壁

win10 2018-08-21 23:01:12 转载来源: IThome

8月18日晚上，微软小冰参加了新一期的央视《机智过人》节目，听歌作曲金牌制作人黄国伦PK人工智能小冰，转音歌姬黄龄开嗓复活苏轼《念奴娇》，在节目中小冰挑战的是快速作曲并且希望欺骗人类。与此同时，KDD 2018 大会揭晓了今年的奖项，在这个知识挖掘和数据决策领域全球最顶级的学术盛会上，微软小冰团队的论文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》（《小冰乐队：流行音乐的旋律与编曲框架》）获得了Research Track最佳学生论文

8月18日晚上，微软小冰参加了新一期的央视《机智过人》节目，听歌作曲金牌制作人黄国伦PK人工智能小冰，转音歌姬黄龄开嗓复活苏轼《念奴娇》，在节目中小冰挑战的是快速作曲并且希望欺骗人类。

与此同时，KDD 2018 大会揭晓了今年的奖项，在这个知识挖掘和数据决策领域全球最顶级的学术盛会上，微软小冰团队的论文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》（《小冰乐队：流行音乐的旋律与编曲框架》）获得了Research Track最佳学生论文。

论文摘要如下：

随着音乐创作知识的发展和近年来需求的增加，越来越多的公司和研究机构开始研究音乐的自动生成。但以往的模型在应用于歌曲生成时存在局限性，这既需要旋律，又需要编曲。此外，许多与歌曲质量有关的关键因素没有得到很好的解决，例如和弦进行和节奏模式。特别是，如何确保多音轨音乐的和谐，这仍然是一个有待探索的问题。

为此，微软对流行音乐的自动生成进行了重点研究，其中，微软考虑了旋律生成的和弦和节奏的影响，以及音乐编排的和声。微软提出了一种端到端的旋律和编曲生成框架，称为“小冰乐队”（Xiaoice Band），该框架产生了由几种乐器演奏的几个伴奏曲目组成的旋律音轨。

具体来说，微软团队设计了一种基于和弦的节奏和旋律交叉生成模型（CRMCG），以生成带有和弦进行的旋律。然后，微软团队提出一种基于多任务学习的多乐器协同编曲模型（Multi-Instrument Co-Arrangement Model，MICA）。最后，在一个真实数据集上进行了广泛的实验，结果证明了XiaoIce Band的有效性。

微软研究人员认为，除了歌词之外，典型的歌曲还包括旋律和编曲。听一首歌是否令人愉快取决于几个关键特征，具体体现在：

和弦进行通常存在于流行歌曲中，它可以指导旋律进行。因此，捕获和弦进行作为歌曲生成的输入是有益的。此外，流行歌曲有几种固定的节奏型，使歌曲更具结构性且有适当的暂停。然而，现有的研究通常会逐个音符地生成音乐而不考虑节奏型。另一方面，虽然有一些工作利用和弦进行音乐生成，但它们只使用单个和弦作为输入的特征而没有考虑到整个和弦进行。
完整的歌曲通常需要考虑和弦，节拍，节奏型以及编曲，即需要其他乐器来进行背景音乐的伴奏，例如鼓，贝司，弦乐和吉他。最近的一些工作可以产生歌曲的旋律，但是它们没有考虑多音轨编曲。
不同的音轨和乐器有各自的特点，但它们应该相互协调。一些现有的方法解决了多轨音乐的生成，但没有一个考虑到多轨音轨之间的和谐。

为此，在本文中，微软提出了小冰乐队，一个用于歌曲生成的端到端旋律和编曲生成框架。具体而言，微软提出基于和弦的节奏和旋律交叉生成模型（CRMCG）来生成给定和弦进行为条件的旋律。然后微软引入多乐器联合编曲模型（MICA）用于多轨音乐。在这里，两个信息共享策略，注意力（Attention）单元和多层感知机（MLP）单元，旨在捕获其他任务的有用信息。前一模型利用和弦进行来指导基于音乐知识的乐段之间的音程关系。后者在不同轨道之间共享信息，以确保编曲的和谐，提高歌曲的质量。对现实世界数据集的广泛实验证明了微软的模型相对于单轨和多轨音乐生成的基线模型的优势。

具体来说，微软的模型创造了许多流行歌曲并通过了CCTV1的图灵测试。本文的贡献总结如下。