世界音乐
人工智能大会
2021 北京

中央音乐学院/民族文化宫
2021年10月22-24日

Roger Dannenberg

Roger B. Dannenberg 是计算机科学、艺术和音乐的名誉教授。1982 年获得卡内基梅隆大学计算机科学博士学位。他在计算机音乐领域的研究享誉国际。 他目前的工作包括与人工计算机音乐家的现场音乐表演、交互式媒体、用于声音合成的高级语言以及课程设计的计算机支持。Dannenberg 教授也是一位小号手和作曲家。 他曾在哈莱姆历史悠久的阿波罗剧院到巴黎 IRCAM 的现代 Espace de Projection 音乐厅演出。 除了为音乐家和互动电子产品创作的众多作品外,丹嫩伯格还与豪尔赫·萨斯特 (Jorge Sastre) 共同创作了歌剧 La Mare dels Peixos。

重复结构对 AI 音乐生成的重要性

        音乐被定义为“有组织的声音”。传统音乐是高度组织化的,由多个层次组成。在自然语言中,标记(词)指的是外部概念,例如“声音”这个词意味着这个句子之外的东西。但是在音乐中,我们一般没有“词”和外部参考之类的东西。因此,在音乐中,组织主要是通过重复来实现的。当被识别时,音乐重复作为一种内在参考,因此重复本身就是结构的基础。反过来,结构在听众的期望和惊喜中扮演着重要的角色。

        如果结构和重复在音乐中很重要,那么任何成功的 AI 音乐生成系统都应该能够创建音乐重复并可能学习分层音乐结构。深度学习的一个巨大希望,甚至是声称,这种抽象表示可以直接从数据中学习。在实践中,我们几乎没有证据表明最先进的序列学习器可以形成音乐结构模型或生成令人信服的音乐重复结构。本次演讲将解释这种困难的一些来源。

        我们需要更多地了解音乐的本质,包括结构的作用。最近的工作研究了重复结构与节奏、音高与和声的统计分布之间的关系。例如,众所周知,乐句通常以更长的音符或主音和弦结尾。然而,人们必须问,乐句是由这些特征定义的,还是乐句产生了这些特征?我将描述如何纯粹基于重复而不考虑任何其他乐句边界指标来分割乐句。事实上,这些乐句确实对节奏、音高与和声产生了重大影响。此外,多层次的结构对较低层次的音乐特征产生不同的影响,这证明复杂的层次结构对于音乐创作是必不可少的。

        我将描述一些当前在音乐生成和音乐模仿中使用这些结构思维的工作。在与人类听众的评估中,我们发现,就平均的表现而言,成功的流行歌曲比计算机生成的模仿作品要好,但在随机配对中,这听众对所提供的这两种歌曲都不熟悉,机器生成的歌曲通常可以收到与人类创作歌曲同样好甚至优于人类创作歌曲的评价。我们还发现结构在感知歌曲质量中起着重要作用。