中央音乐学院
吴尚达，目前于中央音乐学院攻读音乐人工智能与音乐科技博士学位，师从俞峰教授和清华大学孙茂松教授。他是一位跨学科研究生，拥有星海音乐学院钢琴演奏学士和中山大学计算机硕士学位。他的研究兴趣主要集中在可控音乐生成、多模态音乐信息检索和自然语言处理领域。吴尚达曾在国际知名学术会议AAAI、ICASSP和ISMIR上发表多篇学术论文，专注于探索音乐与人工智能的交叉领域。他致力于促进音乐与技术的创新融合，为音乐领域带来新的可能性。
报告摘要：
我们介绍了CLaMP：对比性语言-音乐预训练，它使用音乐编码器和文本编码器一起进行对比性损失训练，学习了自然语言和符号音乐之间的跨模态表示。为了预训练CLaMP，我们收集了一个包含140万个音乐-文本对的大型数据集。它采用了文本随机丢弃作为数据增强技术，并使用小节分块来有效表示音乐数据，将序列长度缩短到不到10%。此外，我们还开发了一个掩码音乐建模的预训练目标，以增强音乐编码器对音乐上下文和结构的理解。CLaMP集成了文本信息，以实现符号音乐的语义搜索和零样本分类，超越了以前模型的能力。为了支持语义搜索和音乐分类的评估，我们公开发布了WikiMusicText（WikiMT），这是一个包含1010份ABC符号谱的数据集，每个都附带标题、艺术家、流派和描述信息。与需要微调的最新模型相比，零样本的CLaMP在以谱面数据集上表现出相当或更优越的性能。