读懂 Khala：纯声学 Token 如何做到高保真音乐生成

论文为 Khala: Scaling Acoustic Token Language Models Toward High-Fidelity Music Generation（arXiv:2605.01790，2026 年 5 月；7 月已更名为 Shao）

在 Suno 等主流系统普遍采用"语义 Token + 扩散解码"两段式架构的今天，这篇论文偏要证明：只用一套纯声学 Token，靠语言模型就能把结构和音质一起搞定——而且在人耳盲听评测中拿下了开源第一。

一、背景：音乐生成的"两难"

高质量音乐生成要同时满足两个互相拉扯的目标：

• 结构连贯：旋律、节奏、曲式要成立，歌词要踩在正确的时间点上；
• 声学保真：音色、瞬态、泛音细节要真实，不能"糊"。

主流方案的做法是把两件事拆到不同的表示空间里：先用语义 Token（或连续 latent）建模宏观结构，再用扩散模型或神经解码器重建细节。MusicLM、AudioLM、YuE 是"语义→声学"路线，SongBloom、ACE-Step 等是扩散路线。问题在于：两个阶段说两种"语言"，中间要靠翻译，系统复杂、误差容易累积。

Khala 的核心问题意识是：能不能不做翻译，让结构和细节都长在同一套声学 Token 层级里，由粗到细逐步建模？

二、表示层：64 层 RVQ 声学 Token

整套系统的地基是一个 64 层残差向量量化（RVQ） 的神经音频编解码器。RVQ 的思想是"层层逼近"：第 0 层量化器先抓住音频的粗轮廓，之后每一层只编码前面所有层没表示出来的残差。形式上就是：

z ≈ q₀ + q₁ + … + q_N−1

这样音频自然被组织成一个"量化层 × 时间"的二维 Token 空间：浅层管结构（音高、节奏、歌词位置），深层管细节（音色、泛音、瞬态）。关键参数：

• 码本大小 1024，码本维度 128，Token 速率约 21.5 Hz；
• 编码器约 79M 参数，解码器约 178M（DAC 风格的大解码器），量化器约 37M；
• 64 层重建 SDR 达 9.116；作为对比，16 层时失真已经明显可闻。

把 RVQ 堆到 64 层并不容易：层数一深，对抗训练很容易崩。作者的两个稳定化手段值得一提——

• 超大判别器：约 12M 参数、基础宽度 128，是 EnCodec 式配置（0.48M）的约 25 倍，用来压住表达能力暴涨的生成器；
• 黄金比例多尺度 STFT 损失：FFT 尺寸取 [78, 126, 206, 334, 542, 876, 1418, 2296] 这种不规则递进，而不是常见的等比网格，感知质量更稳。

训练数据是中央音乐学院的内部曲库：约 1800 万首、120 万小时音频，其中 410 万首带歌词的人声歌曲、480 万首已验证的纯音乐。

三、生成框架：先起稿，再"超分"

64 层 × 全曲时长，如果把整个 Token 层级拍平成一条序列让模型自回归生成，长度会直接爆炸。Khala 的对策是顺着 RVQ 天然的粗细结构做两阶段分解：

Stage 1 —— 主干模型（Backbone）。输入文本条件（风格 prompt + 目标时长 + 歌词）后，自回归地生成全曲的 q₀、q₁ 两层——即整首歌的"声学脚手架"。序列组织方式是文本在前、两层声学 Token 沿时间交错排列，标准 next-token prediction + 因果注意力。序列长度 16384，对应约 381 秒（6 分多钟）的音乐，足够覆盖绝大多数曲目。

Stage 2 —— 超分辨率模型（SR）。在脚手架之上逐层细化：预测目标层 q_N 时，条件是文本 + 所有更浅层量化表示之和。关键在于：层与层之间是串行的，但每一层内部在时间维度上完全并行。因此从 q₂ 补到 q₆₃，推理过程是固定的 62 步，而不是逐 Token 的几十万步——这就是它能实用的根本原因。

两个模型共享同一个 Transformer 躯干配置：24 层、隐藏维 2048、32 个注意力头（8 个 KV 头）、FFN 5632，躯干约 1.2B 参数；含 embedding 后主干约 1.6B、SR 约 1.8B（SR 词表更大）。文本侧直接用 Llama 3.1 8B 的分词器。训练规模是 8 台 H800 服务器（64 卡），AdamW + 2000 步 warmup + 全局 batch 256。

四、最关键的一个 Trick：混合注意力训练

论文里我最喜欢的一段，是作者坦率记录的一次"翻车"：如果只按上面的方式训练 SR 模型（全注意力逐层细化），音质确实在变好，但歌词唱得一塌糊涂。原因不是模型看不到文本，而是全注意力下文本没有时间锚点——模型学不到"哪句词落在哪一秒"。

作者的假设很精准：最低的声学层 q₀ 应当充当"文本接地的时间脚手架"。于是他们在 SR 训练中混入一个额外的因果目标（Task 0）：给定文本和 q₀ 前缀，预测下一个 q₀ Token——用自回归的方式把歌词的时间线钉进声学脚手架。而原有的逐层细化目标（Task 1）保持全注意力、时间并行。

这就是标题里的 Hybrid-Attention Training：同一个模型里，对齐任务用因果注意力，细化任务用全注意力。推理时只走 Task 1 通路，Task 0 纯粹是训练期的"对齐诱导器"。

另一个工程上很值钱的发现：SR 模型不要从零训，直接用训好的主干模型初始化。两者在同一 Token 空间里工作，主干学到的粗结构与对齐先验可以直接迁移——收敛更快，最终质量也更高。

五、实验：开源第一，但擂台规模有限

主实验是一场 8 系统盲听擂台（4 商业 + 4 开源），10 组 prompt，过滤无效样本后共 766 份有效评分，同时报告 1–5 平均分和 Bradley-Terry 换算的 Elo：

两种口径下 Khala 都是开源第一。对一个没走主流路线的系统来说，这个成绩的含金量在于证明纯声学 Token 路线已经具备实战竞争力，而不只是学术上的另类方案。

消融实验更能说明两个关键设计的价值：

（歌词错误率的测法：用 Qwen3-ASR-1.7B 把生成的歌声转写回文本，再和参考歌词比对。作者也提醒 ASR 指标只是相对参考，人耳可懂的演唱 ASR 也可能转错。）

两组数字都很有说服力：Task 0 是歌词对齐的充分必要条件级组件——砍掉它，歌词直接崩坏而音质毫发无损；主干初始化则是稳定的全方位收益。

六、冷静一下：局限在哪

• "统一"还不彻底。Token 空间统一了，但模型仍是两个。作者试过单模型同时做起稿和细化，同参数预算下效果反而更差——两阶段是当前算力下的务实解，终局应该是一个模型吞下两种任务；
• 地基太贵。64 层 RVQ 的稳定训练依赖超大判别器、特殊损失设计和 120 万小时内部数据，复现门槛不低；
• 评测规模有限。10 组 prompt、766 份评分的擂台只能算中等规模，与 Suno v5 等商业系统的真实差距还需要更大样本检验。

七、总结

Khala 的价值不在于又刷了一个榜，而在于它把一个"结构 vs 保真必须分家"的行业共识打开了一道口子：

① 64 层 RVQ 让"粗结构"和"细音质"共存于同一 Token 空间；
② 两阶段粗细生成 + 时间并行的逐层细化，把这个深空间变得可建模、可推理（固定 62 步）；
③ 混合注意力训练证明：文本–人声对齐可以在纯声学 Token 语言建模中涌现，不需要单独的语义 Token 阶段。

沿着这条路继续走——更强的深层量化器、单模型统一两阶段——"一个模型、一种 Token、端到端生成整首歌"的图景并不遥远。论文的代码和模型权重已开源，感兴趣的同学可以直接上手验证。

参考资料

• 论文地址：arXiv:2605.01790（原标题为 Khala，后更名为 Shao）
• 作者：Jiafeng Liu, Yuanliang Dong, Hongjia Liu, Yuqing Cheng, Zhancheng Guo, Huijing Liang, Wenbo Zhan, Yuming Sun, Xiaobing Li, Feng Yu, Maosong Sun（中央音乐学院 / 清华大学）