本期共选 6 项：音乐/音频生成与通用 AI 各 3 项。排序优先考虑方法新意、实验可信度，以及对长时生成系统的可迁移性。
音乐与音频生成
1. Beyond Reconstruction: Full-Context Generative DiT for Music Generation
日期： 2026-08-09
类别： Music Generation · Hybrid AR + DiT · Long-form · Vocal
建议：精读
FullDiT 指出了混合音乐生成系统里一个很实际的问题：acoustic renderer 训练时看到的是从真实音频提取的干净 codec tokens，推理时却要接收上游 LM 预测出来的有误差 tokens，形成 codec-interface exposure bias。作者用 Error-Matched Distractor Conditioning（EMDC）按各 codebook 的 teacher-forced top-1 error rate 注入 cosine-KNN near-miss tokens，并让 conditional DiT 对完整 acoustic latent 序列做 non-causal self-attention，同时分别编码歌词和 caption。
这与你的系统最直接相关：它不再把 diffusion renderer 当成“给定正确离散计划的重建器”，而是当成“从不完美计划生成完整音频”的条件生成器。四路 CFG 分别控制 codec、lyrics、caption 的 guidance，也提供了比单一 CFG 更细的条件权重设计。论文报告 EMDC 在合成扰动下将 ViSQOL 提高 0.77；但商业系统对比和 leaderboard 结果仍需结合公开复现、数据规模与主观测试细节谨慎看待。
2. Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
日期： 2026-07（近期更新）
类别： Neural Audio Codec · RVQ · Streaming · Efficient Inference
建议：精读
这项工作把 semantic-token-to-RVQ 生成拆成 temporal decoder 与 depth decoder：temporal 模块处理时间依赖，depth 模块在每个时间帧内自回归生成各层 RVQ token。关键改动是同一个 depth decoder 在所有 RVQ levels 间完全共享参数，仅用 codebook index 的 RoPE/DiT-style stage conditioning 区分层级，去掉 Moshi 式 per-level input/output projections。
它对你的 (K=4) RVQ 和长时推理尤其有价值：固定窗口 KV cache 让内存不随音频长度增长，时间轴与 codebook-depth 解耦也比把所有维度压进一个巨大 token space 更自然。需要注意的是，这仍是 RVQ token 的自回归生成，并非标准连续扩散采样；“DiT”主要体现在 adaptive conditioning 结构上，不能直接等同于你的 continuous-latent diffusion renderer。
3. Towards Real-world Environment-aware Zero-shot Text-to-speech Generation
日期： 2026-08
类别： Flow Matching · DiT · Multi-condition CFG · Audio Control
建议：浏览
DAIEN-TTS 在 F5-TTS 式 flow-matching DiT 上把 speaker、background noise 和 reverberation 拆成独立条件分支，并用 speech-environment separation、cross-speaker conditioning 和 triple classifier-free guidance 分别控制三类因素。它还用 SNR adaptation 对齐生成语音与环境 prompt 的强度关系。
任务本身不是音乐生成，但“多个有泄漏风险的条件分支 + 分量式 CFG”很值得迁移到人声音乐：例如把 singer identity、lyrics、style/accompaniment、room/production 分开 dropout 和 guidance。它最大的启发是条件解耦设计；结论能否迁移到完整歌曲仍属推断。
LLM、Deep Learning 与通用 AI
4. AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
日期： 2026-08
类别： Continuous Latent · Flow Matching · Block-causal DiT · Stability
建议：精读
AURORA-LM 不把文本压缩成很窄、容易 diffusion modeling 的 latent，而是保留高容量、可解码、prefix-aligned 的连续表示，再让 block-causal DiT 以 flow matching 建模：block 间从左到右，block 内并行去噪。更有意思的是，它只限制 noisy-input pathway、保留 full clean-latent prediction target，并按 latent width 校准 noise-level distribution。
与你当前幅度膨胀和多步轨迹偏移问题最相关的是 self-trajectory consistency：作者明确用它缩小独立采样训练噪声与迭代去噪推理轨迹之间的差距。论文称 1B 模型在 matched protocol 下超过更大的 latent-diffusion LM，但目前实验集中在文本与 Ascend NPU；迁移到音频 latent 的收益需要自行验证。
5. Learning how to Forget: Fine-tuning for Long-Context Sparse Attention
日期： 2026-08-20
类别： Long Context · Sparse Attention · KV Cache · Fine-tuning
建议：精读
多数 KV-cache eviction/sparse-attention 方法直接把训练好的 full-attention 模型拿来裁剪；这篇工作的核心是让模型在 fine-tuning 时与指定的 KV policy 共同适应。方法可以配合不同缓存策略，在单张 40GB A100 的中等预算上训练，并提供带专用 scaled dot-product attention kernel 的 H2O 实现和开源 KeysAndValues library。
对 5–60 分钟音乐建模而言，这比单纯换 sliding window 更重要：模型可以学会把可丢弃信息写入局部表示、把结构锚点保留在稀疏 KV 中。论文甚至报告某些设置优于 exact-attention sequence-parallel baseline，但该结果可能混入 regularization 或训练配置差异，值得重点核查 ablation，而不是直接接受“稀疏优于完整注意力”。
6. Spatially-Grounded Flow Matching: Structured Source Distributions for Image Generation
日期： 2026-08-16
类别： Flow Matching · Source Distribution · DiT · Controllability
建议：浏览
StructFlow 质疑 flow matching 默认使用 i.i.d. Gaussian source 是否符合空间数据的局部结构，并让小区域内的像素共享一部分噪声，使 transport path 自带局部相关性。作者报告这种 structured source 能改善局部重绘的边界保持、结构保真和语义插值，并可通过轻量 post-training 注入已有大模型。
迁移到音频时，最自然的对应不是二维像素块，而是时间邻域、时频 patch、声道间相关或乐段级共享噪声。这个想法可能同时帮助长时连贯性和你遇到的 stereo/幅度稳定问题，但这部分尚无音频实验证据，属于值得做小规模 ablation 的研究假设，而非已验证结论。
本周最值得读
- FullDiT：直接命中混合 AR→DiT 音乐系统的 train–inference interface shift。
- AURORA-LM：self-trajectory consistency 与 noise calibration 对连续 latent diffusion 的稳定性很有启发。
- Learning how to Forget：为长时音乐 Transformer 提供比硬裁剪 KV cache 更合理的训练路线。
如果只精读一篇，先看 FullDiT；如果准备做稳定性实验，再接着看 AURORA-LM。