TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
作者: Victor Shea-Jay Huang, Le Zhuo, Yi Xin, Zhaokai Wang, Peng Gao, Hongsheng Li
发布时间: 2025-03-11
来源: arxiv
研究方向: 图像生成与可解释性研究
主要内容
本文研究了扩散模型在图像生成中的可解释性问题，提出了一种名为TIDE的框架，旨在通过时间感知稀疏自编码器来提高扩散模型中时间重建的性能，并增强模型的可解释性。
主要贡献
1. TIDE框架：通过时间感知架构和渐进式稀疏调度，将稀疏自编码器应用于扩散模型，以提取可解释的特征并保持生成质量。
2. 可扩展性分析和评估：分析了TIDE的可扩展性，并与其他稀疏自编码器进行了比较，证明了TIDE的优越性能。
3. 可解释性：使用TIDE证明了扩散模型通过生成预训练学习层次特征，并通过时间分析验证了扩散模型的粗到细生成过程。
4. 潜在应用：展示了TIDE在图像编辑和风格迁移等下游任务中的实际应用价值。
研究方法
1. 稀疏自编码器（SAEs）：通过稀疏约束来学习紧凑和可解释的表示。
2. 时间感知架构：将时间信息引入激活层，以增强时间依赖特征的表现。
3. 渐进式稀疏调度：在训练过程中逐渐增加稀疏性，以平衡稀疏性和重建保真度。
4. 随机采样增强：通过随机采样来减少干扰并提高特征提取的准确性。
实验结果
实验结果表明，TIDE在重建性能、可解释性和下游任务方面均优于其他稀疏自编码器方法。TIDE能够有效地学习多级特征，如3D、语义和类别特征，并验证了扩散模型在生成预训练过程中内在地组织和学习这些多级概念的能力。
未来工作
未来工作将专注于优化稀疏约束的设计，探索动态稀疏激活机制，以提高编辑质量并保持可解释性和稳定性。