InstructRestore: Region-Customized Image Restoration with Human Instructions
作者: Shuaizheng Liu, Jianqi Ma, Lingchen Sun, Xiangtao Kong, Lei Zhang
发布时间: 2025-04-02
来源: arxiv
研究方向: 计算机视觉，图像恢复，自然语言处理
主要内容
本文提出了一种名为InstructRestore的新框架，用于根据用户指令进行区域定制化的图像恢复。该框架能够理解用户指令，并根据指令对指定区域进行精确恢复，同时适当处理背景区域的恢复。
主要贡献
1. 引入了基于人类指令的区域定制化图像恢复任务，这是实际图像恢复任务的一个重要类别。
2. 开发了一个数据生成引擎，并构建了一个包含536,945个三元组的大规模数据集来支持这项任务。
3. 设计了InstructRestore模型，该模型能够理解用户指令进行区域定制化恢复。
研究方法
1. 数据生成引擎：利用Semantic-SAM和Osprey模型从高质量图像中获取掩码和初始描述，然后使用大型语言模型Qwen对这些描述进行迭代解析和细化。
2. InstructRestore模型：基于预训练的SD模型和ControlNet架构，通过将低质量图像的条件特征整合到ControlNet中，以调整图像细节增强的程度。
3. 区域定制化推理：用户可以通过结构化指令在推理过程中指定目标区域和恢复强度。
实验结果
实验结果表明，InstructRestore方法能够有效地实现人类指令驱动的图像恢复，例如具有散景效果和用户指令的局部增强。与现有方法相比，InstructRestore在保持前景清晰度的同时，能够有效地恢复背景的散景效果。
未来工作
未来工作将包括支持实例级对象指定，允许用户指定实例级掩码和标题；进一步探索全局质量优化，以实现更全面的图像恢复效果。