PromptMap: An Alternative Interaction Style for AI-Based Image Generation
作者: Krzysztof Adamkiewicz, Paweł W. Woźniak, Julia Dominiak, Andrzej Romanowski, Jakob Karolus, Stanislav Frolov
发布时间: 2025-03-14
来源: arxiv
研究方向: 人工智能交互与图像生成
主要内容
该研究提出了一种名为PromptMap的新交互方式，用于AI图像生成。它允许用户通过地图视图探索大量的合成提示示例，帮助用户找到灵感并更好地构建有效的提示。
主要贡献
1. 1. 实现了PromptMap，一个允许用户在广泛的提示示例库中寻找灵感的系统。
2. 2. 通过实证研究评估了用户在PromptMap界面中的工作流程。
3. 3. 开发了一种生成大规模提示示例集的方法，使用大型语言模型进行合成数据生成。
4. 4. 发布了一个大规模合成提示数据集，并提供了原型和数据生成管道的源代码。
研究方法
1. 1. 使用合成数据生成方法来创建大量的提示示例。
2. 2. 设计了一个地图视图，允许用户通过语义缩放探索示例。
3. 3. 实施了搜索功能，帮助用户通过提示注释查找示例。
4. 4. 进行了定量和定性研究来评估PromptMap的效果。
实验结果
研究结果表明，PromptMap的使用可以改变用户的工作流程，从试错法转向以示例驱动的方法。用户表示，PromptMap的视觉聚类使探索相关想法变得更容易，并且显示的示例比基线具有更大的多样性。
未来工作
未来工作将包括：1. 结合不同的方法，例如注意力图可视化和其他控制输入，如分割掩膜或修复。2. 研究如何推荐关键词以解决依赖表面美学关键词的问题。3. 改进地图的可用性，例如改进点选择、结果显示和图像预览选择算法。4. 探索将方法应用于其他类型的文本引导生成，如文本到3D、文本到视频或文本到音频。