MindMem: Multimodal for Predicting Advertisement Memorability Using LLMs and Deep Learning
作者: Sepehr Asgarian, Qayam Jetha, Jouhyun Jeon
发布时间: 2025-02-27
来源: arxiv
研究方向: 广告记忆度预测与广告内容优化
主要内容
该研究提出了一种名为MindMem的多模态预测模型，用于预测广告的记忆度。MindMem通过整合文本、视觉和听觉数据，实现了在LAMBDA和Memento10K数据集上达到最先进的性能。此外，研究还引入了MindMem-ReAd系统，通过基于大型语言模型的模拟来优化广告内容和位置，从而显著提高广告的记忆度。
主要贡献
1. 提出了MindMem，一个基于多模态数据预测广告记忆度的模型。
2. 发现了影响广告记忆度的关键因素，如视频节奏、场景复杂性和情感共鸣。
3. 开发了MindMem-ReAd系统，通过优化广告内容和位置来提高记忆度。
4. 在LAMBDA和Memento10K数据集上实现了最先进的预测性能。
研究方法
1. 多模态数据集成：文本、视觉和听觉数据。
2. 预训练语言模型：LongVA、Qwen2和Gemini Pro 1.5。
3. 深度学习：自注意力池化和交叉注意力机制。
4. 记忆度预测：Spearman相关系数和均方误差。
5. 广告内容优化：LLaMA 3.1模型微调。
实验结果
MindMem在LAMBDA和Memento10K数据集上均优于现有方法，实现了0.631和0.731的Spearman相关系数。MindMem-ReAd系统在50个广告案例中平均提高了19.14%的记忆度，其中16个低记忆度广告的记忆度提高了74.12%。
未来工作
探索更多样化的数据集，如不同类型和行业的广告数据。