CrowdHMTware: A Cross-level Co-adaptation Middleware for Context-aware Mobile DL Deployment
作者: Sicong Liu, Bin Guo, Shiyan Luo, Yuzhan Wang, Hao Luo, Cheng Fang, Yuan Xu, Ke Ma, Yao Li, Zhiwen Yu
发布时间: 2025-03-07
来源: arxiv
研究方向: 移动深度学习部署与优化
主要内容
CrowdHMTware 是一个针对异构移动设备的动态上下文自适应深度学习部署中间件。它通过建立跨级自适应机制，实现弹性推理、可扩展卸载和模型自适应引擎之间的自动化适应循环，从而提高可扩展性和适应性。
主要贡献
1. 提出了第一个动态移动上下文自适应中间件，实现了跨级协同适应。
2. 实现了跨级别自动化适应循环，包括算法级弹性推理和可扩展卸载，以及模型自适应引擎级。
3. 在五个移动应用和15个典型移动和嵌入式设备上进行的实验表明，CrowdHMTware 可以自适应地将各种深度学习模型部署到动态和异构的移动部署环境中，优于最先进的基线。
4. 隐藏了运行时系统问题，减少了所需的开发人员专业知识。
研究方法
1. 资源感知弹性深度学习推理
2. 可扩展深度学习卸载
3. 模型自适应后端编译引擎
4. 自动适应循环
5. 资源可用性监控
6. 运行时性能分析器
7. 优化器
实验结果
CrowdHMTware 在不同模型、设备和用户需求下与基线进行了比较。结果表明，CrowdHMTware 在准确性、延迟、内存使用和能耗方面都取得了显著的改进。
未来工作
进一步探索深度学习模型的动态架构搜索和自适应架构设计，以提高模型的适应性和效率。