Deep Learning Model Deployment in Multiple Cloud Providers: an Exploratory Study Using Low Computing Power Environments
作者: Elayne Lemos, Rodrigo Oliveira, Jairson Rodrigues, Rosalvo F. Oliveira Neto
发布时间: 2025-04-02
来源: arxiv
研究方向: 云计算与深度学习
主要内容
本研究探讨了在低资源环境下，使用云服务部署深度学习模型（以GECToR模型为例）的可行性和成本效益。通过在AWS、Google Cloud和Azure三个主要云平台上的不同硬件配置下进行实验，评估了实时延迟、硬件使用率和成本。
主要贡献
1. 验证了在没有GPU的情况下，使用云服务进行深度学习推理的可行性和成本效益。
2. 确定了处理器缓存大小对于CPU部署的成本效益至关重要，与GPU相比，可以实现超过50%的成本降低。
3. 为资源受限的用户（如初创公司）提供了使用云服务进行深度学习推理的解决方案。
4. 为在低资源环境中部署深度学习模型提供了有价值的见解和指导。
研究方法
1. 负载测试：评估了在不同工作负载场景和计算配置下，GECToR模型在云环境中的响应时间、vCPU和内存负载。
2. 实验设计：选择了五个非GPU硬件配置和两个GPU配置，在三个云平台上进行了实验。
3. 性能评估：使用了实时延迟、硬件资源消耗和基础设施成本等指标来评估模型的性能。
4. 数据分析：对实验结果进行了统计分析，以确定最佳硬件配置和成本效益。
实验结果
实验结果表明，GPU在性能方面表现卓越，但成本是解决方案的300%。处理器缓存大小对于成本效益的CPU部署至关重要。在没有GPU的情况下，可以使用云服务进行深度学习推理，从而降低成本。
未来工作
未来工作将探索不同类型深度学习模型对资源需求的影响，并比较不同云提供商的性能和定价。此外，将考虑包括更多云提供商或区域服务，以提供更多成本效益的选项。