Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices

随着对基于GPU的机器学习推理需求的增加，集中式GPU基础设施暴露了其局限性，包括高成本、有限的弹性以及资源约束下的长等待时间。同时，现代基于Apple Silicon的macOS设备配备了强大的GPU，但在正常使用时大多处于闲置状态。本文提出Minions，一种动态分布式的虚拟GPU云，可聚合macOS设备上的闲置Apple Silicon GPU，执行大规模机器学习推理任务。Minions使团队能够利用现有资源进行高效计算。