针对边缘模型推理的分布式协同、设备异构和场景复杂等关键问题,本文提出了设备无感知模型推理的三层架构,即协同环境层、推理调度层、场景优化层,并对每一层的工作进行了整理与分析。在此基础上,本文从开源框架标准、跨层调度优化等方面梳理了未来设备无感知推理范式的发展方向。
[设备无感知, 边缘模型, 协同推理]
[王帅, 李博睿, 王维龙]