本發明提出了一種面向邊緣設備深度學習模型推理的自適應批處理和并行調度系統,包括決策模塊、動態批處理調度模塊、模型并行模塊、性能分析器四部分;決策模塊對深度學習模型的批處理和并行推理進行調度建模并為不同模型選擇合適的批處理大小和模型并行數量,動態批處理調度模塊進行批處理推理;模型并行模塊同時處理多個推理請求;性能分析器以在線方式實時收集邊緣設備的系統狀態;與傳統的啟發式和其他強化學習方法相比,本發明設計的基于最大熵強化學習的調度決策算法,在對系統吞吐量和推理延遲的權衡方面有著3.2~58%的性能提升,同時收斂速度是其他算法的1.8~6.5倍;此外,平均調度開銷只有其他算法的49%。
聲明:
“面向邊緣設備深度學習模型推理的自適應批處理和并行調度系統” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)