端侧AI推理,高效部署PyTorch模子:民间新工具开源,Meta已经用上了
时间:2025-03-16 00:22:07 分类:知识
ExecuTorch 是端侧一个端到真个处置妄想 ,可能在挪移以及边缘配置装备部署(搜罗可衣着配置装备部署、推理手机等)上实现推理功能。高效
在 2023 年 PyTorch 大会上,部署一个深受巨匠体贴的模民间推理下场患上到了很好的处置,会上宣告了一个用于在边缘以及挪移配置装备部署上实现 AI 推理的新工处置妄想 :ExecuTorch,而且仍是具开经用开源的,而增长这一钻研的源Ma已,正是端侧 Meta AI 与 PyTorch 基金会 。

ExecuTorch 地址:https://github.com/pytorch/executorch
学习文档:https://pytorch.org/executorch/stable/index.html
随着 ExecuTorch 的推理开源,预示着 AI 运用挨次在配置装备部署受骗地运行、高效而需衔接到效率器或者云成为可能