Google 把 LiteRT GPU 推理放进共享服务,省体积也要看兼容性

10 月 28 日,Google 宣布为 Google Play services 中的 LiteRT 加入新的 GPU 推理能力,通过 CompiledModel API 使用 ML Drift 加速器。此前要用这套 GPU 栈,应用通常需要自行打包 LiteRT;现在运行时由 Play services 统一提供,多个应用可以共用。

Google 给出的测试结果是:相比旧版 TensorFlow Lite GPU delegate,推理速度约为原来的 1.4 倍,切换后的应用体积减少约 8 MB。这是厂商测试数据,具体收益仍取决于模型和设备。模型继续使用 .tflite 格式,旧 Interpreter API 仍支持 CPU 推理,可以分阶段迁移。

适用范围也要看清楚。官方文档明确,需要兼容没有 Google Play services 的设备,或当前就要用 NPU、自定义算子的应用,应选择独立版 LiteRT。Play services 版的 NPU 支持仍在开发中。输入图片、文本等在设备上处理,但运行时会联网获取更新与兼容信息,也会上报性能、使用情况等指标。

简评:把推理运行时从每个 APK 搬到共享服务,节省安装包和统一更新都很实在。不过对国内设备或定制系统,首先要确认目标机器有没有这项服务。迁移时除了跑分,还得检查首次初始化、CPU 回退和输出结果是否一致。少打包一个库,也意味着多依赖一层系统服务,省下的体积值得评估,兼容性不能省。比较时最好保留同一模型、同一组输入,再覆盖几档实际设备,别拿一台旗舰机的结果代替全部用户。共享运行时自动更新后,也应保留回归测试,确认加速没有改变业务输出。

来源:Google 官方公告(2026-10-28);LiteRT 官方文档(2026-10-28 更新)。

滚动至顶部