LiteRT-LM是Google推出的生产级、高性能开源推理框架，专为在边缘设备部署大语言模型设计。支持跨平台运行于Android、iOS、Web、桌面及IoT设备（如Raspberry Pi），通过GPU和NPU硬件加速提升性能，并支持视觉与音频多模态输入。
关键技术特性
- 跨平台支持：覆盖移动应用、浏览器及物联网设备，适配主流操作系统。
- 硬件加速能力：利用GPU和NPU实现峰值性能，满足实时推理需求。
- 多模态支持：同时处理图像、音频及文本输入，拓展应用场景。
- 智能体工作流：通过工具调用API实现函数调用功能，支持复杂任务编排。
生产级部署实践
Google内部应用
该框架已部署于Chrome浏览器、Chromebook Plus设备及Pixel Watch等Google产品线。用户可通过Google AI Edge Gallery应用直接在设备运行测试模型。
快速体验方式
支持通过CLI工具在Linux、macOS、Windows（WSL）或树莓派上直接运行模型:
litert-lm run --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm gemma-4-E2B-it.litertlm --prompt="法国首都叫什么？"
也可使用uv工具快速安装CLI环境。
语言API支持
- Kotlin：已稳定，适用于Android原生应用开发。
- Python：已稳定，适合原型快速开发与脚本编写。
- C++：已稳定，提供高性能原生环境支持。
- Swift：开发中，即将支持iOS与macOS设备。
版本更新动态
V0.10.1 (当前)
新增Gemma 4模型支持，集成CLI命令行工具，性能表现显著提升。
V0.9.0 更新
优化函数调用功能，改进应用稳定性基础架构。
V0.8.0 更新
首次启用桌面GPU多模态支持能力。
V0.7.0 更新
实现Gemma系列模型的NPU硬件加速优化。
LiteRT-LM通过高性能边缘推理能力，为物联网与移动设备的大模型落地提供可靠技术支撑。