LiteRT-LM

LiteRT-LM是Google AI Edge团队推出的生产级、高性能开源推理框架，专为在边缘设备上部署大语言模型而设计。它支持Gemma、Llama、Phi-4、Qwen等主流模型，通过高度优化的C++实现，在手机、平板和IoT设备等资源受限环境中实现低延迟推理。LiteRT-LM提供了完整的模型转换、量化和部署工具链，支持Android和多种嵌入式平台。它让开发者无需云端API就能在设备端运行AI对话、代码生成等能力，保护用户隐私的同时降低延迟和成本。