Google AI Edge Gallery 是一个实验性的移动应用(目前支持Android,iOS即将推出),旨在展示和体验设备端机器学习(ML)和生成式AI(GenAI)的强大能力。该项目解决了在移动设备上运行复杂AI模型的核心挑战,特别是如何在不依赖云端服务器和互联网连接的情况下,实现高性能的AI推理。
其核心价值在于提供了一个直观的平台,让开发者和普通用户能够亲身体验和评估各种前沿的设备端生成式AI模型。它通过将AI模型直接部署到设备上,解决了数据隐私、网络延迟和离线使用等痛点,使得AI应用能够更加普惠和高效。
项目的工作原理基于Google AI Edge的核心API和工具,以及轻量级运行时LiteRT,优化了模型在移动设备上的执行效率。它集成了LLM Inference API,专门用于设备端大型语言模型的推理。通过与Hugging Face的集成,用户可以方便地发现和下载不同的模型进行测试。
关键特性包括:完全离线运行,所有处理均在设备本地完成;支持用户选择和切换不同的Hugging Face模型进行性能比较;提供“图像问答”功能,允许用户上传图片并提问;“提示词实验室”用于探索单轮LLM用例,如总结、重写、代码生成等;“AI聊天”支持多轮对话;实时性能指标展示(如首次生成时间、解码速度、延迟);以及允许用户导入自己的LiteRT .task 模型进行测试。这些特性使得用户能够深入了解设备端AI的潜力,并为开发者提供了测试和优化模型的便利工具。
Google AI Edge Gallery 最适合以下场景:AI模型开发者用于测试和验证其设备端模型性能;研究人员探索和比较不同模型在真实移动环境下的表现;以及对生成式AI感兴趣的普通用户,希望在没有网络限制的情况下,体验AI的创造力和实用性。它为推动设备端AI的发展和普及提供了重要的实践平台。