上周，苹果公司的研究人员在HuggingFace模型库上推出了OpenELM，这是一系列“开源高效语言模型”。这四个变体的参数大小从2.7亿到30亿不等，最有可能成为Apple设备内置AI的候选者。
就背景而言，Apple于2023年12月悄然推出了名为MLX的机器学习框架。接下来是MLLM引导图像编辑(MGIE)，随后是一系列生成式AI工作，包括Keyframer、Ferret-UI和Xcode中的AI代码完成。在大多数情况下，这些项目利用苹果的处理能力，而不是将人工智能功能卸载到云端。
同样，OpenELM代表了Apple在设备上实现AI的方法。通常，公共法学硕士利用数千亿(有时是数万亿)的变量来理解用户输入并决定合适的响应。另一方面，较小的语言模型(例如Microsoft的Phi-3)仅使用38亿个参数，而GoogleGemma则拥有20亿个参数。然而，由于OpenELM对变压器模型架构的独特方法，该模型最终只有2.7亿个参数。
显然，规模小也有一些缺点。其一，OpenELM不是多模式的，参数太少，不可行。此外，正如技术报告所表明的那样，其事实知识相当低。这个问题困扰着所有类似规模的公立法学硕士。然而，由于尺寸较小，人工智能模型可以本地托管在手机或笔记本电脑上，而不是托管在云端。
Apple公开发布OpenELM背离了该公司的典型做法。从模型的完整框架和评估，到训练日志、预训练配置和MLX推理代码，语言模型的各个方面都可以通过HuggingFace公开，供开发人员根据不同的用例进行调整和重新调整。表面上看，如此广泛的发布应该会激励研究人员尝试苹果设备上的可能性，从而增强苹果在人工智能领域的股份。
但这个领域还有其他参与者。微软的Phi-3是一个非常有竞争力的竞争对手，雷德蒙德的其他开放式LLM项目也是如此。Google的2B-3BGemma是另一个。虽然上述所有模型仍然运行速度太慢，但硬件和软件无疑正在朝着小语言模型的正确方向发展。
目前，三星GalaxyS24(亚马逊起价799美元)或使用内部Andes-GPT模型的OnePlus12R等边缘设备必须依赖云处理。无论苹果是否将OpenELM整合到下一代iPhone中，这家总部位于库比蒂诺的公司很可能会与谷歌或OpenAI合作，以实现更重的生成人工智能功能。