苹果公司加入大模型战争

据报道和内部消息，目前苹果的大模型团队只有 16 人，但苹果每天给大模型团队的预算高达数百万美元。

撰文：阿法兔

根据科技媒体 The Information 的报道，在目前生成式 AI 爆火的 4 年前，苹果公司就成立了团队，专门开发大语言模型。不过，根据 8 月初苹果的财报，营收连续第三个季度下降，也是苹果自 2016 年以来最持久的财报表现下滑，主要是 iPhone 消费设备需求的下降，因为苹果利润的主要驱动力很大一部分来自于 iPhone，那么，大语言模型会给苹果带来新的增长点吗？

据报道和内部消息，目前苹果的大模型团队只有 16 人，但苹果每天给大模型团队的预算高达数百万美元。

The Verge 提到，苹果的生成式 AI 由 John Giannandrea 掌舵，也有消息说 Giannandrea 对人工智能语言模型驱动的聊天机器人的潜在应用场景，表示怀疑。

苹果的其他团队也在参与人工智能的研究，某个视觉智能部门正在开发图像生成模型，还有其他小组正在参与多模态研究。

苹果正在开发新的聊天机器人，将与使用 AppleCare 的客户互动。还有用来优化 Siri 使用场景的。

观察苹果公司人工智能领域的人才，也是目前看来，优势不一定明显，但是苹果在移动设备的优势一骑绝尘，全球活跃的苹果设备超 20 亿，并且，苹果也有计划在 Siri 中集成语言模型，让用户通过语音指令自动完成复杂的任务（人机交互界面的创新）。

苹果在数据保护和隐私领域的能力也相对强，随着大模型的进一步普及，运行成本越来越低，移动设备究竟有没有可能运行 ( 大 ) 语言模型？

人工人脸识别 AI 模型完全在 iPhone 上运行，而不是在服务器上，会从某种层面上降低人们对人工智能数据隐私的担忧。

现在苹果公司的 Ajax GPT（2000 亿 + 参数）需要大量的计算和内存，无法在移动设备上运行，但很多开发人员已经在手机和笔记本电脑上运行了现有模型的小版本——谷歌 PaLM 2 和 Meta Platforms 的 Llama 2，等等。( 下图为苹果的 Ajax GPT 的表现 )

2023 年 9 月 4 日，苹果团队发布了名为《 One Wide Feedforward is All You Need 》的论文（见下图）。

在这篇论文中，苹果团队研究了 FNN——前馈神经网络（Feedforward Neural Network）在 Transformer 模型中的重要性,分析了跨层共享 FFN 的影响。然后发现，FFN 组件的冗余性，对 Transformer 模型的影响非常大。

并且这篇论文在结尾进行了伦理声明，对模型训练的能耗进行了考量，提到了防止隐私泄露的必要性。

基于苹果在移动设备和 PC 上的市场占有率，如果苹果公司的开发人员能够让更小版本的 Ajax GPT 在 iPhone 和 Macbook 上完全运行，就能满足很多移动用户在终端设备的需求。

除此之外，苹果人工智能团队有不少前谷歌人工智能的研究员，因此，苹果会更偏爱谷歌的云服务和 TPU。例如，苹果的模型训练软件针对 TPU 进行了优化 (Optimized for TPUs)。

但是，如果苹果对语言模型的使用（因此对 TPU 的需求）出现爆炸式增长，在谷歌在与亚马逊（AWS）和微软（Microsoft）等其他云服务商竞争时，苹果会获得新的增长动力吗？

参考资料：

https://arxiv.org/pdf/2309.01826.pdf

https://www.theverge.com/2023/9/6/23861763/apple-ai-language-models-ajax-gpt-training-spending

https://www.theinformation.com/articles/apple-boosts-spending-to-develop-conversational-ai?rc=ypdxx3

https://www.theinformation.com/articles/apple-enters-the-ai-race-boosting-google-in-the-process?rc=ypdxx3