雖然目前 Siri 可以嘗試描述信息中的圖像，但效果并不穩定。不過，蘋果公司并沒有放棄人工智能領域的探索。在最近的一篇研究論文中，蘋果的人工智能團隊描述了一種可以顯著提升 Siri 智能的模型，而且他們認為這個名為 ReALM 的模型在測試中優于 OpenAI 的知名語言模型 GPT-4.0。

　　ReALM 的特別之處在于，它可以同時理解用戶屏幕上的內容和正在進行的操作。論文將信息分為以下三種類型：

　　屏幕實體：指的是當前顯示在用戶屏幕上的內容。

　　對話實體：指的是與對話相關的內容。例如，用戶說“打電話給媽媽”，那么媽媽的聯系人信息就是對話實體。

　　背景實體：指的是與用戶當下操作或屏幕顯示內容可能并不直接相關的實體，比如正在播放的音樂或即將響起的鬧鈴。

　　如果能夠完美運行，ReALM 將使 Siri 變得更加智能和實用。他們將 ReALM 與 OpenAI 的 GPT-3.5 和 GPT-4.0 進行了性能對比：

　　“我們同時測試了 OpenAI 提供的 GPT-3.5 和 GPT-4.0 模型，并為它們提供了上下文信息，讓它們預測一系列可能的實體。GPT-3.5 只接受文本輸入，因此我們只提供了文字提示。而 GPT-4 能夠理解圖像信息，因此我們為它提供了屏幕截圖，這顯著提升了它的屏幕實體識別性能。”

　　那么蘋果的 ReALM 表現如何呢?

　　“我們的模型在識別不同類型實體方面均取得了顯著進步，即使是最小的模型，在屏幕實體識別上的準確率也比原有系統提升了 5% 以上。與 GPT-3.5 和 GPT-4.0 的對比中，我們最小的模型與 GPT-4.0 的性能相當，而更大的模型則明顯優于它。”

　　論文的結論之一是，ReALM 即使擁有比 GPT-4 少得多的參數，也能在性能上與之匹敵，并且在處理特定領域的用戶指令時表現更加出色，這使得 ReALM 成為一種可以在設備端運行的、實用高效的實體識別系統。

　　對于蘋果而言，如何在不影響性能的情況下將這項技術應用于設備似乎是關鍵所在，隨著 WWDC 2024 開發者大會即將于 6 月 10 日召開，外界普遍期待蘋果將在 iOS 18 等新系統中展示更多的人工智能技術成果。