蘋果開發出了一項能夠實時理解和識別用戶屏幕上顯示內容的人工智能技術，而且無需依賴屏幕截圖或圖像數據輸入。這項技術被稱為ReALM(Real-time Analysis of Live Media)，它使得在與用戶交流的過程中，智能助手能夠看到用戶所看到的一切內容，并理解用戶當前正在進行的活動，從而隨時提供幫助。

　　ReALM技術通過將屏幕上的元素和布局轉換為文本形式，然后利用這些文本信息來解析用戶提出的與屏幕內容相關的查詢或指令。比如用戶可以說“打開我屏幕上顯示的第一個應用”或“讀取屏幕中央的新聞標題”，即使實際上該智能助手并未“看到”用戶的屏幕。

　　這種能力特別適用于需要對屏幕上信息進行快速反應和處理的應用場景，比如虛擬助手和輔助技術等。通過ReALM技術，智能助手可以更加智能地理解用戶的意圖，并提供更加準確和個性化的幫助和服務。

　　這一舉措預示著 iOS18將于2024年6月的 WWDC 發布，屆時我們預計將推出全新的 Siri2.0，盡管目前尚不清楚該模型是否會及時集成到 Siri 中。這并不是蘋果最近幾個月在人工智能領域的首次嘗試，公司推出了一系列新模型、工具以及合作伙伴關系，所有這些都預示著一家準備將人工智能作為業務中心的公司。

　　ReALM 是蘋果快速增長的人工智能研究團隊發布的最新消息，也是第一個專注于改進現有模型的消息，使其更快、更智能和更高效。

　　該公司聲稱，甚至在某些任務上優于 OpenAI 的 GPT-4。最新發布的詳細信息來自蘋果公司于周五發布的一篇新的開放研究論文，首次由 Venture Beat 在周一報道。對于它是否將實際成為 iOS18的一部分，蘋果公司對此尚未置評。

　　ReALM 是如何工作的?

　　ReALM 與 GPT-4等模型相比要小得多。但這是因為它不需要做所有的事情。它的目的是為其他人工智能模型提供上下文，比如 Siri。

　　這是一個視覺模型，重新構建屏幕并標記每個屏幕實體及其位置。這創建了屏幕布局的基于文本的表示，可以傳遞給語音助手，為用戶請求提供上下文線索。

　　在準確性方面，蘋果表示，盡管體積更小、速度更快，ReALM 在一些關鍵指標上的表現與 GPT-4相當好。

　　這對 Siri 意味著什么?這意味著，如果未來版本的 ReALM 被部署到 Siri—— 甚至是這個版本 —— 那么當用戶告訴它打開這個應用程序，或者告訴我這個圖像中這個詞的含義時，Siri 將更好地理解用戶的意圖。

　　它還將使 Siri 在不必完全部署像 Gemini 這樣的大型語言模型的情況下具有更多的對話能力。當結合其他最近的蘋果研究論文，允許 “一次性” 響應 —— 即 AI 可以從單個提示中獲得答案 —— 這表明蘋果仍在大力投資于 AI 助手領域，而不僅僅依賴外部模型。