九天研究院研發的端側自主智能體模型JT-GUIAgent-V2，在谷歌AndroidWorld自主智能體動態基準測試國際榜單中，任務成功率(Success Rate pass@1)達到67.2%，超越了基于GPT-4o、Gemini2.5、Seed1.5-VL等基座模型驅動的多個GUI Agent框架和模型，位列榜單Top1!這標志著中國移動在端側復雜智能體系統的人機交互技術方面達到了國際領先水平。
GUI Agent(圖形用戶界面智能體)是一種前沿的人工智能代理系統，它融合計算機視覺、自然語言處理和強化學習等多種AI核心技術，能夠自動推理并執行UI交互，像人類用戶一樣，通過圖形用戶界面感知操作環境，模擬人類完成跨平臺任務，理解并執行在圖形界面上的各種操作指令，如點擊、輸入、拖拽、讀取界面信息等，實現用戶要求的復雜任務自動化處理。這種技術突破有效解決了傳統人工操作的效率瓶頸。簡單來說，GUI Agent 就像端側的“自動駕駛系統”，能夠代替用戶與各種軟件應用進行自動交互，顯著提高了工作效率和用戶操作體驗。
然而，GUI Agent在實際應用中面臨三大核心技術挑戰：一是如何準確感知理解動態多變的多模型UI界面，二是如何對復雜長鏈條任務做到高效推理，三是在任務執行過程中如何做到自動糾偏處理。這些技術難題的解決不僅依賴計算機視覺、自然語言等單一技術領域的突破，而且需要多模態融合與持續學習的協同創新，對現有AI技術體系提出了全方位的嚴苛要求。為此，JT-GUIAgent-V2在架構設計和智能規劃上實現了全面升級。相比1個月前發布的V1版本，新版本在自然語言指令理解、UI元素多模態感知、目標任務識別推理以及自動化執行等方面實現了全方位能力躍遷，真正實現了“任務自動觀察-自主思考-自動執行”的全鏈路閉環，其核心技術優勢體現在以下兩大創新：第一，自主構建兩階段的協同框架。創新設計全局規劃智能體(Planner)和感知定位智能體(Grounder)兩階段協同框架。Planner專注高階策略規劃，顯著提升復雜任務推理能力和環境適應性;Grounder則確保界面元素的精準識別與操作執行，二者協同形成完整決策閉環。第二，創新性地引入經驗驅動的智能規劃方法，通過實時融合用戶指令解析與應用操作經驗，實現系統的動態決策優化，帶來三個方面的性能和效果顯著提升：一是規劃精準化�。阂虢涷灆z索機制，實時匹配用戶意圖與應用特征，避免規劃冗余或陷入錯誤循環;二是錯誤最小化：有效減少模型“認知盲區”，解決不常見圖標識別、隱藏手勢調用等技術難題;三是任務通用化：通過可擴展的應用經驗積累，提升模型在新任務上的執行準確率。
AndroidWorld是由Google研究人員聯合發布的一個功能完備的Android環境，為自主智能體提供了一個具有高專業性和權威性的基準測試平臺。其特點在于：一是 環境真實，構建了包含20款主流Android應用程序的完整功能環境。二是任務多樣， 精心設計了涵蓋日程管理、信息交流、系統設置等日�；顒拥�116項任務，高度模擬真實用戶場景。三是評測嚴謹， 每項任務均配備標準化初始化、嚴格的成功判定機制及清理邏輯，確保評測結果的高可重復性與可比性。四是能力全面， 重點考察智能體對自然語言指令的理解深度、與動態UI的精準交互能力、復雜任務的高效完成度以及應對任務參數變化的魯棒性。
憑借上述技術優勢，GUI Agent 的強大功能使其在眾多領域擁有廣闊的應用前景。例如，在生活服務場景中，用戶提出語音和文本交互指令，GUI Agent能夠在用戶授權許可應用(如攜程、大眾點評、12306等)中實現跨應用操作，為用戶在多個APP界面的復雜操作提供了全新解決方案;在辦公場景中，用戶只需通過語音或文字向 GUI Agent 下達指令，如 “打開文檔并將其中的關鍵數據整理成表格發送給團隊成員”，它便能自動完成從打開辦公軟件、定位文檔、提取數據到制作表格并發送郵件的一系列操作，無需用戶手動逐一操作;在財務應用中，GUI Agent 能夠自動讀取和整理各類財務數據，生成財務報表，降低人工操作帶來的錯誤風險和時間成本;在軟件開發過程中，GUI Agent 可用于自動化軟件測試，模擬各種用戶操作，快速檢測軟件的穩定性和兼容性;在工業生產中，GUI Agent 可用于自動化控制系統，根據生產指令自動操作設備、監控生產流程，實現生產過程的智能化和自動化，提高生產效率和產品質量。
GUI Agent作為大模型落地的關鍵使能技術，融合了意圖理解、環境感知、自主決策與交互執行等綜合智能能力，未來在智能終端、智能網聯汽車、智能機器人等信息消費“新三樣”領域具有廣闊的應用前景。
九天GUI Agent本次登頂AndroidWorld榜單，充分體現了九天研究院在自主智能體方面的技術實力，更代表了中國移動在智能時代對用戶服務需求和業務體驗方面的深刻洞察和主動創新。未來，中國移動九天人工智能研究院將持續探索更先進的GUI Agent架構與算法，重塑人機交互協作模式，為廣大用戶帶來智能化、便捷化、個性化的全新信息服務新體驗。
文章內容僅供閱讀，不構成投資建議，請謹慎對待。投資者據此操作，風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評，目前站內累計模型數超過80萬個，涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景，基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告，2025年第二季度》顯示，上半年全球智能家居清潔機器人市場出貨1,2萬臺，同比增長33%，顯示出品類強勁的市場需求。
京公網安備 11010502041587號