擴展現實設備可以通過攝像頭來檢測、追蹤和識別目標事件或對象。對象檢測可用于檢測或識別圖像或幀中的對象，并且可以執行對象追蹤，以便隨時間追蹤檢測到的對象。同時，可以執行圖像分割來檢測幀中的多個片段，對其進行分析和處理以執行所需的圖像處理任務或生成所需的圖像效果。

　　現有的場景分割和/或目標追蹤解決方案有一定的局限性。例如，用于對象追蹤的解決方案的示例包括在前一幀中目標對象的位置附近的區域中執行本地搜索。然而，執行這種局部搜索依賴于基于前一幀的預測，這可能適合于短期追蹤，但不能用于在大量幀(例如超過5幀)重新檢測目標對象。

　　用于對象追蹤解決方案的另一個示例包括通過基于對象檢測結果搜索目標對象來執行檢測和追蹤。這種解決方案的一個問題是，它依賴于對象檢測。這有一定的問題。例如，對象檢測受到可檢測的預定義類的限制，不屬于預定義類的任何對象都無法檢測到。另外，目標檢測是一個復雜的過程，需要大量的計算資源。

　　另一種解決方案涉及使用單獨的分割和追蹤模型，但由于使用兩個模型，這可能具有很高的計算成本。

　　聯合場景分割和一次性長期目標追蹤是一種理想的解決方案，它允許系統利用場景分割的特征在多個幀對一個或多個目標對象執行對象追蹤。這樣的解決方案可以實現實時視頻分割和追蹤。

　　在名為“Scene segmentation and object tracking”的高通專利申請中，高通介紹了一種用于聯合場景分割和一次性長期對象追蹤的場景分割和對象追蹤方法。

　　對于一次長期目標追蹤和分割，場景分割和目標追蹤系統可以進行一次學習，以學習初始幀中定義的新對象。場景分割和對象追蹤系統可以執行長期追蹤。目標分割可以將追蹤的目標對象從背景中分割出來。

　　高通表示，所述技術提供了一種高效的多任務解決方案，可使用語義場景特征進行語義分割和長期一次性對象追蹤和分割，使得系統的計算成本較低。

　　圖1是示出場景分割和對象追蹤系統100的架構的框圖。場景分割和對象追蹤系統100包括用于追蹤視頻幀序列中的對象的各種組件，所述視頻幀序列可包括一個或多個輸入幀101。如圖所示，場景分割和目標追蹤系統100的組件包括語義提取引擎102、特征記憶104、交叉注意引擎106和預測引擎108。

　　場景分割和對象追蹤系統100可以處理至少有一個目標對象位于其中的場景的幀序列。幀序列可以包括一個或多個輸入幀101。

　　在一個實施例中，幀序列可以由場景分割和對象追蹤系統100的一個或多個圖像捕獲設備捕獲。在一個說明性示例中，場景分割和對象追蹤系統100可以包括一個RGB攝像頭或多個RGB攝像頭。在另一個示例中，場景分割和目標追蹤系統100可以包括一個或多個紅外攝像頭和一個或多個RGB攝像頭。

　　語義提取引擎102可以處理來自所述一個或多個幀101的幀，從而為所述幀生成一個或多個分割掩碼103。一個或多個分割掩碼103可包括對所述幀中的每個像素的各自分類。例如，如果幀包含人、樹、草和天空，則語義提取引擎102可以將特定像素分類為“人”類、“樹”類、“草”類或“天空”類。

　　在生成一個或多個分割掩碼103時，語義提取引擎102可以生成多個特征。例如，語義提取引擎102可以包括或是經過訓練以執行語義分割的神經網絡的一部分。

　　所述神經網絡可包括至少一個隱藏層，隱藏層生成一個或多個特征向量或其他特征表示，以表示來自所述一個或多個幀101的每一幀的特征。神經網絡的每個隱藏層可以從前一個隱藏層提供的輸入生成一個或多個特征向量。語義提取引擎102可以從一個或多個隱藏層提取或輸出特征到特征存儲器104。

　　在一個實施例中，語義提取引擎102的輸出輸出到特征存儲器104。特征存儲器104可存儲由語義提取引擎102為所述一個或多個輸入幀101的每一幀提取的特征。存儲在特征存儲器104中的特征可以表示前景和背景。

　　當語義提取引擎102處理每個新的輸入幀時，特征存儲器104或系統100的處理設備可以基于從新輸入幀提取的特征更新存儲在特征存儲器104中的特征。

　　在一個實施例中，當來自預測引擎108的預測置信度小于置信度閾值時，特征存儲器104或處理設備可以暫停更新特征存儲器104。

　　在一個實施例中，特征存儲器104或處理設備可以選擇不確定性小于不確定性閾值的特征來更新特征存儲器104。從初始幀提取的特征保留在特征存儲器104中。

　　例如對于一個或多個輸入幀101的初始幀，場景分割和對象追蹤系統100可以使用前景-背景掩碼105來學習特定幀的前景和背景。前景-背景掩碼105可以是二進制掩碼，包括表示相應輸入幀中的目標對象的第一值和表示相應輸入幀中的背景的第二值的像素。

　　語義提取引擎102可以使用前景-背景掩碼105來指導對相應輸入幀。在一個實施例中，前景-背景掩碼105僅用于初始幀，以初始化為幀序列存儲在特征存儲器104中的特征。場景分割和目標追蹤系統100可以處理幀序列中的后續輸入幀，而不使用前景-背景掩碼作為輸入。

　　在追蹤期間，語義提取引擎102可以生成一個或多個分割掩碼103并提取可被場景分割和對象追蹤系統100用于追蹤幀序列中的至少一個目標對象的特征。例如，語義提取引擎102可以將從當前輸入幀提取的特征輸出到交叉注意引擎106。

　　如上所述，特征表示前景和背景。交叉注意引擎106可從特征存儲器104獲得所存儲的特征。交叉注意引擎106可以將所存儲的特征與從當前輸入幀提取的特征進行比較，以生成表示當前幀的前景和背景的組合表示。

　　交叉注意引擎106可向預測引擎108輸出所述組合表示或特征。預測引擎108基于前景和當前輸入幀的背景在組合表示或特征中的表示確定或預測目標對象在當前輸入幀中的位置，從而生成預測結果107。

　　在一個實施例中，預測引擎108可以生成表示目標對象位置的邊界框。預測引擎108同時可以生成前景-背景掩碼。前景-背景掩碼可用于基于從當前幀提取的特征更新特征存儲器104。

　　圖2是示出場景分割和對象追蹤系統200的示例框圖。場景分割和對象追蹤系統200是場景分割和對象追蹤系統100的示例實施例，用于初始化用于對由場景的一個或多個幀捕獲的一個或多個目標對象執行對象追蹤的系統。

　　例如，場景分割和對象追蹤系統200可以使用初始化幀201來初始化用于追蹤的場景分割和對象追蹤系統。所述初始化幀201可包括所述場景的幀序列的初始幀。

　　在一個說明性示例中，初始化幀201可以具有具有3個顏色通道的480像素×640像素的分辨率，如圖2所示為3×480×640。初始化幀201可以具有任何其他合適的分辨率或顏色通道的數量。

　　語義提取引擎202包括用于執行語義分割和特征提取的語義主干210。語義主干210可以包括機器學習系統，例如經過訓練以執行語義分割的神經網絡。例如，語義主干210可以實現為使用基于監督學習、半監督學習或無監督學習的多個訓練幀或圖像進行訓練的編碼器-解碼器神經網絡。

　　語義主干210可以處理初始化幀201以生成一個或多個分段掩碼203。類似于一個或多個分割掩碼103，一個或多個分割掩碼203可以包括初始化幀201中每個像素的相應分類。

　　如圖2所示，初始化幀201包括幀201中間的一個人和其他背景信息。所述人的身體分類為第一類，所述人的臉分類為第二類，所述幀201中的樹葉分類為第三類，所述幀201中的建筑物被分類為第四類，如所述一個或多個分割掩碼203中的不同圖案所示。

　　一個或多個分段掩碼203可以是任何合適的大小。在圖2所示的示例中，一個或多個分割掩碼203的分辨率為480×640，與初始化幀201的分辨率相匹配，深度為M，對應于語義類別的數量，從而得到M×480×640分割掩碼。

　　在一個例子中，在上面的“人”類、“臉”類、“樹葉”類和“建筑”類的例子中，M可以等于4。在這樣的示例中，存在4個以上的語義類別，但初始化幀201中的對象都不對應于訓練語義主干210對其進行分類的附加語義類別。

　　一個或多個分割掩碼203可用于包括場景分割和對象追蹤系統200或與場景分割和對象追蹤系統200分離的系統中的一個或多個處理。例如，攝像頭系統可以使用分割掩碼來處理幀，例如以不同的方式處理圖像的不同部分。

　　語義主干210生成多個特征，作為生成一個或多個分割掩碼203的過程的一部分。例如在用于語義主干210的神經網絡實現的示例中，神經網絡的每個隱藏層可以在特定深度輸出具有特定分辨率的一個或多個特征圖。

　　在編碼器-解碼器神經網絡的示例中，編碼器部分的每個后續隱藏層可以輸出與前一個隱藏層相比具有較小分辨率的特征映射，而解碼器部分的每個后續隱藏層可以輸出與前一個隱藏層相比具有較大分辨率的特征映射。

　　在一個實施例中，場景分割和對象追蹤系統200可用于追蹤多個對象。在這種多目標追蹤情況下，所有目標對象可以共享相同的提取特征，以便語義主干210只對初始化幀201運行一次。

　　語義提取引擎202可從語義主干210提取特征，并將提取的特征輸出到語義提取引擎202的融合引擎212。例如，構成語義主干210的神經網絡的每個隱藏層可以輸出具有不同分辨率或比例的特征圖。語義主干210可以從一個或多個隱藏層提取特征映射，并將所述特征映射輸出到融合引擎212。

　　語義提取引擎202可將融合特征213輸出到掩碼嵌入引擎214。所述掩碼嵌入引擎214可以使用所述融合特征213和前景-背景掩碼205來學習所述初始化幀201的前景和背景。

　　在一個實施例中，掩碼嵌入引擎214可以使用前景-背景掩碼105來指導學習與前景相對應的融合特征213的特征和與初始化幀201的背景相對應的融合特征213的特征，從而可以提供對初始化幀201中所描繪的場景的前景和背景的一次性學習。

　　例如，掩碼嵌入引擎214可以將為初始化幀201生成的融合特征213與前景-背景掩碼205組合以生成修改的特征215。在一個說明性示例中，為了將融合特征213與前景-背景掩碼205結合，掩碼嵌入引擎214可以將前景-背景掩碼205嵌入到具有卷積層的特定尺寸的特征(用x表示)中，并且可以將特征x添加到融合特征213中。

　　將特征x與融合特征213相加的和可以輸出到另一個卷積層以生成修改后的特征215。修改后的特征215可以具有與圖2所示的融合特征213相同的尺寸和深度，或者可以具有不同的分辨率和/或深度。

　　在一個實施例中，前景-背景掩碼僅可用于初始化幀201，以初始化存儲在特征存儲器204中的用于幀序列的特征。在這方面，場景分割和對象追蹤系統200可以處理幀序列中的后續輸入幀，而無需使用前景-背景蒙版作為執行追蹤的輸入。

　　所述修改的特征215可輸出到特征嵌入引擎216，所述特征嵌入引擎216可進一步將所述修改的特征215嵌入為鍵值對217以初始化所述特征存儲器204。如圖2所示，鍵值對217可以包括兩個特征映射，每個特征映射的維度為30×40，深度為64通道。鍵值對217可以被重塑為一個維度64×N (×2)，其中64是通道的數量，N對應于存儲在特征存儲器204中的鍵值對的數量，×2表示有兩個64×N張量或向量。

　　在這個示例中，有N個鍵和N個值，每個鍵和值都是一個64維張量或向量。存儲在特征存儲器104中的特征的初始存儲的鍵值對可以表示前景和初始化幀201的背景。

　　當幀序列的每個后續幀由語義提取引擎202處理時，存儲在特征存儲器104中的特征可以基于新提取的特征進行更新。

　　圖3是示出場景分割和對象追蹤系統300的示例的框圖，所述系統用于在上述關于圖2的幀序列的初始化幀201之后的一個或多個幀中對一個或多個目標對象執行預測以進行對象追蹤。

　　場景分割和對象追蹤系統300可以基于通過交叉注意執行的全局搜索來執行用于對象追蹤的預測。

　　在一個實施例中，場景分割與對象追蹤系統300是場景分割與對象追蹤系統100在對所述幀序列的一個或多個查詢幀中的一個或多個目標對象執行追蹤時的示例實施例。

　　在追蹤一個或多個目標對象期間，語義主干210可以處理當前查詢幀301并使用上述與圖2相關的技術生成一個或多個分割掩碼303。融合引擎212可以基于從語義主干210提取的特征生成融合特征313。所融合的特征313可輸出到所述特征嵌入引擎216，所述特征嵌入引擎216可生成包含兩個特征映射的鍵值對317。

　　場景分割和對象追蹤系統300的交叉注意引擎306可以處理來自特征存儲器204的鍵值對，并且所述鍵值對317為當前查詢幀301輸出所述特征嵌入引擎216。例如，交叉注意引擎306可以將來自特征存儲器204的存儲的鍵值對與從當前查詢幀中提取的鍵值對317進行比較，以生成表示當前查詢幀301的前景和背景的組合表示。

　　如上所述，發明描述的場景分割和目標追蹤系統和技術可以通過利用語義場景分割期間確定的特征來執行一個或多個目標對象在一系列幀的目標追蹤，從而提供計算效率高的聯合場景分割和目標追蹤。

　　例如，由于用于多對象追蹤的特性是與所有被追蹤的目標對象共享的，因此隨著追蹤的目標對象越來越多，延遲的增加是最小的。另外，語義分割模型是追蹤器的集成模塊，在這種情況下，打開追蹤功能可以減少延遲的增加。

　　名為“Scene segmentation and object tracking”的高通專利申請最初在2022年5月提交，并在日前由美國專利商標局公布。

　　需要注意的是，一般來說，美國專利申請接收審查后，自申請日或優先權日起18個月自動公布或根據申請人要求在申請日起18個月內進行公開。注意，專利申請公開不代表專利獲批。在專利申請后，美國專利商標局需要進行實際審查，時間可能在1年至3年不等。