SALMONN是一個多模態神經網絡，能夠直接處理和理解包括語音、音頻事件和音樂在內的一般音頻輸入，并在多種語音和音頻任務上取得競爭性表現。

　　SALMONN采用了兩個互補的音頻編碼器，一個用于處理語音，另一個用于處理非語音音頻事件，以實現對各種音頻任務的優越性能。

　　論文提出了激活調整階段，以解決SALMONN在訓練中過度擬合到某些任務的問題，該階段能夠使SALMONN具備跨模態的新能力，如問答和敘述。這一研究有望推動具有通用聽覺能力的人工智能的發展。