科技云報道原創。

　　最近，又一個概念火了——向量數據庫。

　　隨著大模型帶來的應用需求提升，4月以來多家海外知名向量數據庫創業企業傳出融資喜訊。

　　4月28日，向量數據庫平臺Pinecone宣布獲得1億美元(約7億元)B輪融資;

　　4月22日，向量數據庫平臺Weaviate宣布獲得5000萬美元(約3.5億元)B輪融資;

　　4月6日Chroma獲1800萬美元種子輪融資;

　　4月19日Qdrant獲750萬美元種子輪融資。

　　國內方面，星環科技、北交所云創數據等公司的股價連續異動，其中云創數據自底部以來股價已接近翻倍。

　　7月4日，騰訊云正式發布向量數據庫Tencent Cloud VectorDB，預計8月上線騰訊云官網。

　　一連串的市場動作，都展示了向量數據庫的爆紅。那么，什么是向量數據庫，到底有啥用?

　　什么是向量數據庫?

　　當你在網上看到一張壁紙，你想知道這是哪個國家的美景，卻不知道如何搜索;或者，在閱讀一篇文章時，你想深入了解這個話題，尋找更多的觀點和資料，卻不知道該如何精確描述。

　　這時，你需要的是一個能夠理解你的意圖，為你提供最相關的結果，讓你輕松找到你想要的信息的工具。

　　這就是向量數據庫(Vector Data Base)，它就像一個超級大腦，幫助你解決這些問題。

　　所謂向量數據庫，是一種專門用于存儲、 管理、查詢、檢索向量的數據庫，可以把復雜的非結構化數據通過向量化，處理統一成多維空間里的坐標值。

　　目前，向量數據庫主要應用于人工智能、機器學習、數據挖掘等領域。

　　具體來看，向量數據庫被廣泛地用于大模型訓練、推理和知識庫補充等場景：

　　●支撐訓練階段海量數據的分類、去重和清洗，給大模型的訓練降本增效;

　　●通過新數據的帶入，幫助大模型提升處理新問題的能力，突破預訓練帶來的知識時間限制，避免大模型出現幻覺;

　　●提供一種私有數據連接大模型的方式，解決私有數據注入大模型帶來的安全和隱私問題，加速大模型在產業落地。

　　簡而言之，向量數據庫可以解決大模型預訓練成本高、沒有“長期記憶”、知識更新不足、提示詞工程復雜等問題，突破大模型在時間和空間上的限制，加速大模型落地行業場景。

　　向量數據庫的發展

　　在向量數據庫出現之前，大家普遍使用的是關系型數據庫，如MySQL、Oracle等，這些數據庫以表格的形式存儲數據，適合存儲結構化數據。但對于非結構化數據，如文本、圖像、音頻等，處理起來就相對困難。

　　此外，關系型數據庫在處理大規模數據時，性能會下降，不適合大數據處理。這就像是在一個擁擠的圖書館里找一本書，你知道它在哪個書架上，但是找到它還需要花費大量的時間。

　　而向量數據庫和傳統數據庫的不同點在于，向量數據庫處理的是各種AI應用產生的非結構化數據，通過近似查進行模糊匹配，輸出的是概率上的提供相對最符合條件的答案，而非精確的標準答案。

　　舉例來說，傳統數據庫做圖片檢索可能是通過關鍵詞去搜索，向量數據庫是通過語義搜索圖片中相同或相近的向量并呈現結果。理論是向量之間的距離越接近，就說明語意越接近，效果也有最相似。

　　隨著時間的推移，向量數據庫開始在不同的領域和應用中不斷成長和進化。從20世紀90年代末到2000年初，美國國立衛生研究院和斯坦福大學都開始使用向量數據庫。

　　2005年到2015年間，隨著基因研究的深入和加速，向量數據庫也在并行中增長，像UniVec 數據庫這樣的工具在2017年就已經被廣泛使用，它們在基因序列比對、基因組注釋等領域發揮了重要作用。

　　2017年和2019年之間，向量數據庫開始爆炸式增長，它被應用于自然語言處理、計算機視覺、推薦系統等領域。這些領域都需要處理大量和多樣化的數據，并從中提取有價值的信息。

　　向量數據庫通過使用諸如余弦相似度、歐氏距離、Jaccard 相似度等度量方法，以及諸如倒排索引、局部敏感哈希、乘積量化等索引技術，實現了高效和準確的向量檢索。

　　目前各大廠商使用的推薦系統、以圖搜圖、哼唱搜歌、問答機器人等應用，其內核都是向量數據庫。

　　在今年，向量數據庫開始被用于與大語言模型結合的應用。

　　它為大語言模型提供了一個外部知識庫，使得大語言模型可以根據用戶的查詢，在向量數據庫中檢索相關的數據，并根據數據的內容和語義來更新上下文，從而生成更相關和準確的文本。

　　這些大語言模型通常使用深度神經網絡來學習文本數據中隱含的規律和結構，并能夠生成流暢和連貫的文本。

　　向量數據庫 過使用諸如BERT、GPT等預訓練模型將文本轉換為向量，并使用諸如FAISS、Milvus等開源平臺來構建和管理向量數據庫。

　　總體而言，向量數據庫成功地解決了很多挑戰，并為人們帶來了很多價值。

　　針對傳統關系型數據庫難以處理的大規模數據、低時延高并發檢索、模糊匹配等領域，向量數據庫通過數據的向量化來滿足特定需求，尤其適用于人工智能領域。

　　讓行業大模型具備know how能力

　　隨著AI大模型的崛起，向量數據庫的爆紅也就不難理解。

　　一是，在現實世界里，非結構化數據是“主流”。根據Gartner的數據，非結構化數據占企業生成的新數據比例高達90%，并且增長速度比結構化數據快三倍。

　　而生成式AI大模型進一步帶來了非結構化數據的暴增，也相應推動了對向量數據庫的需求。

　　向量數據庫的一大優勢在于，能夠通過機器學習方法處理和理解來自不同源的多種模態信息，如文本、圖像、音頻和視頻等。

　　二是，越來越多的大模型從業者認為，所有的行業都值得被AI重新做一遍。

　　因此，建立在不同行業的垂直大模型，成為大家的切入點，而向量數據庫是行業大模型具備“行業knowhow”能力的必經之路。

　　這背后是，AI大模型的產生，需要經歷大量反復的訓練和調試。雖然通用AI大模型能回答一般性問題，但在垂直領域服務中，其知識深度、準確度和時效性有限。

　　而利用向量數據庫結合大模型和自有知識資產，可以構建垂直領域的AI能力。向量數據庫存儲和處理向量數據，提供高效的相似度搜索和檢索功能。

　　正如東北證券觀點，AI化的本質則是向量化，向量化計算成本高昂，海量的高維向量勢必需要專門的數據庫進行存儲和處理，向量數據庫應運而生。

　　向量數據庫在拓展AI全新應用場景的同時，也將對傳統數據庫產品形成替代，進而成為AI時代的Killer App。

　　目前，向量數據庫是一個亟待引爆的藍海市場。

　　據公開資料顯示，向量數據庫市場空間巨大，尚處于從0-1階段，預測到2030年，全球向量數據庫市場規模有望達到500億美元，國內向量數據庫市場規模有望超過600億人民幣。

　　未來隨著生成式AI大模型開發量和使用量的增長，向量數據庫的應用有望快速增長。

　　而國內外眾多玩家如傳統數據庫廠商、初創數據庫廠商、云廠商、跨界廠商等都已躍躍欲試，提前開始布局向量數據庫，做好了應對AI大模型時代的準備。