|
隨著 5G 時代的到來，大數(shù)據(jù)分析和應用得到了各個行業(yè)的廣泛關注，各種新的應用也時刻產(chǎn)生巨量的非結(jié)構(gòu)化數(shù)據(jù)，如何工具化、平臺化、規(guī)�；厥褂眠@些非結(jié)構(gòu)化數(shù)據(jù)，成為企業(yè)關注的焦點。 9 月 24-25 日，剛?cè)谫Y 6000 萬美元的向量數(shù)據(jù)庫公司 Zilliz 出品的 2022 首屆非結(jié)構(gòu)化數(shù)據(jù)峰會成功舉行，本屆峰會以“矩陣革命——向量連接世界”為主題，Zilliz 核心產(chǎn)品和研發(fā)團隊攜手來自金融、人工智能、互聯(lián)網(wǎng)等多領域的專家，分享了以向量數(shù)據(jù)庫為代表的非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)發(fā)展與應用實踐。 Zilliz Cloud：非向量數(shù)據(jù)庫產(chǎn)品家族新成員 作為向量數(shù)據(jù)庫包括非結(jié)構(gòu)化數(shù)據(jù)領域的先行者，Zilliz 一直在探索如何管理、使用、快速價值化非結(jié)構(gòu)化數(shù)據(jù)，從而賦能企業(yè)提效增益。 Zilliz 創(chuàng)始人兼首席執(zhí)行官星爵表示，非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)占數(shù)據(jù)總量的 80%以上，未來幾年增速將會超過結(jié)構(gòu)化數(shù)據(jù)。但與此同時，非結(jié)構(gòu)化數(shù)據(jù)的價值目前還遠未充分挖掘，Zilliz 會繼續(xù)深耕在向量數(shù)據(jù)處理領域的能力，包括數(shù)據(jù)的可觀測性、工作流管理、數(shù)據(jù)安全、數(shù)據(jù)隱私、數(shù)據(jù)應用等層面。如今，Zilliz 在非結(jié)構(gòu)化數(shù)據(jù)處理的生態(tài)圈，已經(jīng)貢獻了 Milvus 和 Towhee 兩個開源項目，在非結(jié)構(gòu)化數(shù)據(jù)處理領域不斷提供創(chuàng)新解決方案。 星爵 Zilliz 創(chuàng)始人兼首席執(zhí)行官 言出必行，Zilliz 隨即以此次峰會為契機，重磅發(fā)布了全新產(chǎn)品——Zilliz Cloud，為用戶提供了一個新的云選項。 談及推出 Zilliz Cloud 的初衷，Zilliz 合伙人和技術(shù)總監(jiān)欒小凡這樣解釋：在非結(jié)構(gòu)化數(shù)據(jù)領域，很多工具是散的，用戶只能把各種各樣的開源組件拼接起來使用，處理流程會比較繁瑣，并且在穩(wěn)定性、易用性方面還會遇到各種問題。 Zilliz Cloud 正是為了解決這些痛點而生，它是基于 Milvus 構(gòu)建的一個能夠托管的云服務，由最懂得做非結(jié)構(gòu)化處理及向量檢索的團隊——Milvus 原班人馬打造。Zilliz Cloud 具備高可用、成本優(yōu)化、擴展性強等特點，能夠打通數(shù)據(jù)之間的隔閡，完成數(shù)據(jù)的轉(zhuǎn)換、分析、遷移、可視化等管理動作，更重要的是，通過這一系列操作，非結(jié)構(gòu)化數(shù)據(jù)將被轉(zhuǎn)化成可以檢索的向量數(shù)據(jù)，從而為業(yè)務提供更大的價值。 Zilliz 產(chǎn)品家族圖 面對新成員的華麗亮相，作為家族元老的 Milvus 和 Towhee 也不逞多讓。 Milvus 是一個開源的分布式向量數(shù)據(jù)庫，不但集成了業(yè)界成熟的向量相似度搜索技術(shù)，更在此基礎上對高性能計算框架進行了大幅度優(yōu)化。在即將推出的 Milvus 2.2 版本中，增加了磁盤索引（DiskANN）這一選項，相比于傳統(tǒng)的純內(nèi)存索引方案，DiskANN 可以把用戶的本地磁盤作為存儲索引，犧牲少量的查詢性能，但能換來成本的大幅降低，用戶可以使用更低成本的具備 SSD 且內(nèi)存更小的機器進行數(shù)據(jù)庫部署。同時新版本還將增加數(shù)據(jù)批量導入、RBAC 權(quán)限控制、查詢 Pagination、限流與反壓等功能。 Towhee 是傳統(tǒng) ETL 工具覆蓋能力的補充，相比傳統(tǒng) ETL，非結(jié)構(gòu)化數(shù)據(jù)的 ETL 在業(yè)務側(cè)的原始數(shù)據(jù)層更大、轉(zhuǎn)換過程更加面向深層次語義、過程會引入大量 AI 能力。通過使用 Towhee，任何用戶都能夠基于 Python 代碼一鍵構(gòu)建面向生產(chǎn)的高性能非結(jié)構(gòu)化數(shù)據(jù)處理流水線。未來，Towhee 將會持續(xù)得到優(yōu)化和升級，比如在現(xiàn)有的 pipeline 定義接口上提供一個類似于 Spark、Flink 的流水線定義接口；同時將更加深入地集成類似英偉達這樣的技術(shù)生態(tài)，進一步提升整個流水線面向生產(chǎn)的執(zhí)行效率；也會不斷努力滿足社區(qū)用戶的需求，解決中文模型的缺口。 眼花繚亂的非向量數(shù)據(jù)庫應用場景 非結(jié)構(gòu)化數(shù)據(jù)的不斷增長，驅(qū)動著基于 AI 的非結(jié)構(gòu)化數(shù)據(jù)分析與檢索技術(shù)的不斷發(fā)展。 據(jù) Zilliz 合伙人和產(chǎn)品總監(jiān)郭人通介紹，在應用生態(tài)層面，非結(jié)構(gòu)化數(shù)據(jù)搜索在圖片搜索、視頻搜索、文本語義搜索、跨通道搜索、推薦/問答系統(tǒng)、版權(quán)保護、欺詐檢測、數(shù)據(jù)查重、網(wǎng)絡安全、藥物發(fā)掘、異常檢測等場景有著良好的應用前景；在行業(yè)生態(tài)層面，當前非結(jié)構(gòu)化數(shù)據(jù)生態(tài)的基礎軟件和工具遠遠少于結(jié)構(gòu)化數(shù)據(jù)生態(tài)，未來有著非常廣闊的增長空間。 技術(shù)的應用離不開不同行業(yè)的實踐，多位嘉賓從各自業(yè)務出發(fā)，通過實際問題剖析，闡述了如何有效地提取非結(jié)構(gòu)化數(shù)據(jù)的語義信息，如何實現(xiàn)大規(guī)模、高精度、高吞吐的非結(jié)構(gòu)化數(shù)據(jù)分析與檢索。
金融支付、深度學習、視頻直播、社交……Milvus 在越來越多的領域?qū)嵺`落地和發(fā)揮價值，這讓我們近距離感知到了非結(jié)構(gòu)化數(shù)據(jù)和向量檢索的極大發(fā)展空間，也對于打破數(shù)據(jù)孤島，實現(xiàn)優(yōu)質(zhì)數(shù)據(jù)互聯(lián)互通更加有信心。 “單絲不成線，孤木不成林”，縱深挖掘非結(jié)構(gòu)化數(shù)據(jù)潛能意義重大。2022 首屆非結(jié)構(gòu)化數(shù)據(jù)峰會，給我們展示了一張非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)進展與實踐成果的全景圖。面向未來，Zilliz 也發(fā)出倡議，希望借助本次峰會達成共識，經(jīng)驗共享，創(chuàng)新共創(chuàng)，與更多的開發(fā)者、生態(tài)伙伴、創(chuàng)業(yè)公司一起探索，推動向量數(shù)據(jù)庫在各行各業(yè)的應用，共建非結(jié)構(gòu)化數(shù)據(jù)的美好未來。 |
