發(fā)布時(shí)間:2023-4-2 分類(lèi): 電商動(dòng)態(tài)
近年來(lái),隨著大數(shù)據(jù)技術(shù)的發(fā)展,社交網(wǎng)絡(luò)、交易網(wǎng)絡(luò)、知識(shí)圖譜等圖形數(shù)據(jù)大量積累,有力推動(dòng)了圖形數(shù)據(jù)的應(yīng)用。目前,圖形數(shù)據(jù)已經(jīng)成功應(yīng)用于金融風(fēng)險(xiǎn)控制、推薦、工業(yè)過(guò)程控制、設(shè)備管理等多個(gè)領(lǐng)域。作為管理圖形數(shù)據(jù)的基礎(chǔ)軟件,圖形數(shù)據(jù)庫(kù)也引起了許多廠商的關(guān)注。近年來(lái),包括甲骨文、IBM、微軟等在內(nèi)的傳統(tǒng)軟件巨頭和許多初創(chuàng)公司在圖形數(shù)據(jù)庫(kù)領(lǐng)域取得了長(zhǎng)足的進(jìn)步。
北京費(fèi)馬科技有限公司是一家以開(kāi)發(fā)圖形數(shù)據(jù)庫(kù)和圖形計(jì)算軟件為目標(biāo)的創(chuàng)業(yè)企業(yè)。在之前36Kr的報(bào)道中,我們注意到幾位清華博士創(chuàng)立的公司有著深厚的圖形計(jì)算技術(shù)積累。今天,我們欣喜地看到,費(fèi)馬科技的圖圖數(shù)據(jù)庫(kù)TuGraph取得了突破,在國(guó)內(nèi)企業(yè)中率先通過(guò)了國(guó)際基準(zhǔn)官方審核測(cè)試,取得了國(guó)際領(lǐng)先的測(cè)試成績(jī)。
2020年7月30日,費(fèi)馬科技宣布成為國(guó)內(nèi)首家通過(guò)地圖數(shù)據(jù)庫(kù)國(guó)際標(biāo)準(zhǔn)基準(zhǔn)測(cè)試程序LDBC-SNB官方審核測(cè)試的企業(yè),同時(shí)打破了LDBC-SNB公布的最高紀(jì)錄。在中大規(guī)模的數(shù)據(jù)集(300GB)上,吞吐率達(dá)到了之前記錄(由Virtuoso維護(hù))的7.6倍。
圖1。審核測(cè)試成功聲明頁(yè)截圖(含注冊(cè)審計(jì)師、LDBCSNB工作隊(duì)總監(jiān)、費(fèi)馬科技CTO簽名)
讀者可通過(guò)以下鏈接訪問(wèn)LDBC官方網(wǎng)站上正式發(fā)布的測(cè)試結(jié)果,并下載測(cè)試報(bào)告、程序、文檔、軟硬件信息等。
LDBCSNB官方網(wǎng)站:http://ldbcouncil.org/benchmarks/snb
測(cè)試報(bào)告下載:http://ldbccouncil.org/sites/default/files/ldbc _ snb _ I _ 20200726 _ sf30-100-300 _ tugraph.pdf。
關(guān)于LDBC和LDBC-SNB試驗(yàn):
1.LinkedDataBenchmarkCouncil(LDBC)是一個(gè)非營(yíng)利組織,由甲骨文和英特爾等軟件和硬件巨頭以及NeoTechnology和TigerGraph等主流Graph數(shù)據(jù)庫(kù)供應(yīng)商組成。它是圖形和RDF數(shù)據(jù)管理的基準(zhǔn)指南制定者和測(cè)試結(jié)果發(fā)布機(jī)構(gòu)。
2.SocialNetworkBenchmark (SNB)是由協(xié)會(huì)數(shù)據(jù)基準(zhǔn)委員會(huì)(LDBC)開(kāi)發(fā)的圖形數(shù)據(jù)庫(kù)基準(zhǔn)之一,分為兩種場(chǎng)景:交互式查詢(xún)和商業(yè)智能。此次,費(fèi)馬公司對(duì)交互查詢(xún)場(chǎng)景進(jìn)行了測(cè)試,主要考察并發(fā)條件下系統(tǒng)的更新和交互查詢(xún)吞吐率。與眾多廠商采用的基于單一測(cè)試的評(píng)估方法相比,LDBC-SNB(Interactive)更接近真實(shí)場(chǎng)景,對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的并發(fā)執(zhí)行性能和事務(wù)處理能力做出了更具挑戰(zhàn)性的評(píng)估。
測(cè)試詳細(xì)信息
據(jù)該公司創(chuàng)始人洪春濤,介紹,本次測(cè)試使用了LDBCSNB的三個(gè)數(shù)據(jù)集,即30G(SF30)、100G(SF100)和300G(SF300),其中300G數(shù)據(jù)集包含8億個(gè)節(jié)點(diǎn)和53億條邊及相關(guān)屬性。查詢(xún)操作由7類(lèi)簡(jiǎn)單只讀查詢(xún)、14類(lèi)復(fù)雜只讀查詢(xún)和8類(lèi)事務(wù)更新查詢(xún)組成,按照LDBCSNBInteractive測(cè)試規(guī)范規(guī)定的比例組合并發(fā)執(zhí)行,以吞吐率作為性能指標(biāo)??梢钥闯?,TuGraph在數(shù)據(jù)量增加時(shí)仍能保持較高的性能,體現(xiàn)了其對(duì)大規(guī)模數(shù)據(jù)的良好支持能力。
下表顯示了不同數(shù)據(jù)規(guī)模下的測(cè)試結(jié)果,吞吐率(OpS)表示每秒完成的操作數(shù)。
表1。不同數(shù)據(jù)規(guī)模的SF30(30GB)、SF100(100GB)和SF300(300GB)測(cè)試結(jié)果
CTO 朱曉偉表示,公司在測(cè)試環(huán)境準(zhǔn)備、測(cè)試數(shù)據(jù)生成和導(dǎo)入、測(cè)試用例程序的安裝和執(zhí)行、結(jié)果正確性驗(yàn)證等方面嚴(yán)格遵守LDBC-SNB的規(guī)范。整個(gè)測(cè)試過(guò)程由LDBC認(rèn)證的評(píng)估師在自己租用的標(biāo)準(zhǔn)云系統(tǒng)上完成,并對(duì)測(cè)試代碼進(jìn)行詳細(xì)評(píng)估。整個(gè)測(cè)試環(huán)境和測(cè)試過(guò)程是完全公開(kāi)的,可以在LDBC網(wǎng)站上公開(kāi)下載,保證了測(cè)試結(jié)果的可信度和公平性。
LDBC-SNBInteractive的主要測(cè)試需求包括:基準(zhǔn)程序會(huì)通過(guò)多個(gè)客戶(hù)端向服務(wù)器發(fā)送各種讀寫(xiě)請(qǐng)求,每個(gè)請(qǐng)求都有對(duì)應(yīng)的計(jì)劃時(shí)間,數(shù)據(jù)庫(kù)需要盡可能讓所有操作按計(jì)劃進(jìn)行;一旦操作比計(jì)劃時(shí)間晚1秒以上,將被視為超時(shí)。如果超時(shí)比例超過(guò)5%,將無(wú)法通過(guò)測(cè)試,這對(duì)圖數(shù)據(jù)庫(kù)的更新和查詢(xún)性能提出了很高的要求;查詢(xún)分為7種簡(jiǎn)單查詢(xún)和14種復(fù)雜查詢(xún)。每種類(lèi)型的復(fù)雜查詢(xún)根據(jù)其在不同數(shù)據(jù)規(guī)模下的復(fù)雜性以不同的頻率混合,簡(jiǎn)單查詢(xún)穿插在這些復(fù)雜查詢(xún)之間。八種類(lèi)型的更新操作中有很多涉及多個(gè)數(shù)據(jù)對(duì)象的更新,因此需要ACID事務(wù)的支持來(lái)保證操作的正確性。SNB規(guī)范要求隔離級(jí)別至少應(yīng)為ReadCommitted,并且ACID支持在審核過(guò)程中經(jīng)過(guò)專(zhuān)門(mén)測(cè)試。
值得注意的是,在本次測(cè)試中,TuGraph的超時(shí)率為0%,SNB實(shí)現(xiàn)了最高的隔離級(jí)別Serializable,這說(shuō)明TuGraph提供了高水平的事務(wù)隔離保證,同時(shí)仍然實(shí)現(xiàn)了低延遲,遠(yuǎn)超其他數(shù)據(jù)庫(kù)的吞吐率。
CTO 朱曉偉表示,與同類(lèi)型的圖數(shù)據(jù)庫(kù)產(chǎn)品相比,TuGraph可以支持更大的數(shù)據(jù)量,提供更快的響應(yīng),支持更多的并發(fā)查詢(xún),因此更適合大數(shù)據(jù)時(shí)代。TuGraph在系統(tǒng)的設(shè)計(jì)目標(biāo)中重點(diǎn)研究了實(shí)時(shí)圖數(shù)據(jù)分析的特點(diǎn):一方面,大部分請(qǐng)求是對(duì)最新數(shù)據(jù)的只讀查詢(xún),因此存儲(chǔ)引擎需要針對(duì)讀取進(jìn)行優(yōu)化,部分查詢(xún)操作需要并行處理;另一方面,數(shù)據(jù)庫(kù)需要快速完成這些只讀查詢(xún),處理源源不斷的數(shù)據(jù)更新,而這些修改請(qǐng)求可能來(lái)自多個(gè)客戶(hù)端,因此需要完善的事務(wù)支持,需要盡可能避免使用全局鎖帶來(lái)的并發(fā)性下降。因此,TuGraph實(shí)現(xiàn)了多版本存儲(chǔ),使得只讀事務(wù)可以無(wú)阻塞地進(jìn)行,并提供了樂(lè)觀和悲觀的讀寫(xiě)事務(wù),從而為不同情況提供了優(yōu)化的事務(wù)管理,實(shí)現(xiàn)了并發(fā)性和讀寫(xiě)效率的良好權(quán)衡;對(duì)于復(fù)雜的分析任務(wù),提供了并行遍歷和迭代圖計(jì)算的接口,通過(guò)多線(xiàn)程的協(xié)作,任務(wù)不會(huì)超時(shí)持續(xù)占用系統(tǒng)資源。此外,TuGraph提供了豐富的開(kāi)發(fā)界面:它不僅支持描述性查詢(xún)語(yǔ)言O(shè)penCypher,方便用戶(hù)更快地入門(mén)和開(kāi)發(fā)原型,還為用戶(hù)使用存儲(chǔ)過(guò)程加速一些需要追求極致性能的場(chǎng)景提供了過(guò)程化核心ApI存儲(chǔ)過(guò)程支持開(kāi)發(fā)效率高的python和執(zhí)行效率高的C,未來(lái)還會(huì)加入受眾廣泛的Java作為開(kāi)發(fā)語(yǔ)言;Access支持RESTful和RpC供用戶(hù)選擇。這些豐富的選項(xiàng)讓用戶(hù)可以在開(kāi)發(fā)生產(chǎn)環(huán)境中根據(jù)自己不同的場(chǎng)景和需求,靈活選擇最適合自己的使用模式,在易用性和效率之間達(dá)到更好的平衡。
關(guān)于費(fèi)馬
根據(jù)36Kr此前的報(bào)告,費(fèi)馬科技成立于2016年5月,旗下有兩大產(chǎn)品:TuGraph(原名LightGraph)和pandaGraph。TuGraph定位為高性能獨(dú)立圖形數(shù)據(jù)庫(kù),也是目前市場(chǎng)占有率最高的產(chǎn)品類(lèi)型?;趧?chuàng)始團(tuán)隊(duì)在圖形計(jì)算領(lǐng)域積累的經(jīng)驗(yàn)和領(lǐng)先的科研成果,費(fèi)馬科技研發(fā)的TuGraph具有高性能、大數(shù)據(jù)量、穩(wěn)定易用等特點(diǎn),深受客戶(hù)信賴(lài)。目前,費(fèi)馬科技的產(chǎn)品已被多個(gè)領(lǐng)域的頭部客戶(hù)采用,包括京東數(shù)字分行、大型國(guó)有銀行、商業(yè)銀行等金融客戶(hù),以及國(guó)家電網(wǎng)、商飛, 中國(guó)、西門(mén)子等工業(yè)用戶(hù)
« 如何通過(guò)軟件促進(jìn)銷(xiāo)售?這三個(gè)軟文的構(gòu)想對(duì)你有幫助 | 萬(wàn)物互連時(shí)代,蘇寧雙十一“獅子夜”引起了會(huì)員的增加 »
周一周五 8:30 - 18:00
Copyright ? 聊城開(kāi)發(fā)區(qū)百川網(wǎng)絡(luò)服務(wù)有限公司 All Rights Reserved