作為該領(lǐng)域”最接近真實(shí)企業(yè)場(chǎng)景”評(píng)測(cè)集，Spider 2.0基于 632 個(gè)真實(shí)企業(yè)數(shù)據(jù)庫(kù)工作流問題構(gòu)建，覆蓋金融、醫(yī)療、電商等 18 個(gè)垂直領(lǐng)域，并全面考察NL2SQL產(chǎn)品的多表關(guān)聯(lián)、長(zhǎng)上下文理解、復(fù)雜邏輯推理等能力，也是檢驗(yàn)NL2SQL產(chǎn)品商業(yè)化能力的重要標(biāo)準(zhǔn)。

測(cè)試結(jié)果顯示，阿里云研發(fā)NL2SQL Agent——DB-Surfer以59.78% 的執(zhí)行準(zhǔn)確率斬獲冠軍，超越了國(guó)內(nèi)外多個(gè)基于商業(yè)大模型的Agent方法，并顯著優(yōu)于基于固定工作流的 ReFoRCE (37.11%) 和基線智能體方法 Spider-Agent (31.08%)。

據(jù)介紹，為滿足超大規(guī)模、高復(fù)雜度的數(shù)據(jù)庫(kù)查詢?nèi)蝿?wù)需求，阿里云DB-Surfer設(shè)計(jì)了查詢意圖預(yù)處理、代碼智能體執(zhí)行和多源路徑后處理三個(gè)模塊，通過“先規(guī)劃、后執(zhí)行”的機(jī)制顯著提升了Agent查詢和處理的效率，可以更好地解決數(shù)據(jù)庫(kù)結(jié)構(gòu)復(fù)雜、SQL方言多樣、查詢邏輯深度嵌套等難題。

該范式還支持集成多樣化的外部工具，并自主學(xué)習(xí)海量新知識(shí)，可進(jìn)一步推動(dòng)NL2SQL技術(shù)從單一的查詢生成工具，向更具挑戰(zhàn)性的、能在開放場(chǎng)景下泛化的數(shù)據(jù)分析助手演進(jìn)。

DataWorks Copilot – Agent 模式演示

目前，DB-Surfer已深度集成至阿里云大數(shù)據(jù)開發(fā)治理平臺(tái)DataWorks的Copilot，并廣泛應(yīng)用于游戲、在線教育、零售、文化傳媒和金融等領(lǐng)域企業(yè)，數(shù)據(jù)開發(fā)分析效率平均提升35%。

xiesc