(復旦大學教授肖仰華)
肖仰華分享了通過語法復雜度指標和累積分布采樣方法篩選高質量語料的實踐,實驗表明,從100億個token的財經(jīng)語料中僅篩選20%的高質量數(shù)據(jù)進行訓練,對模型進行持續(xù)預訓練,相比于全量數(shù)據(jù)持續(xù)預訓練,在領域問答任務上的準確率提升1.7%。
上海交通大學特聘教授翟廣濤強調無論是精煉數(shù)據(jù)還是合成數(shù)據(jù),都需要質量優(yōu)先,而數(shù)據(jù)質量分析要從“體驗質量”入手,考慮人的體驗,也考慮機器的體驗,進而在數(shù)據(jù)為中心的范式下進一步提升大模型性能。
海天瑞聲CEO李科從產業(yè)實踐角度分享了全球AI數(shù)據(jù)行業(yè)的發(fā)展趨勢。他認為,數(shù)據(jù)產業(yè)正在經(jīng)歷從勞動密集型向技術密集型和知識密集型的重大轉型。通過動捕數(shù)據(jù)、自動駕駛標注、思維鏈數(shù)據(jù)集等多個實際案例,李科展示了高質量數(shù)據(jù)如何服務千行百業(yè)。
上海庫帕思科技有限公司董事長山棟明說,模型之變引領“數(shù)據(jù)質變”,他表示高質量數(shù)據(jù)集應滿足VALID2(鮮活度、真實性、大樣本、完整性、多樣性、高知識密度)要求,并詳細介紹了語料數(shù)據(jù)在方法論、基礎設施和行業(yè)生態(tài)三個方面的體系化重構探索。
技術創(chuàng)新推動數(shù)據(jù)價值釋放
作為第二引擎,AI技術正在深刻改變數(shù)據(jù)處理和利用的方式。
光輪智能總裁楊海波表示,具身智能對數(shù)據(jù)的需求量是大語言模型和自動駕駛的上千倍。合成數(shù)據(jù)是實現(xiàn)具身智能Scaling Law的重要基礎,他強調,合成數(shù)據(jù)必須滿足四個必備條件:真實的物理交互、人在環(huán)的示范、場景足夠豐富和數(shù)據(jù)閉環(huán)驗證。楊海波認為,“站在岸上學不會游泳”,機器人需要進入物理可交互的環(huán)境去獲取物理世界反饋來優(yōu)化模型。
螞蟻技術研究院數(shù)據(jù)智能實驗室負責人趙俊博認為,下一代RL訓練法則應該從“對與錯”轉向“好與更好”。他探索的Rubric即Reward新機制,只需使用5k數(shù)據(jù)和1萬條評分標準構建高效RL回路,就能擺脫對海量SFT數(shù)據(jù)的依賴,實現(xiàn)品味對齊。他說,這種方法可以在人文、創(chuàng)意、情感等領域實現(xiàn)風格化生成,去除機器味道。
LanceDB CTO徐磊分享了開源多模態(tài)數(shù)據(jù)湖的創(chuàng)新實踐。他介紹,與傳統(tǒng)的Parquet、ORC等格式不同,新設計的Lance格式既是文件格式又是表格式,具備零拷貝數(shù)據(jù)演化和高效點查兩大核心特性。徐磊舉了Runway ML的案例,該公司將PB級視頻數(shù)據(jù)導入Lance后,能夠像使用SQL一樣簡單管理,實現(xiàn)30多位AI工程師在同一個主表上并行進行特征工程迭代。
NVIDIA互聯(lián)網(wǎng)解決方案架構高級總監(jiān)陳川介紹了驅動生成式AI的高效數(shù)據(jù)處理創(chuàng)新,分享了從文本到多模態(tài)的GPU加速解決方案。
在圓桌討論環(huán)節(jié),專家圍繞展開Data Infra的重構與機遇深入討論。專家一致認為,隨著計算范式的變化,數(shù)據(jù)處理技術無論主動還是被動,都需要重構與再定義。重構是為了解決已經(jīng)面臨的問題,再定義則是著眼于未來,解決可能面臨的問題。
本次論壇展示了數(shù)據(jù)與AI雙引擎協(xié)同發(fā)展的最新成果,為智能時代數(shù)據(jù)基礎設施建設提供了參考和實踐路徑。與會專家表示,只有實現(xiàn)數(shù)據(jù)與AI的深度融合,建立完善的數(shù)據(jù)標準體系和質量評估框架,才能真正釋放智能技術的巨大潛力,推動智能時代向更高層次發(fā)展。