FederatedML:訓練稀疏數據效率提升,內存消耗再優(yōu)化
除聯邦推薦及KubeFATE的重點更新外,新版本針對FederatedML也做了進一步提升,在1.3中,縱向聯邦廣義線性模型(Hetero-LR、Hetero-LinR、Hetero-PoissonR)開始支持稀疏數據訓練,開發(fā)者在訓練稀疏數據時,能明顯感到效率提升,內存消耗減少。解決分箱中32M限制,也使得特征分箱支持更高維度和更多樣本的數據??v向SecureBoost 梯度直方圖32M限制的解決,讓FATE可以支持更高維度特征進行secureboost的訓練。
總的來說,1.3版本對FATE功能性及實踐應用價值進行了強化,聯邦推薦算法子模塊FederatedRec的添加,對于用戶而言,最明顯的益處在于可以利用聯邦推薦來提升自己算法的預測效果和產品的分發(fā)效率,使推薦服務的質量更上一個臺階。這對于第一方數據不夠豐富,或者在業(yè)務的初始時期數據積累較少的用戶方,是非常有幫助的。而KubeFATE也開啟了FATE在生產環(huán)境,尤其是云原生環(huán)境上最優(yōu)化管理使用的功能更新探索之路。后續(xù),微眾銀行也將和VMware進一步合作,推出基于FATE的多方管理新項目。
關于FATE:
FATE(Federated AI Technology Enabler)是微眾銀行自主研發(fā)并開源的全球首個工業(yè)級聯邦學習框架,有效幫助多個機構在滿足用戶隱私保護、數據安全和政府法規(guī)的前提下,進行多方數據使用和聯合建模。它提供了一個安全的計算框架以支持聯邦學習算法,實現了同態(tài)加密和多方計算(MPC)的安全計算協議,并支持聯邦學習架構,其內置了多種機器學習算法的聯邦學習實現,在金融、零售、智慧城市等領域擁有一系列應用落地案例。
歡迎對聯邦學習有興趣的同仁一起貢獻代碼,提交 Issues 或者 Pull Requests。詳情可查閱 FATE官網項目貢獻者指南:https://ai.webankcdn.net/scvm/html/1579237932478.html
如有疑問,歡迎留言交流。也可以添加FATE助手:FATEZS001,進一步交流。