實時意念操控XessOS系統(tǒng)
經過兩周的訓練，結合腦虎科技自主開發(fā)的腦機操作系統(tǒng)XessOS，受試者可以熟練使用微信、郵箱、淘寶、小紅書、今日頭條等常用APP，以及實現(xiàn)智能家居和智能輪椅的“腦控”，大大滿足了運動障礙患者日常生活所需的基本行動能力。
02 “意念”控制對話，國內漢語言解碼最高水準
漢語是一種以單音節(jié)為主的聲調語言和圖形語言，不同于英語等字母語言，其產生過程中的信息轉換涉及更多腦區(qū)，需要研發(fā)針對漢語特征的神經編解碼機制和信息處理手段。
2024年12月，在優(yōu)刻得云平臺的支撐下，腦虎科技聯(lián)合華山醫(yī)院神經外科吳勁松教授團隊開展國內首例高通量植入式柔性腦機接口實時合成漢語言臨床試驗。
項目團隊在語言區(qū)占位腫瘤癲癇患者上進行了柔性腦機接口植入手術，通過植入256導高通量腦機接口，幫助其定位病灶并保護語言相關的重要腦功能區(qū)。病人術后恢復良好，五天后即可實現(xiàn)142個常用漢語音節(jié)下71%的解碼準確率，并且單字解碼時延小于100ms，是目前國內實時漢語言解碼的最高水平。
實時漢語言解碼
基于實時漢語解碼，受試者不僅實現(xiàn)了意念實時合成漢語、驅動數字分身以及對話AI大模型等高級功能，還能將人的腦電解碼成語言進而轉化成指令實時操控靈巧手實現(xiàn)人機交互，有望幫助語言功能障礙患者重建語言功能。
新年來臨之際，受試者還通過意念合成語言指令操作靈巧手，為大家送上“二零二五新年快樂”手語祝福。
腦虎創(chuàng)始人、TCCI研究員陶虎與受試者以及意念操控的靈巧手比心合影送祝福
腦電數據上云，云端實時解碼腦電信號
在腦電采集裝置成功植入后，思考與運動活動會不斷激發(fā)大量腦電信號的涌現(xiàn)。通過運用先進的多模態(tài)信號采集技術和系統(tǒng)建模方法，人類的行為意圖得以實現(xiàn)高精度的實時解碼。若能將整個信息的采集、備份、解碼及分析流程遷移至云端，無疑將大幅提升數據解碼與推理的效率。
自2022年起，腦虎科技與優(yōu)刻得建立了戰(zhàn)略合作關系，共同推進腦電數據的云端化處理。依托優(yōu)刻得的云平臺，我們?yōu)槟X虎科技量身定制了一套全面的云邊端技術架構，并已在腦虎的多個實驗室中得到應用，有力支撐了實驗研究的開展。
以動物運動實驗為例，每分鐘產生的腦電數據量高達1GB，一次30分鐘的采集過程就能累積30至50GB的數據。鑒于數據規(guī)模的龐大及其獨一無二性，腦虎團隊高度重視本地與云端的數據擴容與安全備份工作。優(yōu)刻得云存儲服務采用了多層次的安全防護措施，包括數據加密、訪問控制、防火墻等，確保數據在傳輸和存儲過程中的安全性，全面保護患者數據的隱私性，同時減少數據丟失的風險。
借助優(yōu)刻得的云存儲等云端資源，研究人員可以輕松實現(xiàn)實驗與項目數據的即時上傳與備份，這些數據在經過自動化清洗與整理后，得以在云端獲得安全可靠的存儲。
圖片漢語言實時解碼過程
同時，在獲取腦電信號數據后，為了識別與不同思維活動相關聯(lián)的腦電模式，需要進行持續(xù)的模型訓練。通過將復雜的腦電信號與相應動作進行精準關聯(lián)，從而實現(xiàn)了從腦電信號到行動的快速轉化。
在上述的意念合成運動臨床試驗中，項目團隊對其腦電信號的High Gamma頻段進行腦電特征提取和模型訓練，在優(yōu)刻得云端算力支撐下，利用LSTM（長短期記憶）神經網絡模型進行連續(xù)時間解碼，整體系統(tǒng)延遲小于60ms。
2023年，優(yōu)刻得與腦虎科技、復旦大學附屬華山醫(yī)院共同入選上海市未來產業(yè)腦機接口專家委員會成員單位，充分發(fā)揮在云計算、大數據、人工智能領域的先進優(yōu)勢，共同探索腦機接口技術在醫(yī)療康復領域的應用。
2024年以來，優(yōu)刻得與腦虎科技進一步深化合作，共同參與了上海市腦機接口領域的重大科研項目申報。雙方計劃聯(lián)手研發(fā)“植入式言語合成腦機接口產品”，旨在幫助失語患者恢復部分語言功能。
目前，借助優(yōu)刻得的高性能算力與可靠的數據存儲能力，腦虎科技已成功搭建了GPU算力平臺和語料數據管理系統(tǒng)。這些平臺為大規(guī)模的模擬仿真實驗提供了有力支撐，同時也確保了數據的可靠存儲與實時解碼。
上述工作同時得到了天橋腦科學研究院（TCCI）的大力支持，并獲得國家自然科學基金面上項目、上海市科委戰(zhàn)略前沿腦機接口專項項目、上海市經信委促進產業(yè)高質量發(fā)展專項先導產業(yè)創(chuàng)新發(fā)展項目、上海市戰(zhàn)略性新興產業(yè)發(fā)展專項等項目，以及上海市腦機接口重點實驗室、中國神經科學學會腦機接口與交互分會、上海市未來產業(yè)腦機接口專委會等機構的支持。
