(數(shù)據(jù)來源：https://api-docs.deepseek.com/zh-cn/quick_start/pricing)

從技術(shù)角度來看，在大模型API使用場景中，用戶輸入存在相當(dāng)比例的重復(fù)內(nèi)容，比如用戶的提問中常有重復(fù)引用部分，多輪對話中每一輪都需重復(fù)輸入前幾輪內(nèi)容。同時，在很多面向企業(yè)（ToB）的專業(yè)領(lǐng)域里，業(yè)務(wù)信息又多又復(fù)雜，常常是一長串地輸入。推理時需要從這些長上下文的內(nèi)容里找出有用的信息和關(guān)鍵主題，這就需要計(jì)算和存儲相互配合。為此，采用以存代算技術(shù)，將預(yù)計(jì)未來會重復(fù)使用的內(nèi)容緩存在存儲中，當(dāng)輸入有重復(fù)時，重復(fù)部分只需從緩存讀取，無需重新計(jì)算。這一技術(shù)不僅顯著降低服務(wù)延遲，還大幅削減最終使用成本。

以多輪對話場景為例，下一輪對話會命中上一輪對話生成的上下文緩存：

華為數(shù)據(jù)存儲OceanStor A800針對大模型推理具備Unified Cache多級緩存技術(shù)，與DeepSeek硬盤緩存技術(shù)采用相同的技術(shù)路線，簡單來說，就是提前把和你相關(guān)的歷史信息，比如你們之前聊過的內(nèi)容、你的喜好這些“記憶”，存到的存儲設(shè)備里。等你要用的時候，它能快速找到這些相關(guān)信息（相關(guān)KV Cache片段），不用每次都從頭開始推理計(jì)算。這樣一來，不僅能快速準(zhǔn)確地處理長對話內(nèi)容（長序列），成本也能降下來，而且還能根據(jù)你的獨(dú)特需求提供更貼心的個性化服務(wù)，讓模型就像專門為你定制的一樣。

華為OceanStor A800是基于數(shù)控分離全交換架構(gòu)的原生AI存儲，Unified Cache多級緩存技術(shù)可應(yīng)用于：

• 具有長預(yù)設(shè)提示詞的問答助手類應(yīng)用，如智能客服、智能運(yùn)維；
• 具有角色設(shè)定與多輪對話的角色扮演類應(yīng)用，如電商&教培、英語口語陪練；
• 超長文本行業(yè)總結(jié)分析以及復(fù)雜推理等場景，如金融投研分析、法律卷宗分析；
• 針對固定文本集合進(jìn)行頻繁詢問的數(shù)據(jù)分析類應(yīng)用；
• 代碼倉庫級別的代碼分析與排障工具。

為推理系統(tǒng)提供TB級性能、PB級容量、大規(guī)模共享的全局內(nèi)存擴(kuò)展池，實(shí)現(xiàn)高效的上下文KV Cache保存、管理與加載策略，有效提升KV Cache加載效率，可支持的序列長度從百K擴(kuò)展到無限長，實(shí)現(xiàn)推理首Token時延4+倍降低，E2E推理成本2+倍降低，為大模型提供終身記憶和無限上下文能力。

大模型推理使用華為OceanStor A800高性能分布式文件存儲，能夠?qū)崿F(xiàn)PB級容量的DRAM性能，進(jìn)一步降低大模型推理服務(wù)的延遲，大幅削減最終使用成本，重新定義了AI服務(wù)的性價比，為大模型在各行業(yè)的廣泛普及與應(yīng)用注入強(qiáng)大動力，加速大模型普惠時代的到來。

zhupb