VMM啟動時(shí)間和內(nèi)存占用對比

2. 容器管理服務(wù)

支持虛擬機(jī)容器運(yùn)行時(shí)的容器管理服務(wù)也有多種開源方案，例如containerd/cri-o，kata-container和firecracker-containerd等。經(jīng)過比較，容器團(tuán)隊(duì)選擇了cri-o + firecracker-containerd的組合。這二者在功能上能夠滿足單機(jī)容器管理的需求，而且和其他選型相比，代碼架構(gòu)更加清晰，調(diào)用鏈路簡單明了，便于后續(xù)根據(jù)產(chǎn)品需求定制和改造。

3. 容器調(diào)度服務(wù)

Kubernetes已經(jīng)成為了容器調(diào)度的事實(shí)標(biāo)準(zhǔn)，具備豐富的功能和良好的可擴(kuò)展性。因此容器團(tuán)隊(duì)采用Kubernetes作為基本調(diào)度框架，并根據(jù)產(chǎn)品需求做相關(guān)改造，最終基本的服務(wù)架構(gòu)如下所示：

優(yōu)化改進(jìn)

雖然采用開源方案可以加快開發(fā)進(jìn)度，但為滿足產(chǎn)品需求仍需解決一些問題，主要包括以下幾個(gè)方面：

1. 容器鏡像

在標(biāo)準(zhǔn)的容器鏡像實(shí)現(xiàn)中，鏡像是通過分層結(jié)構(gòu)存儲在宿主上的。當(dāng)創(chuàng)建容器時(shí)，容器運(yùn)行時(shí)會在鏡像層之上創(chuàng)建一個(gè)可寫層，并掛載在宿主上供容器實(shí)例使用。但Cube容器并不是直接在宿主上運(yùn)行的，也不需要在宿主上掛載容器根目錄。因此容器團(tuán)隊(duì)修改了cri-o中鏡像層的相關(guān)實(shí)現(xiàn)，直接將容器可寫層以塊設(shè)備的方式掛載到輕量級虛擬機(jī)中而非宿主上，減低了宿主對Cube容器的干擾。

另外，為了解決新鏡像拉取緩慢導(dǎo)致的容器實(shí)例啟動慢的問題，容器團(tuán)隊(duì)提出了鏡像遠(yuǎn)程掛載的解決方案。將容器鏡像以塊設(shè)備的形式存儲在緩存集群，當(dāng)需要在此鏡像上生成容器實(shí)例時(shí)，先將容器鏡像通過遠(yuǎn)程掛載的形式掛載到宿主上，然后容器運(yùn)行時(shí)會在宿主上創(chuàng)建一層可寫層生成容器實(shí)例。同時(shí)后臺會將遠(yuǎn)程鏡像同步到宿主本地，進(jìn)一步加速讀取，降低集群風(fēng)險(xiǎn)。上述方法可使宿主上首次獲取鏡像的時(shí)間縮短至3s以下，并有進(jìn)一步優(yōu)化空間。目前這一功能以鏡像緩存的產(chǎn)品形式提供給用戶使用，并正在逐步整合到普通鏡像拉取過程中。

2. 使用公有云資源

網(wǎng)絡(luò)方面，Cube容器的網(wǎng)絡(luò)模型和云主機(jī)的基本相同。在將相關(guān)網(wǎng)絡(luò)功能以cni插件的形式實(shí)現(xiàn)之后，Cube容器就可以很好的接入到公有云vpc網(wǎng)絡(luò)中。

存儲方面，Cube容器目前支持了兩種類型的存儲：可以多點(diǎn)讀寫的網(wǎng)絡(luò)文件系統(tǒng)nfs和僅單點(diǎn)讀寫的云硬盤udisk。在文件存儲功能上，Cube產(chǎn)品實(shí)現(xiàn)了在輕量級虛擬機(jī)中自動掛載nfs的功能，用戶只需在配置文件中指定好掛載點(diǎn)和掛載參數(shù)，就能直接在容器中使用網(wǎng)絡(luò)文件系統(tǒng)，并可以同時(shí)支持vpc網(wǎng)絡(luò)內(nèi)用戶自建的nfs和UCloud公有云產(chǎn)品ufs。在塊設(shè)備功能上，容器團(tuán)隊(duì)擴(kuò)展了firecracker塊設(shè)備的實(shí)現(xiàn)。通過添加對vhost-user協(xié)議的支持，Cube輕量級虛擬機(jī)可以直接對接到spdk服務(wù)，從而實(shí)現(xiàn)了對高性能的rssd型云硬盤掛載和使用。

3. 容器運(yùn)行環(huán)境

為了減少額外資源消耗，容器團(tuán)隊(duì)在容器管理服務(wù)和容器運(yùn)行時(shí)上做了大量優(yōu)化工作。

UCloud優(yōu)刻得容器團(tuán)隊(duì)修改了cri-o管理容器組的架構(gòu)，采用了單pod對應(yīng)單shim的模型。通過一個(gè)shim管理一個(gè)pod內(nèi)全部容器，可以顯著的降低shim資源消耗，簡化容器管理。對于輕量級虛擬機(jī)，UCloud優(yōu)刻得容器團(tuán)隊(duì)也對kernel/rootfs/init進(jìn)程等做了充分地精簡優(yōu)化，只保留了最基本的功能，以加快啟動速度，減小安全攻擊面，降低資源消耗。另外，容器團(tuán)隊(duì)還在輕量級虛擬機(jī)中內(nèi)置了infra container的實(shí)現(xiàn)，Cube作為pod運(yùn)行時(shí)可以不必掛載額外的infra容器。

4. k8s改造

Kubernetes作為一個(gè)通用的容器調(diào)度框架，能夠滿足大部分容器管理的需求。但針對Cube特定的使用場景，容器團(tuán)隊(duì)仍需對k8s組件做一些改造。在控制面，容器團(tuán)隊(duì)采用了自定義的調(diào)度器，可以更好的滿足多租戶場景下任務(wù)優(yōu)先級，調(diào)度速度，資源管理的需求。在宿主節(jié)點(diǎn)上，鑒于Cube容器運(yùn)行時(shí)的特點(diǎn)，UCloud優(yōu)刻得容器團(tuán)隊(duì)精簡了一些不需要kubelet實(shí)現(xiàn)的功能，例如在宿主上掛載configmap/volume目錄，運(yùn)行cni插件，收集特定目錄日志等，增強(qiáng)了容器與宿主之間的隔離安全性。

Cube未來展望

在完成了上述開發(fā)改造后，Cube產(chǎn)品成功上線，并取得良好效果。后續(xù)Cube產(chǎn)品會繼續(xù)沿著幫助用戶提升效率、降低開銷、簡化維護(hù)、節(jié)約成本的思路持續(xù)迭代更新。在容器性能方面，UCloud優(yōu)刻得容器團(tuán)隊(duì)會繼續(xù)優(yōu)化輕量級虛擬機(jī)IO路徑，減少虛擬化及管理組件的性能損耗，確保用戶容器實(shí)例穩(wěn)定高效運(yùn)行。在服務(wù)管理方面，Cube產(chǎn)品層面會推出多種的容器管理控制器，并實(shí)現(xiàn)Cube實(shí)例直接接入Kubernetes集群的能力，為用戶提供多層次的資源調(diào)度方式，方便用戶按實(shí)際需要管理維護(hù)。

songjy