柚子快報(bào)激活碼778899分享:后端 Partition架構(gòu)
柚子快報(bào)激活碼778899分享:后端 Partition架構(gòu)
優(yōu)質(zhì)博文:IT-BLOG-CN
Partition架構(gòu)
【1】結(jié)構(gòu): Region至少3個(gè)Zone,Zone內(nèi)至少兩個(gè)Partition,Partition內(nèi)至少1個(gè)K8S Member Cluster; 【2】故障域: 故障域及核心鏈路至少Zone內(nèi)收斂,甚至Partition收斂。故障域之間不應(yīng)該有交互(狀態(tài)流等); 【3】變更規(guī)范: 不同時(shí)變更多個(gè)Zone,甚至不同時(shí)變更多個(gè)Partition; 【4】Federation:Regional調(diào)度及控制面,負(fù)責(zé)Region內(nèi)資源、容量調(diào)度; 【5】應(yīng)用部署: 應(yīng)用副本根據(jù)可用性級(jí)別分布在多個(gè)Zone內(nèi)的多個(gè)Partition;
故障域隔離FederatedHPA: 場(chǎng)景梳理并分級(jí),匹配不同故障域隔離要求。 【1】應(yīng)用擴(kuò)容鏈路: 高頻+核心,Partition(Cluster)故障域內(nèi)收斂,單個(gè)Partition故障不影響其他Partition正常擴(kuò)容; 【2】HPA參數(shù)變更鏈路: 低頻+非核心,Region故障域內(nèi)收斂,故障會(huì)影響整個(gè)Region的HPA發(fā)布變更; 【3】Cluster間Rebalance鏈路: 低頻+非核心,Region故障域內(nèi)收斂,故障會(huì)影響整個(gè)Region的容量Rebalance;
方案: 【1】HPA系統(tǒng)組件在Partition(Cluster)內(nèi)完整部署并封閉,擴(kuò)縮容鏈路與其它Partition完全隔離; 【2】FederatedHPA只負(fù)責(zé)Partition/Zone間的Rebalance協(xié)調(diào)與變更分發(fā);
效果: 單個(gè)AZ、Partition及Federation的故障不影響其它AZ、Partition的應(yīng)用擴(kuò)縮容。
應(yīng)用部署的Group(Rollout)為Region級(jí)別。由Federation控制與分發(fā)到多個(gè)Zone內(nèi)的Partition。Group不同時(shí)變更多個(gè)Zone。
容量調(diào)度問題 【1】流量上漲,Zone A擴(kuò)容成功率下降(其他系統(tǒng)正在擴(kuò)容等),需要降低Zone A流量比例,擴(kuò)容成功率恢復(fù)后,需要恢復(fù)流量比例關(guān)系; 【2】Zone流量比例發(fā)生傾斜,如果單個(gè)Zone故障,Zone的Capacity會(huì)比非傾斜時(shí)高,需要主動(dòng)觸發(fā)提前擴(kuò)容Node; 【3】混合云場(chǎng)景,私有云Zone容量不足,將部分應(yīng)用容量公有云Zone傾斜,過峰后,因成本因素,恢復(fù)原有狀態(tài);
方案: 【1】Autopilot監(jiān)聽各Zone的資源用量、容量、擴(kuò)容成功率以及SRE運(yùn)營(yíng)規(guī)則; 【2】Autopilot生成流量調(diào)度結(jié)果,并下發(fā)調(diào)度; 【3】HPA感知負(fù)載變化進(jìn)行擴(kuò)縮; 【4】Autopilot根據(jù)當(dāng)前各Zone用量更新Capacity,并指導(dǎo)提前Node擴(kuò)容;
多機(jī)房庫(kù)存問題
用戶的請(qǐng)求保證在同一機(jī)房?jī)?nèi)完成閉環(huán),但部分場(chǎng)景并不適合劃分單元化,比如多機(jī)房庫(kù)存扣減問題。面對(duì)多機(jī)房庫(kù)存扣減問題目前的策略如下: 【1】業(yè)務(wù)扣庫(kù)存邏輯不調(diào)整,還是同步扣庫(kù)存,但事先根據(jù)流量分配好每個(gè)機(jī)房庫(kù)存; 【2】增加庫(kù)存調(diào)配機(jī)制,當(dāng)庫(kù)存不足時(shí)觸發(fā)庫(kù)存調(diào)配,從有多余庫(kù)存的機(jī)房進(jìn)行調(diào)配; 【3】增加監(jiān)控和庫(kù)存不足告警通知,除了自動(dòng)資源調(diào)配,對(duì)活動(dòng)上線后進(jìn)行機(jī)房間的庫(kù)存情況實(shí)時(shí)觀測(cè)和實(shí)時(shí)手動(dòng)調(diào)配;
柚子快報(bào)激活碼778899分享:后端 Partition架構(gòu)
參考鏈接
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點(diǎn)和立場(chǎng)。
轉(zhuǎn)載請(qǐng)注明,如有侵權(quán),聯(lián)系刪除。