最新消息: 新版網站上線了!!!

阿里高精度擁塞控制HPCC改進TCP,分布式存儲、大規模機器學習等性能得到幾倍到幾十倍提升

TCP 是最基礎的網絡傳輸層通信協議,其擁塞控制算法是為 Internet 這種相對低速、高延遲的網絡環境設計的。在新一代的高速云網絡中,TCP 的擁塞控制算法無法充分發揮底層網絡能力,而現有高速網絡擁塞控制算法(如:RDMA 協議中的擁塞控制算法 DCQCN)又存在嚴重的穩定性風險。阿里巴巴的技術人員研發了新一代高速云網絡擁塞控制協議 HPCC (High Precision Congestion Control),旨在同時實現高速云網絡的極致性能和超高穩定性。目前這一成果已被計算機網絡方向世界頂級學術會議 ACM SIGCOMM 2019 收錄,引起了國內外廣泛關注。

根據 IETF 的 RFC 793 定義,TCP是一種面向連接的、可靠的、基于字節流的傳輸層通信協議。在過去的幾十年中,TCP 相關的基本操作未做太大改動,但其擁塞控制算法經歷了幾代學者和工程師的迭代更新,比如 RFC2581《TCP 的擁塞控制》、加州理工學院研發的 FAST TCP 以及目前在數據中心網絡中被廣泛使用的 DCTCP 等。


然而,在過去幾十年中發生變化的不僅僅是算法本身,網絡環境也發生了巨大變化,尤其是云計算出現之后,云租戶和應用對網絡帶寬、延遲以及穩定性的要求比過去的互聯網用戶提升了一到兩個數量級,這導致傳統 TCP 協議開始難以適用于云網絡(數據中心網絡)的高速、低延遲環境。雖然 RDMA 等新一代技術摒棄了傳統 TCP 中的一些做法,以換取網絡性能的大幅提升,但是 RDMA 擁塞控制算法本身蘊含著相當高的不穩定性風險,阻礙其在大規模網絡中得到廣泛應用。阿里巴巴的一群工程師近期成功研發出新一代、超高性能云網絡環境下對傳統 TCP 和 RDMA 擁塞控制算法的替代方案–HPCC。


HPCC (High Precision Congestion Control- 高精度擁塞控制)隨著云計算的迅猛發展,傳統 PC 時代的小型機房的網絡架構已逐漸退出歷史舞臺,取而代之的是以數據中心為核心的超大規模、云網絡架構。在這樣的環境下,目前主流的 TCP 和 RDMA 擁塞控制算法(例如 DCTCP,DCQCN)要么無法充分發揮云網絡低延時、高帶寬的優勢,要么無法在大規模網絡環境下保持穩定。這給包括阿里巴巴在內的大型云計算服務商們帶來了嚴峻的運營和技術挑戰。


HPCC 是在高性能的云網絡環境下,對現有的擁塞控制的一種替代方案。它可讓數據中心網絡中的報文穩定的、以微秒級的延遲傳輸。當前主流的擁塞控制算法主要依賴于端的信息(例如丟包信息,延遲信息),以及極為有限的設備反饋信息(如 1 個比特的 ECN)做擁塞控制,而 HPCC 則創新性地運用了最新網絡設備提供的細粒度負載信息而全新設計了擁塞控制算法。在 HPCC 的幫助下,主流的云應用,比如分布式存儲、大規模機器學習,高性能計算等性能會得到幾倍到幾十倍不等的提升;云租戶相應地將會感受到延遲顯著降低,效率和性價比大幅提升。


核心:擁塞控制

無論是 TCP、RDMA 還是其各種改進版本,其核心都在圍繞擁塞控制算法進行,這也是高性能云網絡中必須解決的痛點,而 HPCC 的核心就是重新定義下一代擁塞控制機制。張銘表示,HPCC 的思路和框架同樣可以用于改進 TCP 或者 RDMA 等其他傳輸層協議。

在計算機網絡里,傳統的擁塞控制算法主要通過在端上調節流量,以維持網絡最佳平衡狀態。發送方根據網絡承載情況控制發送速率,以獲取高性能并避免擁塞崩潰(congestion collapse)導致網絡性能下降幾個數量級,并在多個數據流之間產生近似最大化最小流的公平分配。發送方與接收方確認包、包丟失以及定時器情況,估計網絡擁塞狀態,從而調節數據流的發送速率,這被稱為網絡擁塞控制。

HPCC 的核心理念是利用精確鏈路負載信息直接計算合適的發送速率,而不是像現有的 TCP 和 RDMA 擁塞控制算法那樣迭代探索合適的速率;HPCC 速率更新由數據包的 ACK 驅動,而不是像 DCQCN 那樣靠定時器驅動。

在整個研發過程中,劉洪強提到,最難的其實是思想和理念上的突破,擁塞控制算法已經被研究了數十年,只有突破傳統的思維方式才可能得到新的收獲;其次,完成這項研究需要同時聚齊懂理論、懂工程實踐、懂硬件和懂運維的人,這本身就實屬不易。最后,還需要攻克各種工程難關,將算法付諸實踐。

當然,真正實現 HPCC 的大規模、商業化落地還需要一段時間,但阿里內部已經在模擬真實網絡的實驗環境下進行了多方面驗證,其效果與設想高度一致。

經過各種軟硬件的精巧設計,阿里工程團隊已完整和高效地實現了 HPCC 的軟硬件協議棧。實驗表明,HPCC 在擁塞條件下可以將延遲降低一到兩個數量級,且收斂速度極快;一旦出現空閑帶寬,立刻會被充分利用,整體網絡利用率維持在相當高的水平,而延遲則接近于理想值。張銘強調,在無擁塞的情況下,數據流的傳輸速度都很快;而一旦發生擁塞,受影響的數據流從不穩定狀態恢復到穩定狀態的時間需要越短越好,HPCC 的收斂速度和穩定性都要遠優于目前的主流算法。


研究價值

目前業內對網絡傳輸協議的選擇基本分為兩大類:一類是以 TCP 為主,持續探索如何將 TCP 的性能調至更優的狀態;另一類則希望研究可以取代 TCP 的新傳輸協議。張銘解釋道,HPCC 的出現為下一代擁塞控制開拓了一個全新的方向,無論是 TCP, 還是 RDMA,抑或是某種新的傳輸層協議,都可以直接使用 HPCC,或是在其基礎上構建適用于高性能云網絡的擁塞控制機制。

對云上租戶而言,HPCC 的價值在于可以讓其享受高速的網絡服務,而不需要擔心穩定性問題;網絡資源利用率提升的同時會帶來云使用成本的降低;而對性能要求極高的用戶(如 HPC), 則更是至關重要。


轉載請注明:谷谷點程序 » 阿里高精度擁塞控制HPCC改進TCP,分布式存儲、大規模機器學習等性能得到幾倍到幾十倍提升

体彩25选5开奖号码