網(wǎng)格結(jié)構(gòu)化的布線模塊可以讓數(shù)據(jù)中心管理員最大限度地利用網(wǎng)絡(luò)投資。
在過去十年中，隨著網(wǎng)絡(luò)規(guī)模的增長，我們可以看到網(wǎng)絡(luò)從傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)向更平坦、更寬的脊葉架構(gòu)的轉(zhuǎn)變。憑借其完全網(wǎng)狀的連接方式，脊葉架構(gòu)為我們提供了我們所渴望的可預(yù)測的高速網(wǎng)絡(luò)性能，以及網(wǎng)絡(luò)交換結(jié)構(gòu)中的可靠性。
但是在有諸多優(yōu)點(diǎn)的同時，脊葉結(jié)構(gòu)在結(jié)構(gòu)化布線方面也提出了挑戰(zhàn)。在本文中，我們將研究如何構(gòu)建和擴(kuò)展一個4路脊柱，并逐步發(fā)展到更多的脊柱網(wǎng)絡(luò)(如16路脊柱)，并在網(wǎng)絡(luò)發(fā)展過程中保持線速度切換能力和冗余。我們也將在結(jié)構(gòu)化布線的主要區(qū)域內(nèi)，探討兩種方法的優(yōu)點(diǎn)和缺點(diǎn)：一種方法使用傳統(tǒng)的光纖跳線，另一種使用光學(xué)網(wǎng)格模塊。
發(fā)展簡史
自20世紀(jì)80年代作為局域網(wǎng)(LAN)協(xié)議問世以來，以太網(wǎng)以其簡單的算法和低廉的制造成本，一直是數(shù)據(jù)中心和互聯(lián)網(wǎng)發(fā)展的推動力。以太網(wǎng)交換機(jī)在切換之前會查看它接收到的每一個包。它只打開外層信封來讀取第2層的地址，而不用讀取IP地址。這允許以太網(wǎng)交換機(jī)非�？焖俚匾苿訑�(shù)據(jù)包。
盡管以太網(wǎng)效率很高，但隨著網(wǎng)絡(luò)規(guī)模的增大，它也存在一些缺點(diǎn)。在一個由多個以太網(wǎng)交換機(jī)組成的網(wǎng)絡(luò)中，為了阻止地址解析協(xié)議(ARP)請求等廣播包在網(wǎng)絡(luò)中泛濫和循環(huán)，使用了一種稱為生成樹協(xié)議(STP)的技術(shù)。STP阻塞冗余鏈接以防止網(wǎng)絡(luò)中發(fā)生循環(huán)。在STP技術(shù)上運(yùn)行的網(wǎng)絡(luò)在主鏈路失敗時使用冗余鏈路作為故障轉(zhuǎn)移。這為基礎(chǔ)結(jié)構(gòu)提供了彈性，代價是可用帶寬的利用率僅為一半。
過去很長的一段時間，我們都在使用生成樹的邏輯來構(gòu)建網(wǎng)絡(luò)，直到我們遇到了一系列新的問題。第一個問題是我們的雙核網(wǎng)絡(luò)有限，沒有增長空間(為了服務(wù)越來越多的客戶，我們的網(wǎng)絡(luò)需要相應(yīng)地增長)。第二個問題是延遲。如果我們有一個大的網(wǎng)絡(luò)，我們通常把它們分成更小的網(wǎng)絡(luò)，我們稱之為虛擬局域網(wǎng)(VLAN)。這將導(dǎo)致不同類型的數(shù)據(jù)流量具有不同的延遲。與通過第3層核心的不同VLAN之間的流量相比，在單個VLAN中通過第2層網(wǎng)絡(luò)的流量具有不同的延遲。
.png)
支持生成樹協(xié)議的典型三層網(wǎng)絡(luò)。冗余鏈接被阻止，以防止網(wǎng)絡(luò)循環(huán)。
脊葉架構(gòu)簡介
現(xiàn)代電子商務(wù)、社交媒體和云應(yīng)用程序大多使用分布式計(jì)算為客戶服務(wù)。分布式計(jì)算是指服務(wù)器與服務(wù)器進(jìn)行對話并并行工作，以創(chuàng)建動態(tài)web頁面并回答客戶問題;它需要相同的延遲。等待結(jié)果會讓客戶不滿意。我們需要一個網(wǎng)絡(luò)架構(gòu)，它可以均勻地增長，并為現(xiàn)代應(yīng)用程序提供統(tǒng)一的延遲。
這些問題的解決方案來自于一種網(wǎng)絡(luò)架構(gòu)，即今天所說的“脊葉架構(gòu)”。自1952年Charles Clos首次引入多級電路交換網(wǎng)絡(luò)(也稱為Clos網(wǎng)絡(luò))以來，這個想法就一直存在。這種網(wǎng)絡(luò)架構(gòu)的主干稱為脊（Spin），每個葉（Leaf） 都通過脊連接到進(jìn)一步擴(kuò)展的網(wǎng)絡(luò)資源。只需添加更多的脊或葉交換機(jī)，網(wǎng)絡(luò)就可以均勻地增長，而不會改變網(wǎng)絡(luò)性能。
與傳統(tǒng)的3層架構(gòu)相比，網(wǎng)絡(luò)的脊部分水平增長，約束了網(wǎng)絡(luò)的層數(shù)。例如，通過雙向脊網(wǎng)絡(luò)，我們可以建立網(wǎng)絡(luò)，支持多達(dá)6000臺主機(jī)，通過4路脊網(wǎng)絡(luò)，我們可以建立網(wǎng)絡(luò)多達(dá)12000臺主機(jī)，通過16路脊網(wǎng)絡(luò)，我們可以超過100,000臺10-GbE主機(jī)。
其次，所有的葉交換機(jī)都連接到架構(gòu)中每個可用的脊交換機(jī)。這種完全網(wǎng)格化的架構(gòu)允許任何連接到葉的主機(jī)只使用兩個躍點(diǎn)連接其他主機(jī)，即交換機(jī)到交換機(jī)連接。例如，從葉交換機(jī)1到脊交換機(jī)1，然后從脊交換機(jī)1到葉交換機(jī)10。因?yàn)檎麄�脊層是用冗余方式構(gòu)建的(在脊或葉交換機(jī)宕機(jī)的情況下)，所以可以自動使用替代路徑和資源。
建立脊葉結(jié)構(gòu)網(wǎng)絡(luò)的基本規(guī)則如下：
- 主要構(gòu)建模塊是網(wǎng)絡(luò)葉交換機(jī)和網(wǎng)絡(luò)脊交換機(jī)。
- 所有主機(jī)只能連接到葉交換機(jī)。
- 葉交換機(jī)控制服務(wù)器之間的流量。
- 脊交換機(jī)在第2層或第3層的葉子交換機(jī)之間沿著最佳路徑向前切換流量。
- 葉交換機(jī)上的上行端口數(shù)量決定了脊交換機(jī)的最大數(shù)量。
- 脊交換機(jī)端口數(shù)量決定葉交換機(jī)的最大數(shù)量
這些原則影響交換機(jī)制造商設(shè)計(jì)其設(shè)備的方式。
仔細(xì)觀察一下脊交換機(jī)。如果我們觀察一個典型的脊交換機(jī)，第一眼我們注意到多個擴(kuò)展槽，例如4或8個來接受不同的線卡，用于連接葉交換機(jī)上行鏈路。
.png)
在一個脊葉網(wǎng)絡(luò)結(jié)構(gòu)中，葉交換機(jī)控制服務(wù)器之間的流量，而脊交換機(jī)沿著葉交換機(jī)之間的最佳路徑轉(zhuǎn)發(fā)流量。一個被稱為16路脊的架構(gòu)可以擴(kuò)展到支持超過100,000個10千兆位以太網(wǎng)主機(jī)。
板卡可以有不同的類型，例如36x40G QSFP(用于40-Gig)端口或32x100G QSFP28(用于100-Gig)端口。QSFP (Quad small form pluggable)和QSFP28端口是空的，因此必須分別購買單�；蚨嗄Ｊ瞻l(fā)機(jī)或有源光纜(AOC)，或雙絞電纜。一般規(guī)則是，脊交換機(jī)上可用端口的數(shù)量決定可以連接到脊的葉交換機(jī)的數(shù)量，從而決定可以連接到網(wǎng)絡(luò)的最大服務(wù)器數(shù)量。
接下來，我們將看到監(jiān)控模塊監(jiān)控和管理整個交換機(jī)的操作。電源支持層提供充裕的電力，在脊交換機(jī)的背面，我們通常有網(wǎng)絡(luò)模塊，來協(xié)調(diào)不同線卡之間的流量。在脊交換機(jī)的板卡上，均勻分布葉交換機(jī)的上行鏈路連接，減少了通過結(jié)構(gòu)模塊的數(shù)據(jù)量，從而顯著提高交換機(jī)性能。
這增加了端到端包裹交付時間，也就意味著延遲，并需要采購額外的交叉板卡，而這意味著額外的成本。在接下來的章節(jié)中，我們將討論如何使用布線解決這些問題。
仔細(xì)觀察葉交換機(jī)。當(dāng)討論葉交換機(jī)時，主要考慮的是上行端口的數(shù)量，它決定了可以連接到多少個脊交換機(jī)，以及下行端口的數(shù)量，它決定了可以連接到葉交換機(jī)的主機(jī)數(shù)量。上行鏈路端口可以支持40/100G速度，下行鏈路端口可以根據(jù)您計(jì)劃使用的模塊在10G/25G/40G/50G之間進(jìn)行選擇。
擴(kuò)展具有冗余和線速交換的脊葉網(wǎng)絡(luò)。讓我們考慮一下這種情況。我們有兩個脊交換機(jī)，每個脊交換機(jī)上有四張板卡，但是每個葉交換機(jī)上只有四個上行端口。是否可以將這4個上行鏈路分布在8個板卡中，以保持冗余和線速交換?
如果我們使用40G SR4收發(fā)器，我們知道它們實(shí)際上是由4 x10G SR收發(fā)機(jī)組成的，一個40G- SR4端口可以被視為四個獨(dú)立的10G端口。這稱為端口分開應(yīng)用（port break-out application）。端口分開允許我們擴(kuò)展和冗余，因?yàn)槲覀償U(kuò)展網(wǎng)絡(luò)的方式，傳統(tǒng)技術(shù)上做不到。例如，可以將2x40G SR4收發(fā)器拆分為8 x10G端口，并輕松地將它們分布在8個板卡上。
.png)
使用傳統(tǒng)端口分開的方法進(jìn)行交叉連接--為了表示這一點(diǎn)，讓我們使用康寧EDGE? 解決方案端口分開模塊創(chuàng)建一個10G的交叉連接。我們可以使用EDGE解決方案端口分開模塊在脊層端接所有40G QSFP端口。我們可以對葉交換機(jī)做同樣的處理�，F(xiàn)在，我們可以簡單地在各自的葉交換機(jī)和脊交換機(jī)之間做一個LC 跳線連接。通過這樣做，我們可以分開所有40G端口，并將它們分布在4個不同的板卡上。
冗余得到保持，這意味著如果你丟失了一個板卡，你只損失了25%的帶寬。我們通過確保所有的板卡上都連接了所有的葉交換機(jī)來維護(hù)線速交換，因此不需要通過垂直架構(gòu)模塊進(jìn)行通信。每個黃色突出顯示的端口代表一個40G QSFP端口。
這是最優(yōu)的做事方式嗎? 不。這被稱為使用舊工具構(gòu)建新網(wǎng)絡(luò)。
用網(wǎng)格模塊交叉連接--有更好的方法嗎?
讓我們考慮一下網(wǎng)格模塊。這個網(wǎng)格模塊連接到一側(cè)的脊交換機(jī)和另一側(cè)的葉交換機(jī)。脊交換機(jī)側(cè)端口連接到脊交換機(jī)上的單板卡。每次我們在葉交換機(jī)側(cè)連接一個葉交換機(jī)，它就會自動斷開那個端口并將它們在網(wǎng)格模塊上的脊交換機(jī)端口上重新連接，這些端口已經(jīng)連接到單獨(dú)的板卡上了。
我們不需要做任何LC跳線的修補(bǔ)。我們?nèi)匀粚?shí)現(xiàn)了我們在上一個場景中嘗試的重新連接，我們有完全的冗余，我們可以從交換機(jī)獲得完全的性能。
在這個設(shè)置中，一個網(wǎng)格模塊連接到一側(cè)的脊交換機(jī)和另一側(cè)的葉交換機(jī)。脊交換機(jī)側(cè)端口連接到脊交換機(jī)上的單板卡。每當(dāng)用戶連接葉交換機(jī)一側(cè)的葉端子交換機(jī)時，該端口就會自動斷開，并在網(wǎng)格模塊上的脊交換機(jī)端口之間來回移動--這些端口已經(jīng)連接到單獨(dú)的板卡上。不需要LC-LC跳線修補(bǔ)。
通過網(wǎng)格模塊擴(kuò)展網(wǎng)絡(luò)--從雙路脊交換機(jī)到4路脊交換機(jī)是容易的。我們只需要在每個脊交換機(jī)上使用一個網(wǎng)絡(luò)模塊，并將每個從葉交換機(jī)而來的40G上行鏈路分配到每個脊交換機(jī)的4個板卡上。
使用網(wǎng)格模塊，擴(kuò)展4路脊交換機(jī)是很容易的。我們將網(wǎng)格模塊的脊交換機(jī)，連接到其他脊交換機(jī)。我們正在失去板卡級的冗余和交換效率，但我們通過將風(fēng)險分布在16路脊交換機(jī)上而獲得了更多的冗余。因此，我們還應(yīng)該投資矩陣模塊，因?yàn)樵谕粋�機(jī)箱中，不同的板卡上有不同的葉交換機(jī)。通過此項(xiàng)最后的擴(kuò)展，我們可以得到一個比4路脊交換機(jī)大四倍的網(wǎng)絡(luò)。
使用網(wǎng)格模塊有幾個優(yōu)點(diǎn)。我們可以降低45%的連接成本。通過用MTP接線代替LC接線，我們可以減少75%的擁塞。因?yàn)槲覀儾恍枰渚�架來進(jìn)行LC斷接和跳接，我們可以在設(shè)備主分布區(qū) (MDA) 實(shí)現(xiàn)75%的空間節(jié)省。
歷史告訴我們，隨著每一個新的技術(shù)發(fā)展，我們必須發(fā)明新的做事方法。今天，這個行業(yè)正在向脊葉結(jié)構(gòu)轉(zhuǎn)變，交換機(jī)制造商已經(jīng)為新一代的數(shù)據(jù)中心交換機(jī)架構(gòu)設(shè)計(jì)了先進(jìn)的交換機(jī)系統(tǒng)。這種架構(gòu)的基本要求是構(gòu)建網(wǎng)格結(jié)構(gòu)的布線模型，使您能夠從矩陣架構(gòu)投資中獲得最大的收益。
.png)
使用網(wǎng)格模塊場景，我們可以超越雙路脊柱，甚至超越4路脊柱，達(dá)到如圖所示的16路脊柱。實(shí)現(xiàn)這種方法后，用戶確實(shí)會丟失板卡級冗余和交換效率; 然而，通過將風(fēng)險分散到16路脊柱，用戶也獲得了更多的冗余。對于這種類型的網(wǎng)絡(luò)部署，值得在矩陣模塊上進(jìn)行投資，因?yàn)樵谶@種情況下，同一機(jī)箱的不同板卡上連接著不同的葉交換機(jī)。
脊葉結(jié)構(gòu)的網(wǎng)格連接可以使用標(biāo)準(zhǔn)MDA風(fēng)格的結(jié)構(gòu)化布線系統(tǒng)實(shí)現(xiàn)，我們可以將其與”使用舊工具構(gòu)建新事物“的方法進(jìn)行比較。使用網(wǎng)格模塊作為構(gòu)建下一代網(wǎng)絡(luò)的新工具可以顯著降低數(shù)據(jù)中心結(jié)構(gòu)的復(fù)雜性和連接成本。 
