Дезагрегацията на центъра за данни разделя изчисленията, паметта, съхранението и мрежите в независими, обединени ресурси, вместо да ги заключва във фиксирани граници на сървъра. Това разделяне създава нова архитектурна зависимост: свързващият слой между тези пулове трябва да осигурява достатъчно честотна лента, достатъчно ниска латентност и достатъчен обхват, за да накара цялата система да се държи като една координирана тъкан. Оптичното свързване е транспортната технология, която все повече изпълнява тази роля - особено там, където медните връзки достигат физическите граници на разстоянието, мощността и целостта на сигнала.
Тази статия обяснява как оптичното свързване поддържа дезагрегирани архитектури, къде превъзхожда медта, каква е връзката му с CXL и съ-опакованата оптика и кога има практически смисъл да се приеме.
Какво представлява дезагрегирането на центъра за данни?
В традиционен сървър-центричен модел процесорът, паметта, хранилището и работата в мрежа са групирани в едно шаси. Купувате сървър и получавате фиксирано съотношение от всичките четири - независимо дали работното ви натоварване се нуждае от това съотношение или не. Дезагрегацията на центъра за данни разделя този пакет. Всеки тип ресурси е организиран в собствен пул и работните натоварвания извличат само това, от което се нуждаят от всеки пул през споделена структура.
Това има значение, защото съвременните натоварвания рядко са балансирани. Голяма задача за обучение на езикови модели може да насити паметта на GPU и честотната лента на изток-запад, като същевременно едва докосва локалното хранилище. Един-тръбопровод за анализи в реално време може да се нуждае от огромен капацитет на паметта, но само умерени изчисления. В сървърно-ориентиран дизайн това несъответствие води до блокиране на ресурсите: неактивни цикли на процесора, разположени заедно с изтощена памет, или капацитет за съхранение, който не се използва от работно натоварване.
TheOpen Compute Project (OCP)управлява дезагрегирани дизайни на стелажи от средата на 2010 г., а хиперразмеристи като Meta и Microsoft внедриха дезагрегирани хранилища и мрежи в мащаб. Появата наCompute Express Link (CXL)разшири тази визия до дезагрегация на паметта, правейки архитектурата все по-практична за по-широк кръг от среди.
Защо традиционните сървърни-ориентирани дизайни удрят стената
Две сили тласкат инфраструктурните екипи към дезагрегиране: натиск за използване и натиск върху честотната лента.
От страна на използването, фиксираните сървърни пакети създават отпадъци в мащаб. Индустриалните изследвания показват, че приблизително 25% от капацитета на DRAM в конвенционалните сървъри остава средно неизползван, въпреки че паметта представлява почти половината от общата цена на сървъра. Умножен в хиляди възли, този блокиран капацитет представлява значително капиталово и енергийно бреме.
Що се отнася до честотната лента, клъстерите за обучение с изкуствен интелект и анализите с висока-производителност генерират модели на трафик, които се различават рязко от традиционните натоварвания на уеб обслужването на север-юг-. Тези работни натоварвания създават тежък трафик от изток-запад - GPU-към-GPU, ускорител-към-памет и възел-към-възел - през стотици или хиляди крайни точки. Традиционните сървър-центрични топологии с къси медни участъци между фиксирани кутии не са проектирани за този модел. Тъй като скоростите на връзката се покачват от 400G до 800G и повече, електрическите ограничения на медта стават по-трудни за инженеринг.
Как работи оптичното свързване в дезагрегиран център за данни?
След като ресурсите за изчисление, памет и ускорител се намират в отделни пулове, тъканта, свързваща тези пулове, става-критичният за производителността слой. Оптичното свързване обслужва този слой чрез преобразуване на електрически сигнали в светлина, предаване на данниединичен-режимилимногомодово влакно, и преобразуване обратно в електрически в приемащия край.
Физиката на оптичния транспорт му дава структурни предимства за тази работа. Светлинните сигнали във влакната изпитват много по-малко затихване на метър от електрическите сигнали в медта, което означава, че оптичните връзки могат да поддържат качеството на сигнала на по-дълги разстояния без кондициониране-изяждащо енергия (ретаймери, DSP, еквалайзери), което медта изисква при по-високи скорости. При 800 Gbps пасивната мед е практична до приблизително 3–5 метра. Активните електрически кабели се простират до около 7 метра. Оптичните връзки рутинно обхващат 100 метра до 2 километра при същата скорост на данни, а кохерентната оптика може да достигне десетки километри.
В дезагрегирана архитектура това предимство на обхвата не е абстрактно. Той директно определя колко далеч един от друг могат да стоят пуловете ресурси, докато все още се държат като единна система. По-конкретно:
- В стелажа:Медта все още доминира за много къси връзки - сървър-към-горния-от-превключвател на стелажа, GPU-към-GPU в трей. На разстояния под 2–3 метра медта е по-проста, по-евтина и с по-ниско-закъснение.
- Стелаж-до-рейк (2–100 м):Това е мястото, където оптичното свързване става практическо по подразбиране при 400G и повече. Свързването на изчислителен стелаж към пул памет в съседен стелаж или свързването на графични процесори през ред обикновено изисква гъстотата на честотната лента и обхвата, които осигурява оптичното влакно.Сглобки за оптични кабелииMPO/MTP свързаностса стандартни за тези пътища.
- От-до-стая и-от-сграда (100 м–10+ км):Само оптичният транспорт е жизнеспособен при тези разстояния и скорости. Този обхват е от значение за разпределението-в мащаба на кампуса, където пулове за съхранение, резервни изчисления или ресурси за-възстановяване след бедствие се намират в отделни сгради.
Оптична връзка срещу мед в дезагрегирани центрове за данни
Изборът между оптични и медни не е двоичен -, а зависи от обхвата-. Ето как двете се сравняват между факторите, които са най-важни в дезагрегиран дизайн:
| Фактор | Мед | Оптично влакно |
|---|---|---|
| Практически обсег при 800G | 3–7 m (пасивен/активен) | 100 м – 10+ км (в зависимост от типа оптика) |
| Плътност на честотната лента | По-ниска на кабел; кабелите са по-дебели при по-високи скорости | По-висока на кабел; тънките влакна поддържат голям брой портове |
| Мощност на бит (по-дълъг обхват) | Необходими са по-високи - DSP, ретаймери и кондициониране на сигнала | Намалете при еквивалентен обхват и скорост |
| Латентност (къс обхват) | Много ниска (пасивната мед няма допълнителни разходи за преобразуване) | Малко по-високо поради електро{0}}оптично преобразуване |
| EMI имунитет | Податлив на електромагнитни смущения | Имунитет - важен в гъста среда с висока-енергия |
| Тегло на кабела и въздушен поток | По-тежък и по-обемист при по-висок брой | По-лек и по-тънък, по-добър за въздушен поток в плътни рафтове |
| Цена (къс обхват, ниска скорост) | Долна отпред | По-високо предварително |
| Разходи (системно-ниво, в мащаб) | Може да бъде по-висока, когато се вземат предвид мощността, охлаждането и границите на достигане | Често по-ниска обща цена на притежание при 400G+ и по-дълги пътища |
| Най-добро прилягане в дезагрегиран дизайн | Вътрешна-тава, вътрешна-стойка къси връзки | Rack{0}}to-rack, red-to-red, room-to-room, and campus-scale |
Практическият извод: използвайте мед там, където простотата на къси{0}}разстояния все още печели. Използвайте оптични, където обхватът, плътността на честотната лента, енергийната ефективност или управлението на кабелите се превръщат в обвързващо ограничение. В дезагрегирана среда оптичният дял от общата взаимосвързаност нараства, защото самата архитектура създава по-дълги, по-високи-пътища с честотна лента между отделни пулове ресурси. За по-задълбочено сравнение на типовете медии вижтеоптични влакна срещу медни кабели: кое е подходящо за вашето внедряване.
Основни предимства на оптичното свързване за дезагрегиране
По-висока плътност на честотната лента за разделени пулове ресурси
Дезагрегацията увеличава обема на трафика, пресичащ слоя за взаимно свързване, тъй като ресурси, които някога са били съвместно -разположени, сега комуникират през структурата. Оптичното влакно поддържа това търсене с по-висока честотна лента на-влакно и повече влакна на кабел. Един единственлентов оптичен кабелможе да пренася стотици влакна в компактно напречно-сечение, позволявайки вида на плътността на портовете, която изискват дезагрегирани GPU клъстери и пулове памет.
По-ниска мощност и термично натоварване в мащаб
Енергийната ефективност е по-важна при дезагрегиран дизайн, тъй като слоят за свързване носи по-голям дял от общия системен трафик. При 800G и повече медните връзки на умерени разстояния изискват енергоемка-DSP обработка и в двата края. Оптичните връзки при еквивалентни скорости и разстояния консумират по-малко енергия на бит. Техническата документация на NVIDIA за нейната съвместно пакетирана платформа за превключване на оптика съобщава a3,5 пъти намаление на консумацията на енергияв сравнение с традиционните щепселни трансивъри. В мащаба на центъра за данни тази разлика се превръща директно в по-ниски сметки за електроенергия и намалена инфраструктура за охлаждане.
Модулно, независимо мащабиране
Едно от основните обещания на дезагрегацията е, че изчисленията, паметта и съхранението могат да се мащабират с различни скорости. Оптичното свързване поддържа това обещание, защото добавянето на капацитет към един пул от ресурси не изисква препроектиране на цялата структура.Щепселни оптични модулимогат да се надграждат или добавят постепенно - от 400G до 800G до 1,6T - без промяна на основната инсталация за влакна.
Гъвкавост за разнородни натоварвания
Когато ресурсите са обединени и свързани чрез оптична тъкан с висока{0}}производителност, инфраструктурните екипи могат да присвояват ресурси на работните натоварвания динамично, вместо да оформят работните натоварвания около фиксирани сървърни конфигурации. Тази гъвкавост е особено ценна в среди, в които работни места за обучение на AI,-изводи в реално време, конвейери за анализ и-тежки приложения за съхранение съществуват съвместно и се конкурират за различни типове ресурси.
Как оптичното свързване е свързано с CXL и Co-Packed Optics
CXL: протоколният слой за споделяне на памет и ресурси
CXL (Compute Express Link) и оптичното свързване решават различни части от проблема с дезагрегацията. CXL е отворен стандартен протокол -, изграден върху физическия слой PCIe -, който позволява кохерентна комуникация на кеша- между процесори, устройства с памет и ускорители. Той определя как разделените ресурси могат да се обединяват и споделят ефективно на ниво софтуер и протокол.
Консорциумът CXL, чиито членове включват Intel, AMD, NVIDIA, Samsung, Microsoft, Google и Meta, пусна CXL 3.1 през ноември 2023 г. с изрична поддръжка замного{0}}превключване на нива и -базирано разчленяване на тъканиотвъд стелажа. CXL 3.0 въведе поддръжка за до 4096 възли в унифицирана структура, позволявайки обединяване на памет в мащаб-на стелаж и потенциално на клъстер-мащаб.
Оптичното свързване е физическият транспорт, който може да пренася CXL трафик (и други протоколи) между тези разпределени възли. Екип, оценяващ CXL-обединяване на памети, и екип, оценяващ оптична връзка, често работят върху една и съща инициатива за дезагрегиране от различни ъгли - единият се занимава с протокола и логиката за-споделяне на ресурси, а другият се занимава с физическия транспорт.
Ко-опакована оптика: натискане на оптиката по-близо до чипа
Ко-опакованата оптика (CPO) отива по-далеч, като интегрира оптични двигатели директно върху същия субстрат на опаковката като ASIC или GPU на превключвателя, вместо да разчита на отделни щепселни трансивъри, свързани чрез електрически проводници на предния панел. Това елиминира най-дългите и най-енергоемките-електрически пътища в системата.
На GTC 2025 NVIDIA обяви първия сико-пакетирани платформи за превключване на силициева фотоника(Quantum-X Photonics и Spectrum-X Photonics), осигуряващи до 409,6 Tb/s честотна лента с 512 порта при 800 Gb/s. Главният изпълнителен директор на NVIDIA Дженсън Хуанг отбеляза, че мащабирането до милион графични процесора с помощта на конвенционални сменяеми трансивъри ще изразходва приблизително 180 MW само в трансивърната мощност - неустойчива цифра, която CPO е предназначена да адресира.
CPO не е нещо, което всеки екип, оценяващ дезагрегацията, трябва да внедри днес. Включващите се оптични модули остават доминиращият форм фактор за повечетооптичен център за даннивнедрявания и ще продължи поне до края на 2020 г. Но CPO представлява посоката на оптичната пътна карта и екипите, планиращи големи клъстери с изкуствен интелект или следващо-поколение дезагрегирани тъкани, трябва да следят отблизо неговата зрялост.
Кога оптичното свързване има най-голям смисъл?
AI и ускорител-тежки среди
Клъстерите за обучение с изкуствен интелект са сред най-силните случаи на използване на оптично свързване в дезагрегиран контекст. Тези системи генерират масивен трафик от изток-запад по пътищата на GPU-към-GPU и GPU-към-паметта. Тъй като размерите на клъстерите нарастват от стотици до хиляди графични процесори, изискванията за обхват и честотна лента бързо надвишават това, което медта може да поддържа. В архитектурата GB200 NVL72 на NVIDIA, например, мрежовите разходи (включително оптични трансивъри) представляват 15–18% от общите разходи на клъстера, а оптичните трансивъри представляват приблизително 60% от тези мрежови разходи. Икономическият и производителен случай за оптимизиране на оптичния слой е значителен.
Обединяване на паметта и композируема инфраструктура
Ако вашият екип оценява базираното на CXL{0}}обединяване на паметта, физическият транспортен слой трябва да поддържа това разделяне, без да добавя неприемливо забавяне или ограничаващ мащаб. CXL 3.1 изрично е насочен към дезагрегиране-на мащаба на тъканта отвъд стелажа, което означава, че пътищата за взаимно свързване ще обхващат по-големи разстояния от традиционните вътрешно-сървърни шини на паметта. Оптичните връзки са естественото прилягане за тези пътища.
Среди- с голям мащаб с неравномерни нужди от мащабиране
Оптичното свързване също има повече смисъл, когато изчисленията, паметта и съхранението трябва да се мащабират с различни скорости. Ако изчислителният ви капацитет нараства 3 пъти годишно, но съхранението нараства 1,5 пъти, дезагрегираната архитектура ви позволява да разширявате всеки пул независимо -, а оптичното свързване прави това физически възможно, без да препроектирате кабелната инсталация всеки път.
Когато НЯМА смисъл
Оптичното свързване не е правилната отправна точка за всяка среда. Ако вашият център за данни работи основно с балансирани,-работни натоварвания с общо-целево на конвенционални сървъри и вашият--трафик от шкаф към -рак е скромен и добре-обслужван от съществуваща медна инфраструктура, цената и сложността на оптична-първа тъкан може да не са оправдани. По същия начин, ако работите в мащаб, в който няколко дузини сървъри отговарят на нуждите ви, самото дезагрегиране може да въведе повече оперативна сложност, отколкото да спести. Архитектурата се изплаща, когато мащабът, хетерогенността и дисбалансът на ресурсите са реални и измерими -, а не хипотетични.
Какво да оцените преди внедряване
1. Начертайте вашето действително тясно място
Започнете с ясен въпрос: какво е обвързващото ограничение? Има ли обхват (медните пътеки са твърде къси за вашето оформление на стелажа)? Плътност на честотната лента (недостатъчна пропускателна способност на кабел за захранване на вашия GPU клъстер)? Захранване (електрически връзки, консумиращи твърде много мощност при 400G+)? Използване на ресурсите (сървърите са прекомерно обезпечени на една ос и липсват на друга)? Оптичното свързване е най-ценно, когато препятствието е физическо и измеримо, а не когато се приема като общ жест за модернизация.
2. Оценете общата цена на системата, а не цената на кабела
Често срещана грешка е сравняването на цената на меден кабел с цената на единоптичен кабелв изолация. Това сравнение е подвеждащо. Смисленото сравнение включва консумация на енергия, термични разходи (и разходите за охлаждане, които създава), плътност на портовете за стелаж, използваем обхват, гъвкавост на надстройката и цената на блокираните ресурси в по-широката архитектура. В много дезагрегирани среди при 400G и повече, общата цена на притежание на оптичното влакно е по-ниска от медното, когато отчитате цялата система.
3. Проверка на съвместимост и работна готовност
Оценететестване на оптичен кабелизисквания, оперативна съвместимост на модула, инструменти за наблюдение и оперативно познаване на вашия екип с оптични влакна. Сменяемите оптични модули (OSFP, QSFP-DD) са добре-стандартизирани и широко поддържани, но вашият оперативен екип трябва да се запознае с боравенето с влакна, почистването и отстраняването на неизправности, преди да разположите в мащаб. Обмислете да започнете с пилотен домейн, където можете да валидирате тези оперативни фактори.
4. Планирайте дълголетието на влакнодайното растение
Едно значително предимство на оптичната инфраструктура е, че инсталацията за пасивни влакна - кабелите, съединителните панели и пътищата - може да поддържа множество поколения трансивърна технология. Добре-проектирансвързаност на центъра за данниинсталацията за влакна, инсталирана днес за 400G, може да поддържа 800G и 1.6T надстройки чрез смяна на приемо-предаватели, без да дърпа нови кабели. Това прави първоначалната инвестиция във влакна по-защитима за 10-годишен хоризонт на планиране.
Практически път за осиновяване
Стъпка 1: Идентифицирайте един ограничен домейн.Потърсете мястото, където обхватът на медта, мощността, плътността на честотната лента или блокираните ресурси вече създават измерима болка. Това може да е разширяване на клъстер на графичен процесор, тясно място от-от-рейк в среда за анализ или пилотен проект за обединяване на памет.
Стъпка 2: Пилотирайте и валидирайте.Разположете оптична връзка в този домейн. Измерете поведението на латентност, консумираната мощност, оперативната сложност и икономиката на разширяването спрямо съществуващата ви базова линия.
Стъпка 3: Разширете въз основа на доказателства.Използвайте пилотните данни, за да създадете бизнес и технически казус за по-широко приемане. Дезагрегирането и оптичната миграция рядко се управляват най-добре като един голям-проект. Поетапното внедряване ви позволява да научите, коригирате и изградите организационна увереност.
Контролен списък за вземане на решения: Подходяща ли е оптичната връзка за вашата инициатива за дезагрегиране?
- Разстоянията на връзката -към-шкаф или стая-към-стая превишават ли практическия обхват на медта при вашата целева скорост?
- Планирате ли да внедрите 400G или по-високи скорости на връзката в близко бъдеще?
- Консумацията на енергия от електрическо свързване става ли значима част от енергийния бюджет на вашия център за данни?
- Оценявате ли базирано на CXL{0}}обединяване на паметта, композируема инфраструктура или разширяване на клъстер на GPU?
- Измерим проблем с разходите ли е блокирането на ресурсите (неактивни изчисления, памет или съхранение, заключени във фиксирани сървъри)?
- Вашата среда трябва ли да мащабира изчисления, памет и съхранение с различни скорости?
Ако се прилагат три или повече от тях, оптичното свързване заслужава сериозна оценка като част от вашата пътна карта за дезагрегиране.
ЧЗВ
Какво е оптично свързване в център за данни?
Оптичното свързване е транспортна технология, която използва светлинни сигналиоптични кабелиза пренос на данни между мрежови устройства, сървъри, комутатори, системи за съхранение и ресурсни пулове в и между центрове за данни. Той предлага по-висока честотна лента, по-дълъг обхват и по-ниска мощност на бит в сравнение с медта при еквивалентни скорости -, което го прави особено важен за дезагрегирани и-ориентирани към AI архитектури.
Как се различава оптичното свързване от CXL?
Те работят на различни слоеве. Оптичното свързване е физическа транспортна технология - тя премества битове от точка А до точка Б с помощта на светлина. CXL е стандарт за протокол, който определя как процесорите, паметта и ускорителите комуникират кохерентно. Оптичното свързване може да пренася CXL трафик, но CXL преминава и през електрически връзки за връзки с кратък-обхват. Екипите често оценяват и двете едновременно, защото дезагрегацията създава търсене както на по-добри протоколи (CXL), така и на по-добър физически транспорт (оптика).
Могат ли медните и оптичните кабели да съществуват едновременно в дезагрегиран център за данни?
Да, и обикновено го правят. Повечето дезагрегирани среди използват мед за много къси вътрешни-връзки в стелаж (под 3–5 метра), където остава по-просто и по-евтино, и оптично влакно за стелаж-към-рейк, ред-към-ред и по-дълги пътища, където ограниченията на обхвата, мощността и плътността на медта стават задължителни. Решението зависи-от обхвата, а не от всичко-или-нищо.
Какво представлява оп-опакованата оптика и имам ли нужда от нея сега?
Ко-опакованата оптика (CPO) интегрира оптични двигатели директно в същия пакет като ASIC на превключвателя или процесора, елиминирайки нуждата от отделни включващи се трансивъри и намалявайки консумацията на енергия и забавянето. NVIDIA и Broadcom внедряват CPO в следващо-поколение AI мрежови платформи. Повечето центрове за данни не се нуждаят от CPO днес -щепселни оптични модулиостават стандарт -, но CPO е в пътната карта за-широмащабна AI инфраструктура в периода 2026–2028 г.
Кога НЕ трябва да преследвам дезагрегация с оптична връзка?
Ако работните ви натоварвания са добре-балансирани между изчисления, памет и хранилище; вашият мащаб е скромен (няколко десетки сървъра); и вашата съществуваща медна инфраструктура се справя с вашите настоящи и-срочни нужди от честотна лента без напрежение - добавената сложност на разчленяването и оптичната миграция може да не си струва инвестицията. Започнете с тясното място, а не с модната дума.
Какви видове влакна се използват в оптичното свързване на центъра за данни?
Едномодово влакно-се използва за по-дълги-разстояния, по-високо{1}}скоростни връзки (обикновено шкаф-към-рейк и извън него).Многомодово влакное обичайно за по-къси-връзки-вътре в центъра за данни до няколкостотин метра. Изборът зависи от необходимия обхват, скорост и профил на разходите за всяка връзка.