Сучасні мережі ЦОД та Девід Черітон

Як сучасна комутація мереж змінює гру у розробці ЦОД. Саме про це піде мова майже з перших вуст. А саме, як ці процеси бачить Девід Черітон (David Cheriton), зараз він не тільке мільярдер та філантроп, але ще й головний спеціаліст по даним в Juniper Networks та професор інформатики Стенфордського університету.

Розповідь про історію сучасних мереж в ЦОД треба почати з першого покоління, яке базувалось на комутації Layer 2, плоских мережах, протоколі охоплюючого дерева (Spanning Tree) і було багатопротокольне. Якщо вернутися до початку 90-х, то була конкурентоспроможна технологія Ethernet, був протокол передачі даних в LAN з топологією кільця і маркерним доступом Token Ring, були Arcnet, ATM і навіть не було певності, чи буде ІР домінантним протоколом. Були і інші конкурентні технології, такі як DECnet, IPX/SPX, Banyan VINES. Фактично у 1990-х люди говорили не ІР, а ТСР/ІР.

Девід Черітон почав свою розповідь зі Стенфорду, де використовувалась мережа Token Ring з пропускною здатністю 1 Mб/c. Однією з перших речей, яку він зробив, була побудова розподіленої системи робочих станцій, з’єднаних мережею Ethernet з пропускною здатністю 3 Mб/c. У той час люди не оцінили важливість Ethernet. Черітон згадує, що коли одна комп’ютерна компанія подарувала йому декілька машин, щоб конкурувати з Sun Microsystems, то він спитав, де інтерфейс Ethernet? Вони відповіли, а нащо, в машинах є привід для гнучких дискет. Це виглядає сьогодні трохи смішно, але тоді це мало сенс. Таким чином він побачив, що перехід на мережу 3 Мб/с, яка мала дивовижну швидкість в порівнянні з пропонованим телекомунікаційними компаніями 56 Кб/с, - це перехід на високошвидкісну мережу. А далі був перехід на 10 Мб/с, 100 Мб/с, 1 Гб/с.

З часом Девід Черітон з колишнім своїм аспірантом в Стенфорді Енді Бехтольшаймом (Andy Bechtolsheim), який був співзасновником Sun Microsystems, створили компанію Granite Systems, яка виробляла гігабітний комутатор Ethernet на одному чипі. Таким чином Granite перетворилася з компанії, яка виробляє рішення для телефонних мереж з пропускною здатністю у кілобітах, у компанію, яка створює комутатори, що забезпечують швидкість до десятків, сотен і тисяч Мб/с. Тобто за період з 1981 р. по 1995 р. швидкість передачі даних в мережі зросла у тисячу разів. Ethernet вирішив низку проблем у сфері мультимедіа, а також повністю змінив економіку вартості пропускної здатності мереж.

Це був фантастичний ривок і Девіда Черітона часто звуть хрещеним батьком гігабітного Ethernet.

На думку багатьох, Ethernet 1 Гб/с був найранішим досягненням Девіда Черітона. Якщо перейти до наступної глави, що зветься другою генерацією комп'ютерних мереж, то вони насправді стали мейнстрімом у 2000-х, коли індустрія перейшла від мостів та комутаторів на рівні L2 до комутаторів L3, виготовлених на чіпі, від зовнішніх маршрутизаторів до кремнійових чіпів, від плоских мереж, Spanning Tree і мультіпротоколів до 3-ярусної архітектури (ядро, рівень агрегації, рівень доступу), а протокол ІР став домінуючим.

У 1996 р. компанія Granite була придбана Cisco. По спогадах Девіда Черітона, період в Cisco був дуже цікавим, тому що у Granite на той час були комутатори L2. У нього був цікавий досвід, коли після цього придбання він став технічним радником у Cisco. Він був залучений у те, що Cisco мала намір робити далі, у багаторівневий комутатор, тобто апаратно обробляти ІР, тоді як у той час обробка була переважно програмною. Це був дивовижний перехід, тому що високошвидкісне ПЗ “перетравлювало” 500 тис. пакетів у секунду, а чип, який розробив Черітон для Catalyst 4000, - 50 млн. пакетів у секунду. Ніяка гілка індустрії не могла похвалитися таким стрибком продуктивності.

Коли Девід Черітон був радником в Cisco, він зазвичай повертався до Стенфорда, читав лекції та був наставником студентів. Два з них широко відомі — це Ларрі Пейдж (Larry Page) і Сергій Брін (Sergey Brin).

Цікаво, що Granite проіснувала всього 18 місяців, а потім була придбана Cisco. Це придбання отримало великий розголос. Ларрі і Сергій прийшли до нього, оскільки шукали поради, що вони повинні робити з технологією своєї пошукової системи. Фактично, курйозна річ, Девід Черітон відчував, що не може порадити їм покинути Стенфорд і створити компанію. Вони тільки хотіли продавати ліцензію на свою технологію. Черітон сказав їм - ви думаєте, що це цінно, але це ваша дитина. Якщо ви ліцензуєте це другим людям, ви ніколи не отримаєте дуже вигідну угоду. Він зв’язав їх з юристом з інтелектуальної власності, який міг їм допомогти. Девіда Черітон нагадав, що Yahoo могла придбати Google за 2 млн дол., але вона вирішила, що це для неї не цікаво. Майже дев'ять місяців поспіль, Ларрі і Сергій повернулися до Девіда Черітона і сказали, добре, він правий, і вони не будуть ліцензувати технологію. Вони хочуть створити компанію, і їх проблема, як підняти гроші? Девід Черітон відповів, що це не проблема. Він допоміг їм знайти кошти — частину дав сам, частину Енді Бехтольшайм і деякі інші люди, і все почалося.

Google, очевидно, мав величезний успіх. Багато людей знали про Google з точки зору алгоритму рейтинга сторінок, який фільтрував величезну кількість нісенітниці у Web, робив релевантний вибір і дозволяв знаходити суттєву інформацію.

Ви запитаєте — а до чого тут у контексті статті Google взагалі? Ларрі та Сергій  з’єднували разом звичайні ПК, що, на думку Девіда Черітона, було найранішим екземпляром хмарних обчислень. Це була купа комерційних ПК, з’єднаних між собою мережею. І коли це зроблено, то будується пошукова система, яка масштабується набагато краще, тому що потрібно просто додавати машини. Якщо одна з них вийде з ладу, а ПЗ розроблено правильно, то пошукова система буде продовжувати працювати, тоді як у багатопроцесорних машинах, коли вийде з ладу один процесор, все зупиняється або значно падає продуктивність. Колись основою для ранніх хмарних обчислень була мережа. І Девід Черітон був радий бачити цю еволюцію роботи над Gigabit Ethernet, який дозволив Ларрі і Сергію економічно та ефективно з’єднати низку звичайних комерційних ПК.

Ця історія сама по собі дивовижна, але необхідно згадати й VMware, а також про участь Девіда Черітона в ії створенні.

Черітон був запрошений як професор Стенфорда спілкувався професором Менделем Розенблумом (Mendel Rosenblum), який разом з Діаною Грін (Diana Greene) були одни зі співзасновників компанії. Девід Черітон був затятим віндсерфером, і Діана Грін теж займалася віндсерфінгом. Діана і він пішли до океану на вихідні і мали можливість обговорити багато тем.

Девід Черітон підкреслив, що йому дуже пощастило, бо успіх Granite забезпечив фінанси та стабільність, щоб інвестувати у Google, і це дало йому також достатньо фінансових можливостей, щоб інвестувати і у VMware. Що до VMware, то це є також цікавий досвід. Ця компанія дійсно, на його думку, сприяла зростанню хмарних обчислень, тому що дозволила віртуалізацію у спосіб, що можна було б зробити з кількома екземплярами Windows і Linux, працюючими фактично в одному “ящику”, і скористатися тим, що ці ресурси набагато гнучкіші. Звичайно, VMware продовжувала розвивати здатність переміщувати застосунки з одного “ящика” в інший. Таким чином раптово виявилось, що є інше джерело трафіку схід—захід, яке переміщує ці речі, щоб збалансувати навантаження.

Можна побачити переваги віртуалізації: не потрібно якесь апаратне забезпечення для специфічної ОС або для специфічного застосунку. Можна мати великий набір комерційних процесорів і переміщати на них застосунки, щоб збалансувати навантаження, можна їх запускати, призупиняти, зупиняти і тому подібне без залежності від застосунку або ОС.

Але як VMware злетіла? Це сталося, коли IBM випустила блейд-сервери, які містили вісім процесорів. Всі замовники на той час сказали, що не можуть ними користуватися, тому що вони запускали один застосунок на одному екземплярі Windows. Це був єдиний шлях досягнення надійності, і це можна було віртуалізувати, і забезпечити цей логічний погляд восьми різних машин таким чином, що кожний екземпляр запускатиме окрему копію Windows. Саме тоді VMware відкрила себе світу.

Покоління комутації в ЦОД
Так сталося, що Девід Черітон знаходився у кожній точці перегину: Gigabit Ehernet, трафік схід—захід, Google, VMware і віртуалізація. Він також був причетний до того, що зветься третім поколінням комутації в ЦОД, де було вирішено низку проблем. Взагалі Девід Черітон зробив багато інвестицій і дав старт багатьом компаніям, але він все ще є професором у Стенфорді, де викладає. Далі з’явилась можливість з Arista Networks. Одна з речей, що змінила стан на цьому етапі, була та, що низка компаній, такі як Broadcom, Marvel та Dune Networks почали виробництво так званих комерційних чипів (merchant silicon). Вони конкурували з тим, що пропонувала Cisco, яка, зокрема, займалася 10 GbE. Arista прийшла і сказала, що вона може надати комутатори 10 GbE від Dune з використанням комерційного кремнію за більш низку ціну. Девід Черітон дивився на розробку Dune і думав, ці хлопці дійсно молодці та роблять добре, якщо не краще за інших, до кого він міг звернутися. Таким чином це стало проблемою ПЗ, і його участь у Arista в першу чергу торкалася програмного забезпечення, тобто, як розроблялося ПЗ, яке керувало всією складною мережею на рівні мережевої ОС, і як наздогнати Cisco. В Arista була введена у деякому сенсі інноваційна архітектура ПЗ і технологія, де раніше було значне відставання від Cisco. І в пристроях Arista була набагато вища швидкість комутації.

Arista почала з вузького ринку, оскільки у неї були дуже обмежені можливості. Але вона врешті-решт наздогнала і стала досить конкурентоспроможною з Cisco з точки зору функцій. Девід Черітон вважає, що саме Arista змінила ситуацію - 10 GbE стала необхідною мережею для хмарних обчислень. Звісно, далі від 10 до 25, до 100 і тепер рух до 400 GbE.

Проблеми та іновації
Девід Черітон вирішив низку проблем в Arista, зокрема масштабування хмари, і відкрив можливість трафіку схід—захід. Він також створив компанію Kealia продав її Sun Microsystems, був співзасновником компанії Optimsoft. А ще він виграв SIGCOMM Lifetime Achivment Award за внесок у сфері комунікаційних мереж. І все це за короткий термін часу.

З 90-х років Девід Черітон був обізнаний, що однією з проблем обчислювальних мереж є керування. Arista запропонувала АРІ, які мали програмні інтерфейси. Тому користувач міг “розмовляти” з комутаторами Arista. І були компанії, такі як Facebook, Google та інші замовники, які хотіли мати таку ж можливість, використовуючи ПЗ, яке вони розробляли. Arista підштовхнула індустрію впровадити ці API. Це раптово відкрило можливість вирішити довгострокову проблему, як керувати мережею. Це одна з речей, що відрізняє Arista.

У 2015 р. Девід Черітон вирішив залишити Arista. Виникла друга низка проблем, яку треба було вирішити. Разом з Мансуром Карамом (Mansour Karam) та Сашею Ратковіч (Sasha Ratkovic) він створив компанію Apstra. З 90-х років Девід Черітон був обізнаний, що однією з проблем обчислювальних мереж є керування. Arista запропонувала АРІ, які мали програмні інтерфейси. Тому користувач міг “розмовляти” з комутаторами Arista. І були компанії, такі як Facebook, Google та інші замовники, які хотіли мати таку ж можливість розмовляти з прістроями Arista,  використовуючи ПЗ, яке вони розробляли. Arista підштовхнула індустрію впровадити ці API. Apstra була сформована на цьому базисі. Проблеми керування мережами були великі і зростали, тому що мережі ставали більш складними, а люди не ставаали більш розумними, і існує довга історія того, що люди були найбільшим джерелом проблем для автоматизованих систем. Мета запуску Apstra, це забеспечити автоматизацію мережі і вирішити ці проблеми.
Тут настає час представити концепцію Apstra мережі на основі намірів (Intent Based Networking — IBN).

Мережа на основі намірів
Відомо, що деякі люди думають, добре, я збираюся мати цю мережеву автоматизацію. Ти просто сидиш і повертаєш ключ і все cвітиться і працює. Але дійсність така, що різні замовники мають різні вимоги до своїх мереж, і ці вимоги можуть бути зафіксовані з точки зору намірів. Але ви повинні вказати ваші наміри. На думку доповідача, частиною автоматизації мережі є підйом рівня взаємодії між мережевими інженерами і операторами та системою управління мережею, щоб автоматизація мережі змогла сказати, як ви плануєте, щоб ваша мережа працювала. І далі вона бере ці наміри і транслює їх на низькорівневу конфігурацію команд до всіх різних комутаторів та маршрутизаторів, щоб досягнути цих намірів. Цим Apstra підняла рівень взаємодії.

В свій час Девід Черітон продемонстрував замовниками, як легко оперувати  Apstra. Зазвичай мається багато приборних дошок, або дашбордів, на яких відображаються сигнали тривогиі, і оператори перевантажуються аналізом першопричин та аналітикою намірів, які доставляються. Apstra відображає  в дуже лаконічному вигляді, на чому потрібно сфокусуватися, щоб вирішити ту чи іншу проблему. Що ви знаходите у світі мереж, це те, що люди розуміють пакети, які надходять і відсилаються, протокол охоплюючого дерева (STP), протоколо граничного шлюзу (BGP) і всі ці різного роду речі. Але ці технології лежать на рівні площини даних. На рівні площини управління те, що вам потрібно, це більше база даних.

Але що таке наміри? Що це означає в термінах конфігурації індувідуальних комутаторів і підтримки стану, який отримується від телеметрії? Скажімо, який стан мережі, і порівняти його з конфігурацією і інформацією про наміри. Що більше підходить для управління. Всі ці стани є база даних графів. Якщо поглянути на мережу, вона, очевидно, виглядає як граф. Тому спробуємо відобразити його на окремий стіл і так далі. В дійсності, потрібна база даних, яка дає едине джерело правди: яка ваша мережа, як вона сконфігурована, які в ній пристрої, як вони підключені, яку інформацією ви маєте від телеметрії. Apstra, в дійсності, використовувала розподілену базу даних, розподілену базу графів, яка забеспечувала не тільки масштабування, а також додатковий рівень високої доступності. Таким чином, Apstra дійсно підняла гру на системно базований підхід.
 
На думку Девіда Черітона, є три аспекти рішення для повного управління. Один — конфігурація. Другий — чи досягаються наміри? І далі, третій аспект полягає в тому, щоб визначити проблему, якщо наміри не досягаються.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365