О, а вот и вы. Быстро получилось, не так ли? Всего лишь щелчок мыши или нажатие на экран и, если у вас соединение 21 века, вы мгновенно оказались на этой странице
Но как это работает? Думали ли вы когда-нибудь о том, как картинка с котиком попадает на ваш компьютер в Лондоне с сервера в Орегоне? Мы говорим не просто о чудесах протокола TCP/IP или вездесущих точках доступа Wi-Fi, хотя это все тоже важно. Нет, мы говорим о большой инфраструктуре: огромных подводных кабелях, обширных дата-центрах со всем их излишеством энергосистем и о гигантских, лабиринтоподобных сетях, непосредственно подключающих миллиарды людей к Интернету.
А вот что, вероятно, еще важнее: поскольку мы все больше полагаемся на повсеместную связь с Интернетом, число подключенных устройств все растет, а наша жажда трафика не знает границ. Как мы обеспечиваем работу Интернета? Как Verizon и Virgin (крупнейшие интернет-провайдеры в США — прим. Newочём) удается стабильно передавать вам в дом сто миллионов байтов данных каждую секунду, круглые сутки, каждый день?
Что ж, прочитав следующие 7 тысяч слов, вы об этом узнаете.
Мировая карта подводных кабелей. На ней отсутствует множество континентальных кабелей. Источник: TeleGeography
Тайные места выхода кабелей на сушу
British Telecom (BT) может заманивать клиентов, обещая провести «оптоволокно в каждый дом» (FTTH) для повышения скорости, и у Virgin Media качество услуг неплохое — скорости до 200 Мбит/с для физических лиц благодаря гибридной волоконно-коаксильной (ГВК) сети. Но, как видно из названия, всемирная паутина — это действительно мировая сеть. Обеспечить работу Интернета не под силу одному отдельному провайдеру на нашем острове, да и вообще где-либо в мире.
В первую очередь мы в кои-то веки посмотрим на один из самых необычных и интересных кабелей, по которым передаются данные, и на то, как он достигает британских берегов. Мы говорим не о каких-нибудь обычных проводах между наземными дата-центрами в сотне километров друг от друга, а о контактной станции в загадочном месте на западном берегу Англии, где после пути в 6500 километров из американского Нью-Джерси заканчивается атлантический подводный кабель Tata.
Связь с США необходима для любой серьезной международной коммуникационной компании, и Tata’s Global Network (TGN) — это единственная опоясывающая всю планету оптоволоконная сеть с одним владельцем. Это 700 тысяч километров подводных и наземных кабелей с более чем 400 узлами связи по всему миру.
Tata, однако, готова делиться. Она существует не просто для того, чтобы дети директора могли без задержек играть в Call of Duty, а группа избранных могла без задержек смотреть «Игру престолов» онлайн. Ежесекундно на сеть Tata первого уровня приходится 24% мирового интернет-трафика, так что шанс поближе познакомиться с TGN-A (Атлантика), TGN-WER (Западная Европа) и их кабельными друзьями упускать нельзя.
Сама станция — вполне себе классический дата-центр на вид, серый и невзрачный — может вообще показаться местом, где, например, выращивают капусту. А внутри все иначе: для перемещения по зданию нужны RFID-карточки, для входа в помещения дата-центра — дать считать свой отпечаток пальца, но для начала — чашка чая и беседа в конференц-зале. Это не привычный дата-центр, и некоторые вещи надо объяснять. В частности, для подводных кабельных систем нужно очень много энергии, которую предоставляют многочисленные резервные агрегаты.
Часть защищенного подводного кабеля на карте мировой сети Tata
Различные виды брони, которые могут устанавливаться на кабель. Также виден медный слой, с помощью которого осуществляется питание усилителей по всей длине кабеля. Фото: Боб Дормон / Ars Technica UK
Модель корабля «Джон У. Макей», одного из ранних кабелеукладочных судов, работавшего с 1922 по 1977 годы (несколько раз реконструировался). Фото: Боб Дормон / Ars Technica UK
Защищенные подводные кабели
Карл Осборн, вице-президент Tata по международному сетевому развитию, присоединился к нам на время экскурсии, чтобы изложить свои мысли. До Tata Осборн работал на самом корабле, прокладывающем кабель, и следил за процессом. Он показал нам образцы подводных кабелей, демонстрируя то, как меняется их конструкция в зависимости от глубины. Чем ближе вы к поверхности, тем больше нужно защитной оболочки, чтобы выдержать потенциальные повреждения от судоходства. На мелководье выкапываются траншеи, куда кладут кабели. Впрочем, на большей глубине, как в Западно-Европейской котловине глубиной почти в пять с половиной километров, защита не требуется — коммерческое судоходство никак не угрожает кабелям на дне.
Сердцевина подводного кабеля: оптоволоконные пары, защищенные сталью, медная оболочка для электропроводности и толстый полиэтиленовый изолирующий слой. Фото: Боб Дормон / Ars Technica
На этой глубине диаметр кабеля — всего 17 мм, он словно фломастер в толстой изолирующей полиэтиленовой оболочке. Медный проводник окружает множество стальных проволочек, защищающих оптоволоконную сердцевину, находящуюся в стальной трубке диаметром менее трех миллиметров в мягком тиксотропном желе. Защищенные кабели внутри устроены так же, но вдобавок одеты в еще один или несколько слоев гальванизированной стальной проводки, обернутой вокруг всего кабеля.
Без медного проводника не было бы никакого подводного кабеля. Оптоволоконная технология обладает высокой скоростью и может пропускать чуть ли не безграничное количество данных, но оптоволокно не может работать на длинных дистанциях без небольшой помощи. Для усиления светопередачи по всей длине оптоволоконного кабеля нужны устройства-повторители — по сути, усилители сигнала. На суше это легко осуществляется за счет местной электроэнергии, но на дне океана усилители получают постоянный ток от медного проводника кабеля. А откуда берется этот ток? Со станций на обоих концах кабеля.
Хотя потребители этого не знают, TGN-A — это, на самом деле, два кабеля, идущие через океан разными путями. Если один будет поврежден, другой обеспечит непрерывность связи. Альтернативный TGN-A выходит на сушу на расстоянии в 110 километров (и три наземных усилителя) от основного и получает свою энергию оттуда же. У одного из этих трансатлантических кабелей 148 усилителей, а у другого, более длинного — 149.
Руководители станции стараются избегать известности, так что я назову нашего гида по станции Джоном. Джон объясняет устройство системы:
«Для питания кабеля с нашего конца идет положительное напряжение, а в Нью-Джерси оно отрицательное. Мы стараемся поддерживать ток: напряжение легко может наткнуться на сопротивление на кабеле. Напряжение примерно в 9 тысяч вольт поделено между двумя концами. Это называется двуполярным питанием. Так что с каждого конца примерно 4 500 вольт. В нормальных условиях мы могли бы обеспечивать работу всего кабеля без всякой помощи со стороны США»
Стоит ли говорить, что усилители сделаны с расчетом на бесперебойную работу в течение 25 лет, поскольку никто не будет посылать на дно водолазов, чтобы поменять контакт. Но глядя на сам образец кабеля, внутри которого всего восемь оптических волокон, невозможно не подумать, что при всех этих усилиях тут должно быть что-то большее.
«Все ограничивается размерами усилителей. На восемь волоконных пар нужны усилители вдвое большего размера», — поясняет Джон. А чем больше усилители, тем больше нужно энергии.
На станции восемь проводов, составляющих TGN-A, образуют четыре пары, каждая из которых содержит волокно приема и волокно передачи. Каждый проводок окрашен в свой цвет, чтобы в случае поломки и необходимости ремонта в море техники могли понять, как собрать все в изначальное состояние. Аналогично, работники на суше могут понять, что куда вставлять при подключении к подводному линейному терминалу (SLTE).
Корабль-установщик в действии. Здесь подводный кабель с усилителем посередине заносится на корабль. Фото предоставил Карл Осборн
Подводный кабель погружается в бак. Круто. Фото предоставил Карл Осборн
Устройства-повторители на борту корабля. Фото предоставил Карл Осборн
Фото предоставил Карл Осборн
Ремонт кабелей в море
После экскурсии по станции я поговорил с Питером Джеймисоном, специалистом техподдержки оптоволоконных сетей в Virgin Media, чтобы побольше узнать об обеспечении работы подводных кабелей.
«Как только кабель нашли и доставили на корабль для починки, устанавливается новый отрезок неповрежденного кабеля. Затем устройство с дистанционным управлением возвращается на дно, находит другой конец кабеля и совершает соединение. Затем кабель закапывается в дно максимум на полтора метра с помощью водяной струи высокого давления», — рассказывает он
«Обычно ремонт занимает где-то десять дней с момента отправления ремонтного судна, из которых четыре-пять дней — работы непосредственно на месте поломки. К счастью, такие случаи редки: за последние семь лет Virgin Media сталкивалась лишь с двумя».
Этот внушительных размеров Ciena 6500 – конец подводного кабеля. Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
QAM, DWDM, QPSK…
Когда кабели и усилители установлены — скорее всего, на десятилетия — больше в океане ничего отрегулировать нельзя. Ширина полосы, задержка и все, что касается качества услуг, регулируется на станциях.
«Чтобы понять отправляемый сигнал, используется прямая коррекция ошибок, и техники модуляции менялись по мере того, как количество трафика, передаваемого сигналом, увеличилось», — говорит Осборн. «QPSK (квадратурная фазовая манипуляция) и BPSK (двоичная фазовая манипуляция), иногда называемая PRK (двукратная относительная фазовая манипуляция), или 2PSK— это техники модуляции на больших дистанциях. 16QAM (квадратурная амплитудная модуляция) использовалась бы в более коротких подводных кабельных системах, а сейчас разрабатывается технология 8QAM, промежуточная между 16QAM и BPSK.
Технология DWDM (плотное мультиплексирование с разделением по длине волны) используется для совмещения различных каналов данных и для передачи этих сигналов на разных частотах — через свет в определенном цветовом спектре — по оптоволоконному кабелю. По факту, она образует множество виртуальных оптоволоконных каналов. Благодаря этому пропускная способность волокна резко повышается.
На сегодняшний день каждая из четырех пар обладает пропускной способностью в 10 Тбит/с и может достигать 40 Тбит/с в TGN-A кабеле. В то время цифра в 8 Тбит/с была максимальным существующим потенциалом на этом кабеле сети Tata. По мере того, как новые пользователи начинают пользоваться системой, они используют резервные мощности, однако мы от этого не обеднеем: в системе по-прежнему остается 80% потенциала, и в последующие годы с помощью очередной новой кодировки или усиления мультиплексирования почти наверняка можно будет повысить пропускную способность.
Одна из основных проблем, оказывающих воздействие на применение фотонных коммуникационных линий — дисперсия в оптоволокне. Так называется то, что разработчики включают в расчет при создании кабеля, поскольку некоторые секции оптоволкна обладают положительной дисперсией, а некоторые — отрицательной. И если вам понадобится произвести ремонт, нужно быть уверенным в том, что под рукой кабель с подходящим типом дисперсии. На суше электронная компенсация дисперсии — задача, которая постоянно оптимизируется, чтобы допускать возможность передачи самых слабых сигналов.
«Раньше мы использовали катушки оптоволокна, чтобы вызвать компенсацию дисперсии, — говорит Джон, — но теперь это все делается с помощью электроники. Так намного точнее удается повышать пропускную способность».
Так что теперь, вместо того, чтобы изначально предлагать пользователям 1-, 10- или 40-гигабитное оптоволокно, благодаря усовершенствованным за последние годы технологиям, можно готовить «сбросы» в 100 гигабит.
Здесь над поверхностью показываются проложенные по океанскому дну всемогущие подводные кабели TGN-A и TGN-WER. От одних из самых длинных и быстрых оптоволоконнных соединений в мире можно было бы ожидать большего, не правда ли?
Фото: Боб Дормон / Arc Technica UK
Несмотря на то, что благодаря ярко-желтому желобу их сложно не заметить, на первый взгляд, в здании и атлантический, и восточно-европейский подводные кабели можно легко принять за какие-нибудь элементы системы распределения электроэнергии. Они установлены на стене и возиться с ними не нужно, хотя в случае, если потребуется новая прокладка оптического кабеля, они будут напрямую соединены посредством подводного оптоволокна из щитка. На торчащих из пола в месте закладки красном и черном стикерах написано «TGN Atlantic Fiber»; справа — кабель TGN-WER, оснащенный другим устройством, в котором пары оптоволокна находятся отдельно друг от друга в распределительной коробке.
Слева от обоих коробок располагаются заключенные в металлические трубы силовые кабели. Два наиболее прочных из них предназначены для TGN-A, те два, что потоньше — для TGN-WER. У последнего также имеются два подводных кабельных маршрута, один из которых завершается в испанском городе Бильбао, а другой — в столице Португалии, Лиссабоне. Поскольку расстояние от этих двух стран до Великобритании короче, в этом случае требуется намного меньше энергии, и поэтому используются более тонкие кабели.
Линии электропередач, которые питают TGN-A и TGN-WER. Фото: Боб Дормон / Ars Technica UK
Говоря об устройстве места закладки кабелей, Осборн рассказывает:
«У тех кабелей, которые тянутся с пляжа, есть три основные части: оптоволокно, по которому идет трафик, силовая линия и заземление. Оптоволокно, по которому идет трафик — то, что вытянуто над вон той коробкой. Силовая линия ответвляется на другом отрезке в пределах территории этого объекта»
Желтый желоб для оптоволокна, расположенный над головой, ползет к распределительным панелям, которые будут выполнять разнообразные задачи, включая демультиплексирование входящих сигналов, благодаря чему можно будет разделить разные частотные диапазоны. Они представляют собой место потенциальных «потерь», где отдельные каналы могут обрываться, не попадая в наземную сеть.
Джон рассказывает: «Поступают каналы на 100 Гбит, и у вас есть 10-гигабитные клиенты: 10 на 10. Мы также предлагаем клиентам чистые 100 Гбит».
«Все зависит от пожеланий клиента», — добавляет Осборн. «Если им нужен одиночный канал на 100 Гбит, который поступает от одного из щитков, он может быть напрямую предоставлен потребителю. Если клиенту нужно что-то помедленнее, тогда да, придется поставлять трафик на другое оборудование, где его можно будет разделить на части с более низкой скоростью. У нас есть клиенты, которые покупают выделенную линию со скоростью 100 Гбит, но их не так уж много. Какой-нибудь мелкий провайдер, который захочет купить у нас возможность передачи, скорее выберет линию на 10 Гбит».
Подводные кабели предоставляют множество гигабит пропускной способности, что может быть использовано для выделенных линий между двумя офисами компании, чтобы, например, можно было проводить голосовые вызовы. Вся пропускная способность может быть расширена до сервисного уровня интернет-магистрали. И каждая из этих платформ оснащена различным отдельно контролируемым оборудованием.
«Основная часть пропускной способности, получаемой благодаря кабелю, либо используется для обеспечения работы нашего собственного интернета, либо продается как линии передач другим оптовым интернет-компаниям, вроде BT, Verizon и других международных операторов, у которых нет собственных кабелей на морском дне и поэтому они покупают доступ к передаче информации у нас»
Распределительный щит в месте закладки кабеля/центре обработки информации Tata. Фото: Боб Дормон / Ars Technika
Высокие распределительные щиты обеспечивают функционирование мешанины оптических кабелей, которые делятся 10-гигабитной связью с клиентами. Если вы желаете повысить пропускную способность, то это практически так же просто, как заказать дополнительные модули и распихать их по полкам — так в индустрии говорят, когда хотят описать, как устроены крупные стоечные массивы.
Джон указывает на существующую и используемую клиентом систему 560 Гбит/с (созданную на основе технологии 40G), которую недавно обновили дополнительными 1,6 Тбит/с. Дополнительная мощность была достигнута с помощью двух дополнительных модулей по 800 Гбит/с, которые работают на основе технологии 100G с трафиком более, чем в 2,1 Тбит/с. Когда он говорит о поставленной задаче, создается впечатление, что самая длительная фаза процесса — ожидание появления новых модулей.
У всех инфраструктурных объектов сети Tata есть копии, поэтому существует два помещения SLT1 и SLT2. Одна атлантическая система, получившая внутреннее название S1, находится слева от SLT1, а кабель Восточная Европа – Португалия называют C1, и располагается он справа. На другой стороне здания — SLT2 и Атлантическая S2, которые вместе с C2 соединены с Испанией.
В отдельном отсеке неподалеку располагается наземное помещение, в котором, помимо прочего, занимаются контролем над поступлением трафика в лондонский центр обработки данных Tata. Одна из трансатлантических пар оптоволокна на самом деле осуществляет сброс данных не в месте закладки. Это «лишняя пара», которая продолжает свой путь прямо до офиса Tata в Лондоне из Нью-Джерси, чтобы свести к минимуму задержку сигнала. Кстати, о ней: Джон проверил данные о задержке сигнала, идущего по двум атлантическим кабелям; самый короткий путь достигает скорости задержки пакета данных (PGD) в 66,5 мс, в то время как самый длинный — 66,9 мс. Так что ваша информация переносится на скорости около 703 759 397,7 км/ч. Ну как, достаточно быстро?
Он описывает основные проблемы, возникающие в связи с этим: «Каждый раз, когда мы переходим с оптического на слаботочный кабель, а затем опять на оптический, время задержки увеличивается. Сейчас, с помощью высококачественной оптики и более мощных усилителей необходимость воспроизводить сигнал сводится к минимуму. Другие факторы включают в себя ограничение на уровень мощности, которая может быть отправлена по подводным кабелям. Пересекая Атлантику, сигнал остается оптическим на протяжении всего пути».
Оборудование для тестирования фирмы EXFO. Отметьте отсутствие диапазона частот. Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
В этот EXFO установлен оптический модуль. Фото: Боб Дормон / Ars Technica UK
Тестируя подводные кабели
С одной стороны располагается поверхность, на которой лежит оборудование для тестирования, и поскольку, как говорится, глаза — лучший свидетель, один из техников погружает оптоволоконный кабель в EXFO FTB-500. Оно оборудовано модулем спектрального анализа FTB-5240S. Само устройство EXFO работает на платформе Windows XP Pro Embedded и оснащено сенсорным экраном. Оно перезагружается, чтобы показать установленные модули. После этого можно выбрать один из них и запустить доступную процедуру диагностики.
«Ты просто отводишь 10% светового потока из этой кабельной системы, — объясняет техник. — Ты создаешь точку доступа для устройства спектрального анализа, так что потом можешь вернуть эти 10% обратно, чтобы проанализировать сигнал».
В огромном количестве батарей накоплено достаточно энергии, чтобы питать подводные кабели в течение нескольких часов в случае отключения электроэнергии. Фото: Боб Дормон / Ars Technica UK
Мы смотрим на магистрали, протянувшиеся до Лондона, и, поскольку этот отрезок находится в разгаре процесса вывода из эксплуатации, можно увидеть, что на нем есть неиспользуемый участок, появившийся на дисплее. Устройство не может более детально определить, о каком объеме информации или отдельной частоте идет речь; чтобы узнать это, приходится смотреть частоту в базе данных.
«Если вы посмотрите на подводную систему, — добавляет он, — там тоже полно боковых полос частот и всяких других вещей, поэтому можно увидеть, как устройство работает. Но при этом вы знаете, что случается смешение показаний прибора. И вы можете увидеть, не перемещается ли оно на другую полосу частоты, что понижает эффективность функционирования.
ADVA FSP 3000 соединяет место выхода кабеля на сушу с потребителями и дата-центрами. Фото: Боб Дормон / Ars Technica UK
Никогда не покидавший ряды тяжеловесов систем передачи информации, универсальный роутер Juniper MX960 выступает в роли стержня IP-телефонии. На самом деле, как подтверждает Джон, у компании их два: «Нам скоро привезут всякие штуки из-за океана, и потом мы сможем запустить STM-1 [Синхронный транспортный модуль уровня 1], GigE, или 10GigE клиенты — это выполнит своего рода мультиплексирование и позволит обеспечить IP-сетями различных потребителей».
Оборудование, использующееся на наземных платформах DWDM, занимает намного меньше пространства, чем подводная система кабелей. Похоже, оборудование ADVA FSP 3000 — практически то же самое, что Ciena 6500 kit, однако, поскольку оно установлено на суше, качество электроники не должно быть высокого уровня. На самом деле, использующиеся полки аппарата ADVA — просто более дешевые версии, так как он работает на более коротких дистанциях. В системах подводных кабелей есть такое соотношение: чем дальше ты отправляешь информацию, тем больше появляется шумов, поэтому растет зависимость от фотонных систем Ciena, которые устанавливаются в месте закладки кабеля, чтобы компенсировать эти шумы.
Одна из телекоммуникационных стоек содержит три отдельные системы DWDM. Две из них подсоединены к лондонскому центру отдельными кабелями (каждый из которых проходит через три усилителя), а оставшийся ведет к центру обработки информации, расположенному в Бакингемшире.
Место закладки кабеля также предоставляет участок Западно-африканской кабельной системе (WACS). Она построена консорциумом примерно из десятка телекоммуникационных компаний и доходит до самого Кейптауна. Подводные блоки разветвления помогают разделить кабель и вывести его на поверхность в различных местах побережья африканской части Южной Атлантики.
Энергии от множества батарей хватит для питания подводных кабелей на протяжении нескольких часов, в случае, если отключится основной источник электричества. Фото: Боб Дормон / Ars Technica UK
Предоставленная Tata фотография этой же комнаты. С немного более приятным освещением… Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
Экран, демонстрирующий питание кабеля TGN-A S1. Фото: Боб Дормон / Ars Technica UK
Еще один экран, демонстрирующий питание кабеля TGN-WER C1. Напряжение куда ниже, поскольку сам кабель короче. Фото: Боб Дормон / Ars Technica UK
Два дизельных генератора 2MVA (они внутри ящиков). Фото: Боб Дормон / Ars Technica UK
А вот так выглядят внутренности ящика. Фото: Боб Дормон / Ars Technica UK
Энергия кошмаров
Вы не можете посетить место закладки кабеля или центр обработки информации и не заметить, насколько там необходима энергия: не только для оборудования в телекоммуникационных стойкахк, но и для охладителей — систем, которые предотвращают перегревание серверов и коммутаторов. И поскольку место закладки подводного кабеля обладает необычными энергетическими требованиями из-за своих подводных ретрансляторов, резервные системы у него тоже не самые обычные.
Если мы зайдем в одну из аккумуляторных, вместо стеллажей с запасными аккумуляторами ИБП (источник бесперебойного питания — прим. Newочём) Yuasa — формфактор которых не особенно отличается от тех, что можно увидеть в машине — мы увидим, что комната больше напоминает медицинский эксперимент. Она уставлена огромными свинцово-кислотными аккумуляторами в прозрачных резервуарах, выглядящими как мозги инопланетян в банках. Не требующий технического обслуживания, этот набор аккумуляторов на 2 В с продолжительностью жизни в 50 лет в сумме дает 1600 А*ч, обеспечивая 4 часа гарантированной автономной работы.
Слева, в синих шкафах, располагаются источники электроснабжения. Фото: Боб Дормон / Ars Technica UK
Зарядные устройства, которые, по сути, являются выпрямителями тока, обеспечивают напряжение холостого хода для поддержания заряда аккумуляторов (герметичные свинцовокислотные аккумуляторы должны иногда подзаряжаться на холостом ходу, иначе со временем они теряют полезные свойства из-за т.н. процесса сульфатации —
прим. Newочём). Они также проводят напряжение постоянного тока для стеллажей к зданию. Внутри комнаты находятся два источника электроснабжения, размещенные в больших синих шкафах. Один питает кабель Atlantic S1, другой — Portugal C1. Цифровой дисплей показывает 4100 В при силе тока приблизительно в 600 мА для атлантического источника электроснабжения, второй показывает чуть больше 1500 В при 650 мА для источника электроснабжения C1.
Джон описывает конфигурацию:
«Источник электроснабжения состоит из двух отдельных конвертеров. У каждого из них есть три степени мощности, и он может подать 3000 В постоянного тока. Один этот шкаф может питать целый кабель, то есть у нас n+1 запаса, поскольку у нас их два. Хотя, скорее даже n+3, потому что даже если в Нью-Джерси упадут оба конвертера, и еще один здесь, мы все равно сможем питать кабель»
Один из двух 2МВА дизельных генераторов. Фото: Боб Дормон / Ars Technica UK
Раскрывая некоторые весьма изощренные механизмы переключения, Джон объясняет систему контроля: «Вот так, по сути, мы это включаем и выключаем. Если есть проблема с кабелем, нам приходится работать с кораблем, который занимается починкой. Существует целый набор процедур, которые мы должны проделать, чтобы удостовериться в безопасности, прежде чем команда корабля начнет работу. Очевидно, напряжение так высоко, что является смертельным, поэтому нам приходится отправлять сообщения об энергетической безопасности. Мы отправляем уведомление о том, что кабель заземлен, а они отвечают. Все взаимно соединено, поэтому можно удостовериться в том, что все безопасно».
На объекте также есть два 2 МВА (мегавольтамперных — прим. Newочём) дизельных генератора. Конечно, поскольку все продублировано, второй — запасной. Там есть и три громадных охлаждающих аппарата, хотя, по-видимому, им необходим только один. Раз в месяц запасной генератор проверяется без нагрузки, а дважды в год все здание запускается при нагрузке. Поскольку здание также является и центром обработки и хранения данных, это необходимо для аккредитации на соглашение об уровне услуг (SLA) и международной организации по стандартизации (ISO).
В обычный месяц на объекте счет за электричество легко достигает 5 цифр.
Один из залов дата-центра. Чтобы войти в запертые клетки, каждой из которых владеет клиент, необходим соответствующий ключ/пропуск. Фото: Боб Дормон / Ars Technica UK
Техник, дистанционно работающий в ручном режиме, за работой. Фото: Боб Дормон / Ars Technica UK
Это весьма большой дата-центр. Фото: Боб Дормон / Ars Technica UK
Распределительная панель в дата-центре. Фото: Боб Дормон / Ars Technica UK
Следующая остановка: дата-центр
В бакингемширском дата-центре существуют похожие требования к объемам резервов, хоть и другого масштаба: две гигантские колокации (колокация — услуга, заключающаяся в том, что провайдер размещает клиентское оборудование на своей территории и обеспечивает его работу и обслуживание, что позволяет сэкономить на организации канала связи от провайдера до клиента — прим. Newочём) и управляемые хостинговые холлы (S110 и S120), каждый из которых занимает квадратный километр. Темное оптоволокно (неиспользуемые для передачи данных волокна оптического кабеля, которые служат в качестве резерва — прим. Newочём) соединяет S110 с Лондоном, а S120 соединено с местом выхода кабеля на западном побережье. Там расположены две установки — автономные системы 6453 и 4755: многопротокольная коммутация по меткам (MPLS) и межсетевой протокол (IP)
Как следует из названия, MPLS использует метки и присваивает их пакетам данных. Их содержание изучать не требуется. Вместо этого решения об отправке пакета принимаются на основе содержания меток. Если вы хотите детально изучить как работает MPLS, то
MPLSTutorial.com — хорошее место для начала.
Аналогичным образом,
TCP/IP Guide Чарльза Козиерока — отличный онлайн-ресурс для тех, кто хочет узнать больше о TCP/IP, его различных уровнях, эквиваленте, модели взаимодействия открытых систем (OSI) и многом другом.
В некотором смысле MPLS-сеть — жемчужина Tata Communications. Поскольку пакетам могут быть присвоены метки с указанием приоритета, такая форма технологии коммутации позволяет компании использовать эту гибкую транспортную систему для обеспечения гарантий при обслуживании клиентов. Присваивание меток также позволяет направлять данные по конкретному пути, а не по динамически назначаемому, что позволяет определять требования к качеству обслуживания или даже избегать высоких тарифов на трафик с определенных территорий.
Фото: Боб Дормон / Ars Technica UK
Опять же, исходя из названия, многопротокольность позволяет поддерживать разные способы коммуникации. Так, если корпоративный клиент хочет VPN (виртуальную частную сеть), личный интернет, облачные приложения или определенный вид шифрования, эти услуги достаточно просто предоставить.
На время этого посещения назовем нашего путеводителя по Бакингемшеру Полом, а его коллегу из центра эксплуатации сети — Джорджем.
«С MPLS мы можем предоставить любой BIA (защитный адрес) или Интернет — любую услугу, которую хочет клиент. MPLS кормит нашу сеть выделенных серверов, которая является самой большой зоной обслуживания в Великобритании. У нас 400 мест с большим числом устройств, соединенных в одну большую сеть, которая является единой автономной системой. Она предоставляет IP, Интернет и услуги P2P нашим клиентам. Поскольку у нее топология сетки (400 взаимосвязанных устройств), каждое новое соединение пройдет по новому пути к MPLS-облаку. Мы также предоставляем сетевые услуги: внутрисетевые и внесетевые. Провайдеры вроде Virgin Media и NetApp предоставляют свои услуги непосредственно клиентам», — рассказывает Пол.
Оборудование ADVA, где клиентские соединения подключаются в сеть Tata. Фото: Боб Дормон / Ars Technica UK
В просторном Зале данных №110 выделенные сервера и облачные сервисы Tata расположены с одной стороны, а коллокация — с другой. Также оборудован и Зал данных №120. Некоторые клиенты хранят свои стеллажи в клетках и разрешают доступ к ним только собственному персоналу. Находясь здесь, они получают место, энергию и определенную среду. По умолчанию все стеллажи имеют два источника: A UPS и B UPS. Каждый из них идет по отдельной сети, проходя через здание по разным маршрутам.
«Наше оптоволокно, которое идет от SLTE и Лондона, заканчивается здесь», — рассказывает Пол. Указывая на стеллаж с набором Ciena 6500, он добавляет: «Возможно, вы видели похожее оборудование на месте выхода кабеля на сушу. Вот это берет основное темное оптоволокно, входящее в здание, а затем распределяет его по DWDM-оборудованию. Сигналы темного оптоволокна распределяются по разным спектрам, и затем оно идет к ADVA, после чего раздается клиентам. Мы не позволяем клиентам подключаться к нашей сети напрямую, поэтому все сетевые устройства заканчиваются здесь. Отсюда мы распространяем нашу связь.
Большая часть техники в дата-центре — Dell или HP. Фото: Боб Дормон / Ars Technica UK
Изменение в потоке данных
Обычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.
В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.
«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».
Центр управления сетью выглядит совсем как обычный офис. Фото: Боб Дормон / Ars Technica UK
Монитор транслирует информацию с еще более крупного центра управления сетью в Индии. Фото: Боб Дормон / Ars Technica UK
Центры управления центра управления сетью
Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.
Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они — те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. Наша сеть предоставляет собой совместную инфраструктуру, и серьезная проблема может затронуть многих потребителей. В таком случае необходимо, чтобы у нас была возможность своевременно их информировать. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым — каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».
Как работает провайдер инфраструктуры
Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.
Выглядит, может, и не особо, но это модуль Формулы-1. Фото: Боб Дормон / Ars Technica UK
«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид — ответный. В таком случае потребитель может сказать нам: «О, у меня в этот день угроза в системе. Вам лучше бы быть начеку». Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании —
прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.
«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки — устанавливаем ее, протягиваем вся кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher — программа, предназначенная для мониторинга использования сети — прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных.
Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.
Генераторы в контейнерах для отправки. Фото: Боб Дормон / Ars Technica UK
Охладители, по три для каждого зала центра обработки информации. Три других располагаются на другой стороне здания и не попали на фото. Фото: Боб Дормон / Ars Technica UK
Кабель для работы в тяжелом режиме, идущий от генераторов. Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
Фото: Боб Дормон / Ars Technica UK
И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес — около 96 тонн. Срок службы батарей — 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.
В центре установлено 6 генераторов — по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра — 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА — такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива — достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км — цифры, из-за которых Humvee выглядит как Prius.
Высокоуровневая диаграмма сетевой инфраструктуры Virgin Media в Великобритании.
Слайд, датированный 2011 годом, изображает оригинальный FTTC (fiber-to-the-carb — оптика к группе домов — прим. Newочём) и планы прокладки FTTP (fiber-to-the-pole, оптика до столба —прим. Newочём). Взгляните на эту цель прокладки FTTP на 2012 году…
Сеть доступа Openreach, выполненная на медных кабелях.
Последняя миля
Завершающий этап — последние несколько километров от сетевого шлюза или центра управления сетью до вашего дома — не так уж впечатляет, даже если бегло взглянуть на конечные ответвления сетевой инфраструктуры.
Однако и здесь происходили изменения. Устанавливая новые телекоммуникационные шкафы бок о бок со старыми зелеными шкафами, Virgin Media и Openreach организовывают линии DOCSIS и VDSL2, увеличивая число подключенных к сети домов и предприятий.
VDSL2
Внутри новых шкафов Openreach для линий VDSL2 находится мультиплексор DSLAМ (мультиплексор доступа цифровой абонентской линии в терминологии BT). Во времена технологий ADSL и ADSL2 мультиплексоры DSLAМ устанавливали недалеко от локальных коммутаторов, но использование уличных шкафов позволяет усилить сигнал оптического кабеля, идущего к коммутатору, чтобы увеличить скорость широкополосного доступа для конечного потребителя.
Шкафы DSLAM запитываются отдельно и подключаются соединительными парами к существующим уличным шкафам, такая связка — это узловой телекоммуникационный шкаф. Медная пара до конечного пользователя остается нетронутой, в то время как VDSL2 дает возможность широкополосного доступа за счет использования обычных уличных шкафов.
Внутренности шкафа VDSL2 Openreach. Фото: Боб Дормон / Ars Technica UK
Это апгрейд, который не может быть осуществлен без присутствия техников, и панель NTE5 (оконечное оборудование сети) внутри дома тоже должна быть модифицирована. Но всё же это шаг вперед, который позволяет провайдерам увеличить скорость с 38 Мбит/с до 78 Мбит/с в миллионах домов, минуя объем работ, необходимых для прокладки FTTH.
DOCSIS
Это совсем иная технология гибридной оптико-коаксиальной сети Virgin Media, которая позволяет обеспечить домашнему потребителю скорость до 200 Мбит/с и до 300 Мбит/с для предприятий. Несмотря на то, что технологии, позволяющие обеспечить такую скорость основаны на DOCSIS 3 (стандарт передачи данных по коаксиальному кабелю), а не на VDSL2, здесь есть кое-какие параллели. Virgin Media прокладывает оптоволоконные линии до уличных шкафов, далее используя медный коаксиальный кабель для широкополосного доступа и ТВ (для телефонии по-прежнему используется витая пара).
Стоит отметить, что DOCSIS 3.0 — это самый распространенный в США вариант последней мили, 55 млн из всех 90 млн стационарных линий широкополосного доступа используют коаксиальный кабель. На втором месте ADSL — 20 млн, далее FTTP — 10 млн. Технология VDSL2 в США почти не используется, но время от времени встречается в некоторых городских районах.
DOCSIS 3 до сих пор имеет запас скорости, который позволит кабельным провайдерам при необходимости увеличить скорость до 400, 500 или 600 Мбит/с — а после этого появится DOCSIS 3.1, который уже ждет своего часа.
При использовании стандарта DOCSIS 3.1 входящая скорость превышает 10 Гбит/с, а исходящая достигает 1 Гбит/с. Достигнуть таких мощностей можно за счет метода квадратурной амплитудной модуляции — она же используется на коротких расстояниях в подводных кабелях. Однако на суше получены КАМ более высокого порядка — 4096КАМ по схеме цифровой модуляции мультиплексирования с ортогональным частотным разделением каналов (OFDM), где, как и в DWDM, сигнал разделяется на несколько поднесущих, передаваемых на разных частотах в ограниченном спектре. Метод ODFM также используется в ADSL/VDSL и G.fast.
Последние 100 метров
Несмотря на то, что FTTC и DOCSIS последние несколько лет доминируют на рынке проводного интернет-доступа Великобритании, будет большим упущением не упомянуть о другой стороне проблемы последней мили (или последних 100 м): мобильные устройства и беспроводная связь.
Вскоре ожидается появление новых возможностей для управления и развертывания мобильных сетей, но пока давайте просто взглянем на Wi-Fi, которая в основном является расширением для FTTC и DOCSIS. Наглядный пример: недавно внедренное и почти полное покрытие городских районов точками доступа Wi-Fi.
Сперва это были всего несколько смелых кафе и баров, но затем BT
превратила абонентские маршрутизаторы в открытые точки доступа, назвав это «BT Fon». Сейчас это превратилось в игру крупных инфрастуктурных компаний — Wi-Fi сеть в лондонском метро или интересный проект Virgin «
умный тротуар» в Чешаме, Бакингемшир
Для этого проекта Virgin Media просто поместили точки доступа под крышки канализационных люков, которые изготовлены из специального радиопрозрачного композита. Virgin используют множество линий и узлов по всей Британии, так почему бы не добавить несколько Wi-Fi точек, чтобы поделиться доступом с людьми?
Один из люков «умного тротуара» Virgin Media в Чешаме.
В беседе с Саймоном Клементом, старшим технологом Virgin Media, создается впечатление, что внедрение умного тротуара сперва казалось более трудной задачей, чем вышло на самом деле.
«Раньше мы сталкивались с трудностями взаимодействия с местными властями, но в этот раз такого не произошло, — говорит Клемент, — городской совет Чешама активно сотрудничал с нами в работе над этим проектом, и складывалось общее впечатление того, что чиновники повсеместно открыты к внедрению коммуникационных услуг для населения и понимают какую работу необходимо проделать, чтобы реализовать эти услуги»
Большинство трудностей возникают сами по себе или связаны с регламентами.
«Главная задача в том, чтобы мыслить нестандартно. К примеру, стандартные проекты беспроводного доступа предполагают установку радиоточек настолько высоко, насколько позволяет административный регламент, и эти точки работают с мощностью, максимальный уровень которой ограничивается тем же регламентом. Мы же попытались установить точки доступа под землей, чтобы они работали на мощности простого домашнего Wi-Fi»
«Нам пришлось идти на множество рисков по ходу проекта. Как и во всех инновационных проектах, предварительная оценка рисков актуальна до тех пор, пока объем работ остается неизменным. На практике это случается крайне редко, и мы вынуждены регулярно производить динамическую оценку рисков. Существуют ключевые принципы, которых мы стараемся держаться, особенно в работе с беспроводным доступом. Мы всегда придерживаемся ограничений стандарта EIRP (эффективная изотропно излучаемая мощность) и всегда используем безопасные рабочие методы применительно к радио. Когда имеешь дело с радиоизлучением, лучше быть консерватором».
Назад в будущее кабельного Интернета
Бело-серая коробка — это подземный DSLAM с пробного запуска G.Fast в Великобритании
Далее на горизонте для сети POTS от Openreach стоит
G.fast, который лучше всего можно описать как конфигурацию FTTdp (оптическое волокно к точке раздачи). Опять же, это переходник от оптоволокна к медному кабелю, но DSLAM будет размещен еще ближе к конечному пользователю, над телеграфными столбами и под землей, а на последних десятках метров кабеля будет привычная медная витая пара.
Идея заключается в том, чтобы расположить оптоволокно как можно ближе к клиенту, одновременно минимизируя длину медного кабеля, что теоретически позволяет достигать скорости подключения от 500 до 800 Мбит/с. G.fast работает с гораздо большим диапазоном частот нежели VDSL2, так что длина кабеля сильнее влияет на работоспособность сети. Однако, некоторые сомневаются, что при таком раскладе BT Openreach будет оптимизировать скорость, так как,
по причине высокой стоимости, для предоставления таких услуг им придется вернуться к узловому телекоммуникационному шкафу и пожертвовать скоростью: она снизится до 300 Мбит/с.
Есть еще FTTH. Openreach изначально отложили FTTH — они разработали лучший (читай: дешевый) способ передачи, но недавно заявили о своей «амбиции» начать широкомасштабное внедрение FTTH. Технологии FTTC или FTTdp наиболее вероятно станут краткосрочным и промежуточным решением для многих пользователей, которые пользуются услугами кабельных провайдеров, в свою очередь являющихся оптовыми клиентами Openreach.
С другой стороны, нет основания полагать, что Virgin Media собирается почивать на коаксиальных лаврах: пока их конкурент-телекоммуникационный гигант обдумывает свои ходы, Virgin стабильно поставляет услуги FTTH, охватывая 250 тысяч пользователей и ставит целью достичь 500 тысяч в этом году. Проект Lightning, с помощью которого в течение следующих нескольких лет к сети Virgin подключатся еще четыре миллиона домов и офисов, включает
один миллион новых подключений по FTTH.
В нынешней ситуации Virgin использует технологию RFOG (радиочастота по стекловолокну) и таким образом появляется возможность использовать стандартные коаксиальные роутеры и TiVo, но значительное влияние в сфере FTTH в Великобритании дает компании несколько дополнительных опций в будущем, когда спрос на широкополосный пользовательский доступ возрастет.
И еще одно, последнее фото подводных кабельных сегментов… Фото: Боб Дормон / Ars Technica UK
Последние несколько лет также были благоприятны для мелких и независимых игроков вроде Hyperoptic и Gigaclear, которые выпускают свои собственные оптоволоконные сети. Их площадь покрытия все еще крайне ограничена парой тысяч жилых домов в центре города (Hyperoptic) и сельскими поселениями (Gigaclear), но рост конкуренции и вложений в инфрастуктуру никогда не ведет к плохому.
Вот так история
Вот и все дела: в следующий раз, смотря видео на YouTube, вы в подробностях будете знать, как оно движется с облачного сервера на ваш компьютер. Это может казаться очень легким, — особенно с вашей стороны — но теперь вы знаете правду: всё работает на смертоносных кабелях в 4000 вольт, 96 тоннах батарей, тысячах литров дизельного топлива, миллионах миль кабелей «последней мили» и излишестве в избытке.
Сама система тоже будет становиться все больше и безумней. Для умных домов, носимой электроники и ТВ с фильмами по запросу понадобится больший диапазон, бóльшая надежность и больше мозгов в колбах. Хорошо жить в наше время.
Свою технологическую одиссею Боб Дормон начал еще подростком, работая в GSHQ, однако, из-за страсти к музыке он поехал осваивать звукозапись в Лондон. Больше двенадцати лет он регулярно писал для журналов музыкальной и Mac направленности. Восхищенный отношением человека и технологий, он стал полноценным журналистом, и больше шести лет был членом редакторской команды журнала The Register. Боб проживает в Лондоне, и у него до неприличного много гаджетов, гитар и винтажных MIDI-синтезаторов.
