Центр обработки данных. Самая полная информация о том, что такое цод при обработке персональных данных и его основные функции Где они могут применяться

На сегодняшний день уже никого не удивить тем, что в той или иной компании присутствует собственный ЦОД. Что это такое, знают лишь немногие работники этой организации, но в действительности же такое оборудование требуется любому бизнесу, который хочет добиться реальной стабильности. Другими словами, если возникает реальная потребность в том, чтобы обеспечить бесперебойную, масштабируемую и управляемую работу компании, когда от ИТ-инфраструктуры непосредственно зависит стабильность работы бизнеса, используется центр обработки данных.

Что это?

Таким образом, с течением времени и развития информационных технологий практически в любой организации, которая так или иначе связана с информацией, присутствует собственный ЦОД. Что это такое? Центр обработки данных, который в профессиональной специализированной литературе часто принято называть дата-центр. Из названия можно понять, что в таком оборудовании осуществляются разнообразные операции, которые непосредственно относятся к обработке любой информации, то есть созданию или генерированию данных, последующему архивированию и хранению файлов, а также последующему предоставлению их по запросу пользователя. При этом отдельное внимание следует уделить тому, что помимо вышеперечисленных функций есть также безопасное уничтожение данных, за которое отвечает ЦОД. Что это такое? Устранение тех или иных файлов без вреда остальным данным и, возможно, без возможности восстановления, если удаляется действительно важная информация, которая не должна попасть в третьи руки.

Где они могут применяться?

На сегодняшний день существует достаточно большое количество фондов, включая земельные кадастры, Пенсионный фонд и разнообразные библиотеки, которые непосредственно занимаются сбором и хранением различной информации. При этом стоит отметить, что есть и такая информация, которая сама по себе генерирует бизнес, к примеру, та, которая применяется разнообразными справочными службами. Также есть информация, которая не принимает никакого участия в бизнес-процессах, но при этом является необходимой для их реализации. К таким данным относятся файлы кадровых служб, а также базы данных учетных записей пользователей в различных информационных системах.

Промышленными холдингами создаются специализированные электронные архивы для выполнения расчетных задач, хранения документов, а также автоматизации бизнес-процессов. Таким образом, разные организации используют разные виды информации, а также задачи, которые касаются ее обработки. Именно для решения таких задач и создается ЦОД. Что это такое, знает только системный администратор, на плечи которого ложится оборудования.

Когда используется ЦОД?

Задачи, связанные с в разное время решались при помощи различных технических средств. В ХХ веке электронно-вычислительные устройства стали основой современного бизнеса, так как взяли на себя преимущественное большинство вычислительных задач, а появление устройств, которые хранят в себе информацию, предоставило возможность полностью избавиться от бумажных архивов, заменив их более компактными, и при этом доступными электронными и ленточными носителями. Уже для того, чтобы разместить первые электронно-вычислительные машины, нужно было выделять специализированные машинные залы, в которых сохранялись требуемые климатические условия, чтобы оборудование не перегрелось в процессе работы и при этом работало стабильно.

Серверные комнаты и их особенности

С началом эпохи развития персональных компьютеров и небольших серверов вычислительное оборудование практически любой компании стало заключаться в специальных серверных комнатах. В преимущественном большинстве случаев под такой комнатой предусматривается определенное помещение, в котором установлен бытовой кондиционер, а также источник бесперебойного питания для того, чтобы обеспечить непрерывную работу техники в нормальном состоянии. Однако в наши дни такой вариант годится только для тех предприятий, в которых бизнес-процессы очень сильно зависят от используемой информации и доступных вычислительных ресурсов.

Чем отличается ЦОД от серверной?

По большому счету, современный центр обработки данных представляет собой расширенную копию традиционной серверной комнаты, ведь на самом деле они имеют много общего - это использование инженерных систем, поддерживающих непрерывную работу оборудования, необходимость в обеспечении требуемого микроклимата, а также соответствующего уровня безопасности. Но в то же время есть и целый ряд отличий, которые являются решающими.

Центр обработки данных оснащается полным комплектом различных инженерных систем, а также специализированными составляющими, обеспечивающими нормальную и стабильную работу информационной инфраструктуры компании в том режиме, который требуется для работы бизнеса.

Где используется такое оборудование?

В России обработка данных при помощи таких центров стала востребованной с 2000 года, когда такое оборудование начали заказывать различные банковские структуры, государственные органы, а также предприятия в сфере нефтяной промышленности. Стоит отметить, что впервые ЦОД появился еще в 1999 году, когда его начали использовать для обработки деклараций и справок о доходах всех жителей Москвы и области.

Также одним из первых крупных ЦОДов стало оборудование, которое использовалось в центре Сбербанка. В 2003 году, при поддержке компании «Ростелеком», в Чувашии организовали первый республиканский центр обработки данных, применяющийся для того, чтобы систематизировать архивные данные. Такие устройства обеспечивали различные органы местной власти, а в 2006 году также открылся центр, в котором осуществлялась обработка данных центра «Курчатовский институт». В следующем году компании ВТБ-24 и Yandex также начали использовать собственный центр обработки данных. Москва, таким образом, достаточно быстро пришла к использованию такого оборудования, равно как и другие крупные города России.

Где стоит установить ЦОД?

В наши дни собственный ЦОД используется практически каждой крупной территориально-распределенной компанией, особенно в том случае, если бизнес очень сильно зависит от организации ИТ. В качестве примеров можно привести операторов связи, компании-ритейлеры, туристические и транспортные компании, медицинские учреждения, промышленные холдинги и многое другое.

ЦОД может предназначаться для работы конкретного предприятия или же использоваться в качестве многопользовательского оборудования. Многопользовательский центр обработки данных предоставляет широчайший спектр услуг, включая непрерывность бизнеса, а также хостинг, аренду и размещение сервера и еще множество других элементов. Услуги ЦОД являются наиболее актуальным для компаний малого и среднего бизнеса, так как с его помощью можно исключить необходимость в для модернизации ИТ-инфраструктуры, и в конечном итоге получить гарантию надежности и сервис самого высокого качества.

Залог успешности ЦОД - это грамотное проектирование

Грамотное проектирование центра обработки данных позволяет исключить возникновение серьезных проблем в процессе работы оборудования, а также сократить расходы в процессе эксплуатации. В целом структура такого центра распределяется на четыре основных элемента - это инженерная инфраструктура, здание, программное обеспечение и специализированное оборудование. При этом строительство зданий и помещений под установку такого оборудования исполняется во множестве стандартов, главным назначением которых является обеспечение безопасности и надежности. В западных странах часто устанавливаются крайне серьезные и порой весьма своеобразные требования к ЦОД - в частности, стоит выделить то, что здание должно находиться не менее чем на расстоянии 90 метров от предельно высокой точки, до которой доходила вода при наводнении за последние 100 лет, чего добиться бывает далеко не так просто, как может показаться на первый взгляд.

В современном понимании дата-центр (data center), или центр обработки данных (ЦОД), - это комплексное организационно-техническое решение, предназначенное для создания высокопроизводительной и отказоустойчивой информационной инфраструктуры. В более узком смысле ЦОД - это помещение, предназначенное для размещения оборудования для обработки и хранения данных и обеспечивающее подключение к быстрым каналам связи. Для того чтобы полнее раскрыть суть понятия ЦОД, начнем с истории его возникновения.

В принципе, вычислительные центры, знакомые многим по ЕС-машинам, которые получили распространение в нашей стране еще 30 лет назад, - это в определенном смысле прародители современных ЦОД. Общей для нынешних ЦОД и старых ВЦ является идея консолидации ресурсов. При этом ВЦ имели достаточно сложные подсистемы обеспечения необходимой для вычислительной техники среды, которая состояла из подсистем охлаждения, электропитания, безопасности и т.п., многие из которых используются и в современных ЦОД.

С распространением ПК в середине 1980-х годов наметилась тенденция к рассредоточению вычислительных средств - настольные компьютеры не требовали особых условий, а следовательно, вопросам обеспечения специальной среды для вычислительной техники уделялось все меньше внимания. Однако с развитием клиент-серверной архитектуры в конце 90-х годов возникла необходимость установки серверов в специальных помещениях - серверных комнатах. Нередко случалось так, что серверы размещали на площади старых ВЦ. Примерно в это время появился термин «дата-центр» (data center), применяемый к специально спроектированным компьютерным помещениям.

Расцвет дата-центров пришелся на период бума дот-комов. Компании, которым требовались быстрый интернет-доступ и непрерывность ведения бизнеса, стали проектировать специальные помещения, обеспечивающие повышенную безопасность обработки и передачи данных, - Интернет-дата-центры (Internet Data Centers). Поскольку все современные дата-центры обеспечивают доступ к Интернету, первое слово в названии было упразднено. Со временем появилось отдельное научное направление, которое занимается вопросами оптимизации строительства и эксплуатации дата-центров.

В начале XXI века многие крупные компании как за рубежом, так и у нас в стране пришли к необходимости внедрения ЦОД - для одних первостепенным стало обеспечение непрерывности бизнеса, для других ЦОД-решения оказались очень эффективными вследствие экономии эксплуатационных затрат. Многие крупные компании пришли к выводу, что централизованная модель вычислений обеспечивает лучший показатель TCO.

За последнее десятилетие многие крупные ИТ-компании обзавелись целой сетью ЦОД. Например, старейший глобальный оператор Cable & Wireless в 2002 году купил американскую компанию Digital Island - владельца 40 ЦОД по всему миру, а европейский оператор Interoute в 2005 году приобрел оператора и хостинг-провайдера PSINet, подключив к своей панъевропейской сети 24 ЦОД.

Практика применения риск-ориентированных подходов к ведению бизнеса стимулирует использование ЦОД. Компании начали понимать, что вложения в организацию бесперебойной работы критичных ИТ-систем обходятся для многих видов бизнеса гораздо дешевле, чем возможный ущерб от потери данных в результате сбоя. Внедрению ЦОД способствует также принятие законов, требующих обязательного резервирования ИТ-систем, появление рекомендаций по применению модели аутсорсинга ИТ-инфраструктуры, необходимость защиты бизнеса от природных и техногенных катастроф.

Отдельные ЦОД стали занимать все бо льшие территории. Например, недавно появилась информация о том, что Google намерена построить крупный ЦОД в штате Айова площадью 22,3 га, потратив на него 600 млн долл., который заработает уже весной 2009 года.

В России строительство ЦОД (в современном понимании этого термина) началось в конце прошлого - начале нового века. Одним из первых крупных российских ЦОД был Центр Сбербанка. Сегодня собственные ЦОД имеют многие коммерческие структуры (прежде всего финансовые организации и крупные операторы связи).

При этом солидные российские Интернет-компании имеют уже по нескольку дата-центров. Например, в сентябре текущего года появилось сообщение о том, что Яндекс открыл новый (уже четвертый по счету) дата-центр на 3 тыс. серверов (занимаемая площадь - 2 тыс. кв.м, подведенная мощность - 2 МВт). Новый комплекс оснащен прецизионными системами охлаждения, позволяющими снимать до 10 кВт со стойки, источниками бесперебойного питания и дизельными генераторами. Дата-центр подключен к московскому оптическому кольцу Яндекса, которое соединяет другие дата-центры и офисы Яндекса, а также к М9 и М10 - традиционным точкам обмена трафиком с провайдерами.

Одновременно с этим российский оператор «Синтерра» объявил о начале одного из самых крупных проектов (не только по российским, но и по европейским меркам) - строительстве национальной сети собственных ЦОД. Проект получил название «40x40». Создав крупные дата-центры в узлах широкополосной сети в большинстве регионов России, оператор намерен превратить их в точки локализации клиентов и продаж всего спектра услуг.

До середины 2009 года в 44 центрах субъектов Федерации будут открываться вновь создаваемые ЦОД. Первыми станут Москва, Санкт-Петербург, Казань, Самара и Челябинск. Оператор планирует, что до конца 2008 года будут введены в эксплуатацию первые 20 площадок, остальные - к середине 2009-го. Интеграторами проекта являются «Крок», «Техносерв А/С» и Integrated Service Group (ISG).

Площадь каждого ЦОД, в зависимости от потребностей региона, будет варьироваться от 500 до 1000 кв.м по фальшполу и вмещать 200-300 технологических стоек. К ЦОД должны быть подключены по два кольца сети общей пропускной способностью каналов 4x10 Гбит/с, что обеспечит клиентам высокий уровень резервирования и доступности сервисов.

Проект «40x40» ориентирован на широкий круг клиентов, имеющих потребность в аутсорсинге ИТ-инфраструктуры в масштабах всей страны, - операторов связи, «сетевых» корпоративных клиентов, разработчиков контента и приложений, операторов IP-TV и телевизионных компаний, а также на госструктуры, отвечающие за реализацию национальных ИКТ-программ.

Собственные ЦОД у нас в стране имеют не только коммерческие, но и государственные структуры, такие как МВД, МЧС и ФНС.

По данным IDC, количество дата-центров в США достигнет к 2009 году 7 тыс. - по мере перевода компаниями распределенных вычислительных систем на централизованные.

Наряду со строительством новых дата-центров на повестке дня стоит проблема модернизации старых. По данным Gartner, к 2009 году 70% оборудования ЦОД перестанет отвечать эксплуатационным требованиям и требованиям к производительности, если не будет проведена соответствующая модернизация. Средний срок обновления компьютерного оборудования в ЦОД - примерно три года. Инфраструктура ЦОД проектируется с учетом срока эксплуатации порядка 15 лет.

Назначениеи структура ЦОД

В зависимости от назначения современные ЦОД можно разделить на корпоративные, которые работают в рамках конкретной компании, и ЦОД, предоставляющие сервисы сторонним пользователям.

Например, банк может иметь дата-центр, где хранится информация по транзакциям его пользователей, - обычно он не оказывает услуг сторонним пользователям. Даже если ЦОД не предоставляет подобных услуг, он может быть выделен в отдельную организационную структуру компании и оказывать ей услуги по доступу к информационным сервисам на базе SLA. Многие крупные компании имеют ЦОД того или иного вида, а международные компании могут иметь десятки ЦОД.

ЦОД может также использоваться для предоставления услуг профессионального ИТ-аутсорсинга ИТ-решений на коммерческих условиях.

Все системы ЦОД состоят из собственно ИТ-инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС (рис. 1).

Рис. 1. ИТ-инфраструктура современного ЦОД

Рассмотрим организацию серверного комплекса и системы хранения данных.

Серверный комплекс ЦОД

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов (см. рис. 1):

• ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
• серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы; например, серверы, выполняющие модули SAP R/3;
• серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
• служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Системы хранения данных

Наиболее перспективным решением организации системы хранения данных (СХД) является технология SAN (Storage Area Network), обеспечивающая отказоустойчивый доступ серверов к ресурсам хранения и позволяющая сократить совокупную стоимость владения ИТ-инфраструктурой за счет возможности оптимального онлайнового управления доступа серверов к ресурсам хранения.

СХД состоит из устройств хранения информации, серверов, системы управления и коммуникационной инфраструктуры, обеспечивающей физическую связь между элементами сети хранения данных (рис. 2).

Рис. 2. Система хранения данных на базе технологии SAN

Подобная архитектура позволяет обеспечить бесперебойное и безопасное хранение данных и обмен данными между элементами сети хранения данных.

В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel (FC). Техническую основу сети хранения данных составляют волоконно-оптические соединения, FC-HBA и FC-коммутаторы, в настоящее время обеспечивающие скорость передачи 200 Мбайт/с.

Применение SAN в качестве транспортной основы системы хранения данных дает возможность динамической реконфигурации (добавление новых устройств, изменение конфигураций имеющихся и их обслуживание) без остановки системы, а также обеспечивает быструю перегруппировку устройств в соответствии с изменившимися требованиями и рациональное использование производственных площадей.

Высокая скорость передачи данных по SAN (200 Мбайт/с) позволяет в реальном времени реплицировать изменяющиеся данные в резервный центр или в удаленное хранилище. Удобные средства администрирования SAN дают возможность сократить численность обслуживающего персонала, что снижает стоимость содержания подсистемы хранения данных.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDC, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Проектирование, строительство и эксплуатация ЦОД - весьма сложный и трудоемкий процесс. Существует множество компаний, предлагающих необходимое оборудование - как компьютерное, так и вспомогательное, но для построения индивидуального решения без помощи интеграторов здесь не обойтись. Созданием дата-центров в России занимается целый ряд крупных отечественных системных интеграторов, таких как IBS Croc OpenTechnologies, а также специализированные компании: DataDome, IntelinePro и др.

ЦОД и ИТ-аутсорсинг

По данным IDC, мировой рынок только хостинговых услуг в ЦОД растет очень быстро и к 2009 году составит 22-23 млрд долл.

Наиболее комплексная услуга ИТ-аутсорсинга - это аутсорсинг информационных систем. Он предоставляется по долговременному соглашению, по которому поставщик услуг получает в полное управление всю ИТ-инфраструктуру клиента или ее значительную часть, в том числе оборудование и установленное на нем программное обеспечение. Это проекты с широким вовлечением исполнителя, которые предполагают ответственность за системы, сеть и отдельные приложения, входящие в ИТ-инфраструктуру. Обычно аутсорсинг ИТ-инфраструктуры оформляется долгосрочными контрактами, которые длятся более года.

Для создания собственной ИТ-инфраструктуры с нуля компаниям необходимы большие средства и высокооплачиваемые специалисты. Аренда инфраструктуры дата-центра позволяет снизить TCO за счет разделения ресурсов между клиентами, обеспечивает доступ к новейшим технологиям, дает возможность быстрого развертывания офисов с возможностями наращивания ресурсов. Для многих компаний надежность бесперебойного функционирования оборудования и сетевой инфраструктуры становится сегодня критичным фактором для функционирования бизнеса. Аутсорсинг ИТ-инфраструктуры позволяет обеспечить высокий уровень надежности данных при ограниченной стоимости, предоставляя клиентам возможность аренды серверных стоек и мест в стойке для размещения оборудования заказчика (co-location), аренды выделенного сервера (dedicated server), лицензионного ПО, каналов передачи данных, а также получения технической поддержки.

Заказчик освобождается от множества процедур: технической поддержки и администрирования оборудования, организации круглосуточной охраны помещений, мониторинга сетевых соединений, резервного копирования данных, антивирусного сканирования ПО и т.д.

ЦОД также может оказывать услугу аутсорсингового управления приложениями. Это позволяет заказчикам использовать сертифицированных специалистов, что гарантирует высокий уровень обслуживания программных продуктов и обеспечивает легкий переход с одного ПО на другое при минимальных финансовых затратах.

В режиме аутсорсинга приложений клиенты ЦОД могут получить аутсорсинг почтовых систем, интернет-ресурсов, систем хранения данных или баз данных.

Передавая свои корпоративные системы на аутсорсинг для резервирования, заказчики снижают риск потери критичной информации за счет использования профессиональных систем возобновления работоспособности ИТ-систем, а в случае аварии получают возможность страхования информационных рисков.

Обычно клиентам ЦОД предлагается несколько уровней обеспечения непрерывности бизнеса. В простейшем случае это размещение резервных систем в дата-центре с обеспечением должной защиты. Кроме того, может быть вариант, при котором клиенту также предоставляется аренда программно-аппаратных комплексов для резервирования. Наиболее полный вариант услуги предполагает разработку полномасштабного плана восстановления систем в случае аварии (Disaster Recovery Plan, DRP), который подразумевает аудит информационных систем заказчика, анализ рисков, разработку плана восстановления после аварии, создание и обслуживание резервной копии системы, а также предоставление оборудованного офисного помещения для продолжения работы в случае аварии в основном офисе.

Примеры коммерческих дата-центров

Дата-центры Stack Data Network

Сеть Stack Data Network объединяет три дата-центра, построенных с учетом зарубежного опыта.

Два из них (дата-центр Stack и дата-центр M1) общей емкостью 700 стоек расположены в Москве, а третий (дата-центр PSN) емкостью 100 стоек - в 100 км от столицы.

Существуют партнерские договоренности с рядом европейских дата-центров о возможности использования их ресурсов через Stack Data Network.

Дата-центры Stack Data Network предоставляют услугу обеспечения непрерывности бизнеса - disaster recovery, а также качественный хостинг: услугу collocation - размещение серверов (рис. 3) и услугу dedicated server - выделенный сервер (рис. 4).

Рис. 3. ЦОД Stack: размещение серверов
(server collocation)

Рис. 4. ЦОД Stack: аренда выделенного сервера

Дата-центры обладают системами автономного электропитания с источниками бесперебойного питания и мощными дизель-генераторными установками (рис. 5), системами климат-контроля и кондиционирования (рис. 6), системами круглосуточного мониторинга состояния инфраструктурных элементов и системами газового пожаротушения. Для обеспечения надежности систем жизнеобеспечения все системы зарезервированы по схеме N+1. Особый режим безопасности достигается за счет нескольких периметров доступа с использованием индивидуальных пластиковых магнитных карт, биометрической системы контроля доступа, системы видеонаблюдения и датчиков движения.

Рис. 5. ЦОД Stack: дизель-генератор

Рис. 6. ЦОД Stack: кондиционер Liebert

В сети дата-центров Stack Data Network организована круглосуточная служба эксплуатации (дежурные операторы и специалисты), в том числе по системам жизнеобеспечения. Функционируют системы круглосуточного мониторинга систем жизнеобеспечения, телекоммуникационного и серверного оборудования, сети и состояния каналов связи. Дата-центры соединены с основными телекоммуникационными узлами Москвы и объединены между собой собственными резервированными волоконно-оптическими линиями связи.

Дата-центр IBS DataFort

В 2001 году IBS и Cable & Wireless объявили о начале предоставления российским и зарубежным компаниям комплексных услуг по схеме ASP в рамках совместного проекта DATA FORT на базе дата-центра. Чуть позже DATA FORT зажил самостоятельно, а в 2003-м IBS объявила о запуске собственного ДЦ, который принадлежит дочерней компании IBS - IBS DataFort. ЦОД IBS DataFort ориентирован на обслуживание клиентов с критичными требованиями к конфиденциальности и защите данных, обеспечивает высокую степень доступности данных, современные аппаратно-программные средства, надежное энергоснабжение, скоростные каналы передачи данных и высокий уровень технической поддержки. Периметр имеет усиленную охрану (рис. 7).

Рис. 7. Охраняемая территория ЦОД IBS DataFort

Внутри здания находятся технический модуль площадью более 130 кв.м, двухэтажный резервный офис площадью около 150 кв.м, а также операторский пост. Для предотвращения рисков заливов и пожаров технический модуль дата-центра построен из стальных сандвич-панелей и поднят на полметра над уровнем пола (рис. 8).

Рис. 8. Технический модуль дата-центра IBS DataFort

Технический модуль представляет собой пожаробезопасную, сейсмоустойчивую конструкцию, оборудованную высокопрочным фальшполом, системами гидроизоляции и заземления. Модуль рассчитан на 1500 Rack-серверов, размещаемых в 19-дюймовых промышленных стойках АРС.

В дата-центре установлен автоматический комплекс газового пожаротушения, состоящий из оборудования Fire Eater, «Шрак» и ГОС «Инерген», световой и звуковой сигнализации (предупреждающей о пуске газа и требующей покинуть помещения дата-центра), а также эффективной системы дымоудаления (рис. 9).

Рис. 9. Системы пожаротушения дата-центра
IBS DataFort

Система климатического контроля (рис. 10) состоит из промышленных кондиционеров с автоматическим поддержанием заданной температуры в районе 22±0,5 °C и влажности на уровне 50±5 %, включенных по схеме N+1 (при выходе из строя одного из кондиционеров расчетные параметры всей системы не нарушаются). Приток свежего воздуха с улицы осуществляется с помощью специальной установки, препятствующей проникновению пыли внутрь дата-центра.

Рис. 10. Система климатического контроля
дата-центра IBS DataFort

IBS DataFort специализируется на услугах комплексного аутсорсинга ИТ, принимая на себя все функции ИТ-подразделений заказчика, и предлагает следующие виды услуг:

• аутсорсинг ИТ-инфраструктуры - размещение оборудования заказчика или предоставление в аренду инфраструктуры дата-центра, обеспечение работоспособности корпоративных информационных систем;
• управление приложениями - квалифицированное администрирование и управление различными приложениями;
• аутсорсинг ИТ-персонала - предоставление квалифицированных специалистов для решения различных ИТ-задач;
• обеспечение непрерывности бизнеса - организация отказоустойчивых решений для восстановления информационных систем после аварий и сбоев;
• ИТ-консалтинг и аудит - услуги аудита и инвентаризации в области ИТ, а также построение промышленных технологий эксплуатации ИТ-систем;
• функциональный аутсорсинг - управление отдельными ИТ-функциями по оговоренным стандартам и утвержденному уровню сервиса.

Международный магистральный оператор связи

Один из ключевых поставщиков услуг международной передачи данных.
Предоставление услуг IP-транзита и выделенных каналов связи международным и локальным Интернет-провайдерам.
Организация виртуальных частных сетей (VPN), доступа в Интернет и других услуг связи для крупных и средних предприятий из различных отраслей промышленности; банковских структур и финансовых институтов, а также государственных организаций
Обширное покрытие сети — 28 стран, 3 континента — и значимое присутствие в Восточной Европе и России.
Высокая пропускная способность сети, через которую проходят большие объемы международного трафика.
Высокая связность за счет прямых подключений к многочисленным ЦОДам и международным точкам обмена трафиком.

Крупнейший интернет-провайдер Москвы

Широкая зона покрытия — около 70 районов для корпоративных клиентов и 27 районов для физических лиц.
Инновационные технологии — постоянно совершенствует качество своих услуг, увеличивая мощность серверов и пропускных способностей каналов, смело внедряя инновационные технологии, предоставляя своим абонентам пользоваться новыми возможностями для работы, отдыха, общения и развития.
Starlink заботится о своих абонентах, предоставляя им Интернет нового поколения. Компания первой в России стала активно подключать своих пользователей к Сети, используя IPv6 — протокол нового поколения.

Стремительное развитие современных технологий приводит к неизбежному росту автоматизации большинства процессов не только на предприятиях различного уровня, но и в быту.

С повышением уровня технологий ускоряются процессы обмена данными между различными субъектами. Появляется необходимость в специальных автоматизированных центрах, где вся информация будет надежно и упорядоченно храниться и обрабатываться.

Лучшим решением в этом вопросе являются ЦОДы (центры обработки данных), которые постепенно становятся неотъемлемой частью инфраструктуры любого предприятия.

Назначение и виды ЦОД

Центры обработки данных – это сложная система, которая включает в себя целый комплекс IT решений, высокотехнологичного оборудования и инженерных конструкций.

Основная задача ЦОД заключается в быстрой обработке любого объема данных, хранении информации и ее выдаче в стандартизированном виде пользователю. Фактически ядром центра являются мощные серверные станции, снабженные необходимым программным обеспечением, системами охлаждения и безопасности.

Существуют две основные разновидности таких центров:

• коммерческого типа. Это целые комплексы, которые сооружают для последующей аренды вычислительных мощностей. Они отличаются высокой производительностью и максимальной скоростью обмена данными. Пользователь, воспользовавшись такой услугой, получает виртуальный ЦОД, который фактически может находиться в другом городе или даже стране. Преимущества такого варианта очевидны – пользователь может самостоятельно настроить конфигурацию системы по определенным параметрам, управление происходит дистанционно, не нужно затрачивать средства на строительство и обслуживание собственного ЦОДа;


• внутренние (корпоративные). Центры, которые устанавливаются в рамках конкретного предприятия. Они предназначены только для внутреннего корпоративного пользования. Несмотря на затраты, связанные с созданием и вводом в эксплуатацию такого центра, главное его преимущество заключается в прямом управлении всей системой. Компания не зависит от стороннего владельца оборудования (поставщика услуг) и сможет более эффективно обеспечить безопасность данных и сохранность коммерческой тайны. В случае выхода из строя определенных систем процесс их восстановления пройдет гораздо быстрее. Не стоит забывать, что предприятие, которое владеет собственным ЦОД, может обеспечить автономную работу оборудования на случай с перебоями в сети электроснабжения и максимально быстро реагировать на различные внештатные ситуации.

Мобильный и модульные ЦОД

Отдельно стоит рассмотреть мобильный ЦОД, который представляет собой готовое решение для небольших компаний. Преимущества очевидны – не нужно проектировать специальное помещение для стационарного дата-центра, учитывать специфику оборудования, температурный режим и другие факторы. Некоторые производители мирового уровня занялись разработкой таких центров и достигли большого успеха.

Конструктивно система представляет собой определенное количество унифицированных модулей, которые легко объединяются в полноценный автономный комплекс и быстро настраиваются.

Модульный ЦОД – это наиболее рациональный и простой способ для многих компаний среднего уровня. Еще одно преимущество такого центра – на его создание и ввод в эксплуатацию уходит существенно меньше времени, чем на стационарную конструкцию.

Такие комплексные решения получили широкое распространение на предприятиях различной сферы деятельности. В первую очередь речь идет об организациях и компаниях, для которых ключевым полем деятельности является быстрый обмен данными. Это различные банковские системы, государственные и коммерческие телекоммуникационные организации, IT компании, call-центры, аварийно-диспетчерские службы.

Правильно обработанная информация, которая оперативно подана, играет первостепенную роль в работе таких компаний. Важным критерием являются также возможные потери прибыли в случае неправильной или слишком медленной обработки данных. Поэтому для крупных организаций такие центры снабжаются новейшим технологическим оборудованием и программным обеспечением.

Что важно знать при выборе ЦОД?

От надежности и скорости обработки информации во многих компаниях зависит построение рабочего процесса и уровень оказания услуг клиентам.

Ключевые требования к ЦОД следующие:

• автономная работа;


• высокий уровень надежности;


• защита данных;


• безотказность;


• высокая производительность, вне зависимости от того, будет это облачный ЦОД (виртуальный) или внутренний корпоративный вариант;
• большой объем для хранения информации;


• возможность расширения и модернизации (закладывается на ближайшие 5-7 лет с учетом прогнозируемого роста компании и развития технологий).

Центры обработки данных в России, который соответствует этим критериям, – лучшее решение для отечественных компаний профильной сферы деятельности. Для большинства заказчиков очень важно совокупное соотношение требований к стоимости.

Сегодня Центры данных в РФ в связи с кризисом в экономике уже не настолько востребованы, как 10 лет назад, и такая тенденция прослеживается во всем мире.

Крупные компании понимают важность таких центров, но при выборе оборудования ориентируются в первую очередь на стоимость, а не на новейшие технологии и расширенные возможности.

Ключевые элементы центров данных

Структура центров обработки данных включает в себя целый ряд компонентов и подсистем, без которых оперативная обработка информации и хранение данных невозможны.

Система включает в себя следующие блоки:

• IT-инфраструктура ЦД;


• инженерные системы различного уровня сложности;


• комплексный подход к безопасности;


• управление и мониторинг.

Чтобы более подробно разобраться в структуре, следует рассмотреть основные блоки более внимательно.

IT составляющая ЦОД;

Первый блок представляет собой комплекс высокотехнологичного оборудования, который объединен в общую систему.

Это своеобразное ядро любого современного ЦОДа, которое состоит из:

• серверного оборудования;


• системы передачи, обработки и хранения данных.

Чтобы повысить эффективность сервера, многие известные компании разрабатывают новые продукты: программное обеспечение, технологии виртуальной реальности и готовые комплексные решения на основе использования блэйд-серверов. Это одно из наиболее востребованных направлений в специализированной IT сфере.

Новые разработки позволяют существенно увеличить производительность оборудования, улучшить энергоэффективность, уменьшить расходы на содержание и максимально оптимизировать рабочие процессы.

Инженерные решения в ЦОД

Чтобы обеспечить бесперебойную работу мощного высокотехнологичного оборудования, необходимо создать эффективную инженерную систему.

Основные инженерные системы ЦОД относятся к двум категориям:

• электроснабжение. Специальное оборудование должно обеспечивать не только бесперебойную подачу электричества к оборудованию, но и в случае аварий на ЛЭП перейти на автономное питание. Для осуществления этого используют различные источники бесперебойного питания и дополнительные генераторы. Очень важно, чтобы напряжение и частота тока соответствовали необходимым параметрам и в сети не было перебоев и резких скачков. Такие перепады негативно воздействуют на серверное оборудование и могут привести к его выходу из строя;


• охлаждение. Мощные серверы во время работы выделяют огромное количество тепла, которое отводится при помощи специальных встроенных радиаторов. Это не решает проблему целиком, так как серверные станции находятся в отдельных закрытых помещениях. Чтобы обеспечить надежное охлаждение, используют различные системы кондиционирования, которые работают в автоматическом режиме, обеспечивая оптимальную температуру в помещении и препятствуя перегреву оборудования. Используя новые технологии в области кондиционирования (инверторные компрессоры, высокоточные тепловые датчики), можно добиться уменьшения затрат потребляемой электроэнергии на 10-15%.

Безопасность центров обработки данных

Одна из важнейших составляющих работоспособности любого ЦОД – это правильно разработанная система безопасности. Для того чтобы обеспечить сохранность данных и предотвратить доступ к ним посторонних лиц через Интернет, компании используют новейшее антивирусное ПО и другие программы защиты данных.

Чтобы предотвратить проникновение посторонних лиц, разрабатывается и внедряется система допуска определенной категории сотрудников, методы противодействия взлому и физическому проникновению к оборудованию, видеонаблюдение, противопожарная система. Комплексный подход к безопасности обеспечивает сохранность важной информации.

Мониторинг ЦОД

Комплексный подход к управлению и мониторингу является важной составляющей любого современного ЦОДа. Такие системы в автоматическом режиме контролируют работоспособность всего оборудования и параметры окружающей среды (температура, влажность, напряжение и частота тока).

Неотъемлемой частью мониторинга являются системы прогнозирования вероятного отказа оборудования и раннего оповещения.

Отдельное место занимает диспетчеризация – это важная составляющая рабочего процесса, которая позволяет организовать информирование персонала о внештатной ситуации при помощи современных технологий связи (отправка данных на электронный адрес, возможность автоматического дозвона абонентам определенной группы или короткие СМС сообщения).

Комплексный подход существенно снижает риск возникновения аварийных ситуаций, а в случае наступления форс-мажора обеспечивает максимально эффективную методику борьбы и восстановление поврежденных участков системы.

Центры обработки данных на выставке

На территории ЦВК «Экспоцентр» пройдет важное мероприятие – выставка «Связь» . Большая экспозиция будет посвящена вопросам оперативной обработки данных и безопасному хранению информации. Это событие международного уровня, где ведущие мировые производители специализированного оборудования и программного обеспечения продемонстрируют свои последние разработки в этой сфере.

Все желающие могут узнать самые актуальные новости о ЦОД, ознакомиться с системами проектирования, новыми мобильными и стационарными комплексами.

Отдельное внимание будет уделено безопасности и необходимому оборудованию для обеспечения охлаждения, вентиляции и бесперебойного электроснабжения центров обработки данных. Это важное событие для всех специалистов в данной отрасли и руководителей компаний, которые хотят модернизировать свое предприятие, используя современные технологии и новейшее оборудование для хранения, передачи и обработки данных.

Эре компьютеров уже более 50 лет, соответственно, инфраструктуре их жизнеобеспечения столько же. Первые компьютерные системы были очень сложными в использовании и обслуживании, они требовали для функционирования специальной интегрированной инфраструктуры.

Невероятное множество кабелей соединяло различные подсистемы, и для их организации было разработано множество технических решений, применяемых до сих пор: стойки для оборудования, фальш-полы, кабельные лотки и т.п. Кроме того, требовались системы охлаждения для предотвращения перегрева. И поскольку первые компьютеры были военными, вопросы безопасности и ограничения стояли на первых местах. В дальнейшем компьютеры стали меньше, дешевле, неприхотливее и проникли в самые разные отрасли. При этом надобность в инфраструктуре отпала, и компьютеры стали размещать где угодно.

Революция произошла в 90-х годах, после распространения клиент-серверной модели. Те компьютеры, которые стали считать серверами, начали размещать в отдельных помещениях с подготовленной инфраструктурой. Названия этих помещений на английском звучали как Computer room, Server room, Data Center, в то время как в Советском Союзе мы называли их «Машинными залами» или «Вычислительными Центрами». После распада СССР и популяризации английской терминологии наши ВЦ превратились в «серверные» и «Центры Обработки Данных» (ЦОД). Есть ли принципиальные отличия между этими понятиями, или это всего лишь вопрос терминологии?

Первое, что приходит на ум, это масштаб: если маленькая, то серверная, а если большой - то ЦОД. Или: если внутри только свои сервера, то это серверная; а если предоставляются услуги размещения серверов сторонним компаниям - то дата-центр. Так ли это? За ответом обратимся к стандартам.

Стандарты и критерии

Самый распространенный в настоящее время стандарт, описывающий устройство дата-центров, это американский TIA 942. Российского аналога, к сожалению, нет, советский СН 512-78 давно и безнадежно устарел (хоть и была редакция от 2000 г.), его можно рассматривать только с точки зрения общих подходов.

В самом стандарте TIA 942 написано, что цель его создания - сформулировать требования и руководящие указания по проектированию и монтажу ЦОД или машинного зала. Будем считать, что ЦОД - это то, что соответствует требованиям TIA 942, а серверная - просто некое помещение с серверами.

Итак, стандарт TIA 942 классифицирует 4 уровня (TIERs) ЦОД и называет ряд параметров, по которым можно провести эту классификацию. Для примера я решил проверить, является ли моя серверная, построенная вместе с заводом три года назад, настоящим дата-центром.

В качестве небольшого отступления укажу, что завод занимается изготовлением штампованных деталей для автомобильной промышленности. Мы выпускаем кузовные детали для таких компаний, как Ford и GM. Предприятие само по себе небольшое (общий штат порядка 150 человек), но с очень высоким уровнем автоматизации: число роботов сопоставимо с количеством рабочих в цехе. Основным отличием нашего производства можно назвать ритм работы Just-In-Time, то есть мы не можем себе позволить задержку, в том числе по вине ИТ-систем. ИТ являются критичными для бизнеса.

Серверная проектировалась для обеспечения нужд завода, предоставлять услуги сторонним компаниям не предполагалось, соответственно, и сертификации на соответствие каким-либо стандартам не требовалось. Однако, поскольку наш завод является членом крупного международного холдинга, проектирование и строительство шло с учетом внутрикорпоративных стандартов. А эти стандарты, по крайней мере частично, построены на базе международных.

Стандарт TIA 942 весьма обширен и детально описывает подходы к проектированию и построению ЦОД. Кроме того, в приложении к нему есть большая таблица с более чем двумястами параметрами на соответствие четырем уровням ЦОД. Естественно, рассматривать их все в контексте данной темы нецелесообразно, да и некоторые из них, например такие как «Раздельные парковки для посетителей и сотрудников», «Толщина бетонной плиты на уровне земли» и «Близость к аэропортам» имеют не очень прямое отношение к классификации ЦОДов и тем более отличию их от серверной. Поэтому рассматривать будем только самые важные, на мой взгляд, параметры.

Основные параметры классификации ЦОД

Стандарт устанавливает критерии двух категорий - обязательные и рекомендуемые. Обязательные обозначаются словом «должны» (shall), рекомендуемые - словами «следует», «могут», «желательно» (should, may, desirable).
Первый и самый важный критерий - уровень эксплуатационной готовности. Согласно TIA 942, ЦОД высшего - четвертого - уровня должен обладать 99,995% готовности (т.е. не более 15 мин простоя в год). Далее, по нисходящей, 99,982%, 99,749% и 99,671% для первого уровня, что соответствует уже 28 ч простоя в год. Критерии довольно жесткие, однако что из себя представляет эксплуатационная готовность ЦОД? Здесь считается только простой всего ЦОД по вине одной из систем жизнеобеспечения, и простой отдельных серверов на эксплуатационную готовность ЦОД не влияет. А раз так, то самой вероятной причиной отказа справедливо считать перебои в системе энергоснабжения.

В нашей серверной установлен мощный ИБП APC с резервированием N+1 и дополнительным шкафом батарей, который способен поддерживать работоспособность не только серверов, но и всех компьютеров на предприятии до 7 ч (а зачем нам работающие сервера, если к ним некому подключаться). За три года эксплуатации сбоев ни разу не было, так что по этому параметру мы можем претендовать на самый высокий TIER 4.

К слову об энергоснабжении, третий и четвертый классы ЦОД требуют второго энерговвода. У нас его нет, так что максимум - второй класс. Еще стандарт классифицирует потребление мощности на квадратный метр площади. Странный параметр, никогда об этом не задумывался. Померял: у меня 6 кВт на 20 м кв., то есть 300 Вт на квадратный метр (только первый уровень). Хотя возможно, что я неправильно считаю: в стандарте указано, что хороший ЦОД должен иметь свободные площади для масштабирования. То есть получается, чем больше «запас масштабирования», тем ниже уровень ЦОДа, а должно быть наоборот. Здесь у нас самая низкая оценка, но все же стандарту отвечаем.

Для меня важный параметр - узел подводки внешних телекоммуникационных систем. Мы осуществляем онлайн-взаимодействие с клиентами по приему заказов и отгрузке комплектующих, соответственно отсутствие связи может привести к остановке конвейера наших клиентов. А это не только негативно скажется на нашей репутации, но и приведет с серьезным штрафам. Интересно, что в самом стандарте говорится о дублировании точек ввода связи, а в приложении об этом ничего нет (хотя указано, что в уровнях выше первого все подсистемы должны резервироваться). Мы используем два канала подключения с автоматической маршрутизацией в случае отказа в одном из них, плюс резервный GPRS-роутер с ручным подключением. Тут мы опять соответствуем самым высоким требованиям.

Значительная часть стандарта посвящена кабельным сетям и системам. Это пункты распределения главной и вертикальных подсистем общей кабельной системы ЦОД и инфраструктура кабельной разводки. Прочитав несколько частей этого раздела, я понял, что его надо либо выучить наизусть, либо смириться и сконцентрироваться на более важных вещах. Хотя на поверхностный взгляд (категория 6 витой пары, отделение активной аппаратуры от пассивной) мы все же соответствуем стандарту. Хотя я не уверен в таких параметрах, как расстояние между шкафами, углы изгибов лотков и корректность разнесения трасс для слаботочных кабелей, оптики и силовых. Будем считать, что здесь мы требованиям отвечаем частично.

Системы кондиционирования: есть кондиционеры, есть резервирование, можно сказать, что есть даже холодный и горячий коридор (правда, один, в силу размеров комнаты.) Но охлаждение распределяется не под фальш-полом, как рекомендуется, а непосредственно в рабочей зоне. Ну и влажность мы не контролируем, а согласно стандарту - это упущение. Ставим частичное соответствие.

Отдельная часть посвящена фальш-полам. Стандарт регламентирует и высоту, и нагрузку на них. Причем, чем выше класс датацентра, тем выше и мощнее должны быть фальш-полы. У нас они есть, и по высоте и нагрузкам соответствуют второму классу ЦОД. Но мое мнение, что наличие фальш-полов не должно быть критерием, а тем более характеристикой ЦОДа. Я был в датацентре компании «ВестКолл», где от фальш-полов они изначально отказались, разместив все лотки под потолком. Кондиционирование сделано с холодными и горячими коридорами. Здание отдельностоящее, помещение большое, предоставляют специфические услуги. То есть хороший, «настоящий» ЦОД, а получается, что без фальш-полов формально стандарту не соответствует.
Следующий важный момент - система безопасности. Большие дата-центры охраняются почти как сейфовые ячейки в банке, и попасть туда - целая процедура, начиная от согласования на разных уровнях и заканчивая переодеванием и бахилами. У нас с этим попроще, но все присутствует: физическую охрану обеспечивает ЧОП, который охраняет и сам завод, а система контроля доступа гарантирует, что в помещение попадают только авторизованные сотрудники. Ставим плюсик.

Ну и, наконец, система газового пожаротушения. Основной и резервный баллоны, датчики в самом помещении, под полом и над потолком и система управления - все есть. Кстати, интересный момент. Когда компании хотят похвастаться своим дата-центром, в первую очередь показывают систему пожаротушения. Наверное, оттого, что это самый необычный элемент дата-центра, не встречающийся практически нигде, кроме ЦОДов, а остальное оборудование просто выглядит как шкафы разного цвета и размера.

Главное, на мой взгляд, отличие двух верхних уровней ЦОД от более низших - то, что они должны располагаться в отдельном здании. Казалось бы, в этом и есть сакральный смысл отличия серверной от ЦОД: если выделено в отдельное здание, то это ЦОД. Но нет, стандарт говорит, что первые два уровня - тоже ЦОДы.

Нашел я таки параметр, по которому моя серверная на ЦОД не тянет: размер входной двери. По стандарту должно быть минимум 1,0×2,13 м, а лучше 1,2×2,13 м. А у нас дверь обыкновенная: 0,9×2,0 м. Это минус, но считать критерием отличия ЦОДа от серверной размер входной двери - это несерьезно.

Почти настоящий ЦОД!

Итак, что у нас получилось? Маленькая серверная на заводе соответствует практически всем требованиям стандарта по организации ЦОД, пусть с небольшими оговорками. Единственное серьезное несоответствие - размер входной двери. Отсутствие отдельного здания под серверную не оставляет никаких шансов на высшие места. Значит, предположение о том, что ЦОД обязательно большой, а серверная, наоборот, всегда маленькая, неверно. Равно как и второе предположение, что ЦОД обслуживает множество компаний-клиентов. Из всего следует что серверная - всего лишь синоним центра обработки данных.

Понятие ЦОД появилось тогда, когда начали продавать услуги хостинга, аренды стоек и размещения серверов. В то время понятие серверной было девальвировано халатным отношением к инфраструктуре вследствие неприхотливости ПК и невысокой цены простоев. И, дабы показать, что у провайдера все выстроено для удобной и безотказной работы, и они способны гарантировать качество услуги, ввели понятие ЦОД, а затем и стандарты их построения. Учитывая тенденции централизации, глобализации и виртуализации, думаю, что понятие серверной скоро исчезнет или превратится в обозначение телекоммуникационного узла.

Полагаю, примерно на то же рассчитывает наш Президент с законом о полиции. Понятие «милиция» девальвировалось, и создавать новые правила для них уже поздно. Получится ли выстроить грамотные стандарты для новой структуры - посмотрим в недалеком будущем.