Сборка файлового сервера ничем не отличается от обычного компьютера - точно так же поступают энтузиасты, которые сами собирают свои системы, а не покупают собранные системные блоки в магазине.

Установленный модуль Cooler Master Stacker 4-in-3. Прекрасное устройство, если вы не меняете свои жёсткие диски часто.

Конечно, при сборке файлового сервера придётся принять немало решений. Среди самых важных: какой объём данных вы планируете хранить, какая избыточность вам потребуется, а также сколько жёстких дисков вы планируете использовать. Если вы планируете хранить большие объёмы информации, то мы рекомендуем минимизировать цену одного гигабайта вместо покупки самых ёмких доступных жёстких дисков. Сегодня минимальная стоимость гигабайта наблюдается у жёстких дисков ёмкостью 1,5 Тбайт. Лично мне нравятся массивы RAID 5, поскольку они могут выдержать выход из строя одного жёсткого диска. Если вы планируете использовать больше восьми или десяти жёстких дисков, то лучше собрать несколько массивов RAID 5 на четырёх или пяти винчестерах каждый, либо использовать массивы RAID 6, чтобы защититься от сбоя более одного жёсткого диска.

Корпус

Штатно жёсткие диски устанавливаются в корпус в соответствующие крепления. Обратите внимание на 120-мм нагнетательный вентилятор, обдувающий жёсткие диски. Не менее важно, чтобы передняя панель корпуса пропускала достаточное количество холодного воздуха. Нажмите на картинку для увеличения.

Вам потребуется достаточно крупный корпус, чтобы вместить все ваши жёсткие диски. Впрочем, если вы уже купили слишком маленький корпус, никто не мешает позднее перенести систему в более крупную модель.

Корпус должен обеспечивать достаточное охлаждение жёстких дисков. В принципе, сегодня можно купить разнообразные модели корпусов, удовлетворяющие этому условию. Для первого файлового сервера я взял простой корпус. Он использовал 120-мм вентилятор для охлаждения жёстких дисков спереди, а также предусматривал 120-мм вытяжной вентилятор сзади. К нему я добавил модуль "Cooler Master 4-in-3" с отдельным 120-мм вентилятором для охлаждения жёстких дисков. Этот модуль прекрасно подходит для установки дополнительных винчестеров. Разве что для смены одного жёсткого диска приходится извлекать весь модуль целиком.

Для второго файлового сервера я выбрал две оснастки Supermicro SATA с "горячей" заменой, каждая из которых способна вместить пять жёстких дисков. Они стоят намного дороже модуля Cooler Master, но и предоставляют больше функций. Оснастки Supermicro использовали очень громкий 92-мм вентилятор (который я замедлил с помощью контроллера вентиляторов), поднимали тревогу, если вентилятор остановится или температура поднимется слишком сильно, а также отображали доступ к каждому жёсткому диску. Но, что удобнее всего, оснастка позволяла менять жёсткие диски, не открывая сам корпус, а если операционная система поддерживала "горячую" замену, то и без выключения компьютера.

Сетевой интерфейс

Материнская плата Asus CUR-DLS, два Pentium III 933 и 1,1 Гбайт памяти ECC. Нажмите на картинку для увеличения.

Для файлового сервера не помешает гигабитный сетевой интерфейс Gigabit Ethernet, который ускорит сетевые операции. Не помешает и поддержка jumbo-кадров, если ваш Ethernet-коммутатор и сетевой адаптер буду с ними работать (большинство новых устройств их поддерживают).

Изначально протокол Ethernet предусматривал максимальный размер кадра 1500 байт. Этого было достаточно, когда скорость сети составляла 10 Мбит/с. Когда была представлена гигабитная скорость вместе со стандартом Gigabit Ethernet, служебная информация, связанная с пакетами небольшого размера, стала весьма существенной. Поэтому индустрия де-факто согласилась поддерживать пакеты большего размера - был выбран размер 9000 байт. То есть вы можете передавать такое же количество данных, что и с пакетами стандартного размера, но число пакетов будет в шесть раз меньше, то же самое касается и объёма служебной информации.

На практике вы можете экономить вычислительные ресурсы CPU и повышать пропускную способность с помощью таких jumbo-кадров, если производительность сети является ограничивающим фактором при передаче файлов. Если же ваш коммутатор не поддерживает jumbo-кадры, то пакеты проходить не будут, поэтому данную функцию придётся отключить.

С другой стороны, вы можете купить 8-портовыый коммутатор примерно за $40. Большинство современных материнских плат оснащены поддержкой Gigabit Ethernet "на борту", но если ваша материнская плата не поддерживает гигабитную сеть, то лучше купить сетевую карту PCI-X или PCI Express (PCIe) вместо 32-битной карты PCI. У нас имеется весьма успешный опыт работы с сетевыми картами PCI-X от Intel и Broadcom.

Блок питания

Интерьер корпуса. Конечно, он выглядит не так красиво с четырьмя кабелями PATA, семью жёсткими дисками, приводом DVD и проводами питания. Нажмите на картинку для увеличения.

Внутренние компоненты должны достаточно хорошо охлаждаться. Чем меньше тепла будет создаваться внутри, тем меньше придётся выбрасывать наружу. Поэтому лучше взять экономичные жёсткие диски, которые потребляют меньше энергии, чем стандартные модели. То же самое касается и процессоров - экономичные CPU могут снизить энергопотребление и тепловыделение системы. Мы рекомендуем взять оба варианта.

Кроме того, мы рекомендуем выбрать эффективный блок питания, соответствующий стандарту "80 PLUS". На рынке присутствуют блоки питания стандартов 80+ Bronze (82%) и 80+ Silver (85%) с разумной ценой. Кроме того, важно правильно подобрать мощность блока питания. Жёсткие диски потребляют больше всего энергии во время раскручивания пластин. Хороший контроллер жёстких дисков использует отложенный запуск пластин, чтобы минимизировать этот эффект. Впрочем, мы пока ещё не встречали контроллеры, интегрированные в чипсет, которые бы поддерживали эту функцию.

Оба моих сервера используют блоки питания с эффективностью выше 80%. Первый сервер построен на базе двух 933-МГц процессоров Pentium III, шести 250-Гбайт жёстких дисков и винчестера с операционной системой. Пиковое энергопотребление во время загрузки составляет 214 Вт, а энергопотребление при 100% нагрузке на CPU - 95 Вт. Второй сервер использует два 2,8-ГГц процессора Xeon с пониженным энергопотреблением и шесть 750-Гбайт жёстких дисков плюс винчестер с операционной системой. Пиковое энергопотребление во время загрузки составляет 315 Вт, во время бездействия - 164 Вт, а во время 100% нагрузки на CPU - 260 Вт.

Если у вас не установлено ещё шесть жёстких дисков в массиве или вы не используете очень горячий CPU, то вам не потребуется блок питания с заявленной мощностью выше 400 Вт. Конечно, блок питания должен давать достаточно энергии для различных линий напряжения, которые нужны компьютеру, но покупка модели на 750 Вт и выше станет пустой тратой денег. Да и работать такой блок питания будет менее эффективно, чем 400-Вт модель.

Память

Большинство энтузиастов не очень много времени уделяют надёжности работы памяти. Их больше интересуют тактовые частоты и задержки, которые в данном сценарии менее важны, чем надёжность. Когда данные поступают в файловый сервер или передаются на клиентские компьютеры, они сначала сохраняются в оперативной памяти. Да и данные на диске кэшируются тоже в памяти. Лучшие готовые файловые серверы используют память с коррекцией ошибок (error correcting code, ECC), а самые дешёвые построены на обычной памяти. На мой взгляд, вряд ли имеет смысл собирать высокопроизводительный файловый сервер, и при этом не использовать память ECC.

Карта контроллера Supermicro MV8, вставленная в слот PCI-X.

Память вряд ли можно считать источником постоянных ошибок, но время от времени случайные ошибки могут происходить. По оценкам IBM, у 1 Гбайт памяти случайная ошибка происходит раз в неделю. Причиной подобных ошибок являются альфа-частицы в упаковке памяти и космические лучи. Однако у памяти ECC существует дополнительный механизм, который определяет и исправляет ошибки памяти. Стандартная память ECC может определять все 2-битовые ошибки в 64 битах памяти и исправлять 1-битовые ошибки. Есть контроллеры ECC и более высокого класса, например, которые IBM предлагает с памятью Chipkill.

Ошибки в областях памяти, которые будут перезаписаны перед чтением, либо в неиспользуемых областях памяти проблем не вызывают. Но ошибка памяти, которая каким-либо образом скажется на обработке данных, это уже плохо. Серьёзные серверные материнские платы, например, модели от Tyan и Supermicro, способны фиксировать ошибки памяти в журнале. Менее дорогие материнские платы, такие как Asus CUR-DLS и Asus NCCH-DL в моих серверах, поддерживают память ECC, но не журналируют ошибки памяти.

Есть чипсеты, которые не поддерживают память ECC вообще, и материнские платы на этих чипсетах тоже не будут поддерживать память ECC. Мы рекомендуем использовать только материнские платы с поддержкой ECC и устанавливать в них память ECC. Если вас серьёзно беспокоят ошибки памяти, то лучше всего выбирать материнскую плату с поддержкой технологии IBM Chipkill, которая определяет и исправляет многие многобитовые ошибки и даже может продолжать работу, если один чип памяти даст сбой.

Шины

120-мм вытяжной вентилятор сзади за чёрной решёткой.

Большинство старых материнских плат поддерживают 32-битные слоты PCI, которые подключены к общей шине и совместно используют доступную пропускную способность. Если взглянуть на диаграмму чипсета этих материнских плат, то контроллер Ethernet, контроллеры IDE и SATA - все они подключены к шине PCI. Если сложить пропускную способность дисков и Ethernet, то мы упрёмся в теоретическое ограничение 133 Мбайт/с. Работать наша система, конечно, будет, но всё это приведёт к замедлению файлового сервера.

Существует большое количество старых серверных материнских плат, которые оснащены слотами PCI-X (не путать с PCI Express). Эти слоты более интересны, поскольку они используют шину, которая отделена от 32-битной шины PCI. Если вы установите контроллеры жёстких дисков в слоты PCI-X, то пропускной способности ввода/вывода ничего мешать не будет.

Мой первый файловый сервер использовал материнскую плату Asus CUR-DLS с 64-битными 33-МГц (266 Мбайт/с) слотами PCI-X. Второй файловый сервер был собран на материнской плате Asus NCCH-DL с 64-битными 66-МГц слотами PCI-X, которые поддерживают пропускную способность 533 Мбайт/с - быстрее, чем у шести моих накопителей SATA. Карта контроллера может работать с шиной до 133 МГц, что может дать пропускную способность до 1066 Мбайт/с на новых материнских платах.

Если ваша платформа поддерживает PCI Express, то слоты с количеством линий больше одной окажутся достаточными для домашнего файлового сервера, да и пропускная способность 266 Мбайт/с довольно хороша.

Есть ещё одно потенциальное "узкое место", которое нужно учитывать: соединение между южным и северным мостом на вашей материнской плате. Хотя Asus NCCH-DL оснащена 64-битными 66-МГц слотами PCI-X, связь между мостами осуществляется со скоростью всего 266 Мбайт/с. В теории это должно ограничивать пропускную способность ввода/вывода. К счастью, на практике проблемы с этим возникают редко, да и новые чипсеты обычно поддерживают более высокие скорости интерфейса между мостами.
Контроллер

Оснастки для жёстких дисков Supermicro. Им требуется всего два подключения питания. Я добавил контроллер вентилятора к каждой оснастке, чтобы замедлять скорость вращения.

Многие современные материнские платы оснащаются шестью портами SATA 3 Гбит/с. У старых моделей может быть меньше портов, да и они могут использовать менее скоростной стандарт SATA 1,5 Гбит/с. Так что высока вероятность, что вам придётся докупать в систему карту контроллера.

На рынке можно найти разнообразные карты контроллеров с разными интерфейсами. Что касается новых систем, то наиболее популярны карты с интерфейсом PCI Express. Данный интерфейс обеспечивает значительную пропускную способность, а старый интерфейс PCI-X даёт достаточную пропускную способность для старых систем. Для менее дорогих систем можно использовать 32-битную шину PCI, хотя она будет ограничивать производительность.

Существуют обычные карты-контроллеры накопителей (host bus adapters) и RAID-контроллеры. Если использовать терминологию Linux, то карты RAID можно разделить на две группы: FakeRAID и настоящий RAID. Если карта выполняет вычисления информации избыточности XOR самостоятельно, то её можно считать настоящим RAID-контроллером. Иначе она будет использовать CPU для этих вычислений и программные драйверы.

Наш новый сервер использует карту Supermicro SAT2-MV8 с восемью портами SATA 3 Гбит/с. Это контроллер с интерфейсом PCI-X, который может работать с частотой до 133 МГц. Карта весьма приятная, с хорошей программной поддержкой. Мы выбрали её по той причине, что наша материнская плата не имеет портов SATA 3 Гбит/с, но оснащена слотами PCI-X.

Мы также приобрели простую карту-контроллер HBA Rosewill с четырьмя портами SATA 1,5 Гбит/с. Она использует 32-битный интерфейс PCI, хотя может работать с интерфейсом на 33 и 66 МГц. Карта поддерживает конфигурации JBOD, которые и требуются для программного RAID. Наша плата Asus NCCH-DL оснащена контроллером Promise PDC20319, то есть ещё одним простым HBA, однако он не поддерживает JBOD, поэтому был бесполезен в данном случае.

Мы использовали две PCI-карты Promise PATA. Они распложены на выделенной шине, к которой не подключены другие устройства.

Неплохо также проверить поддержку под Linux вашего контроллера (если вы планируете устанавливать эту систему на ваш файловый сервер). Для этого следует узнать модель контроллера накопителей на карте и проверить поддержку его под Linux. Конечно, если производитель карты предоставляет драйвер под Linux, то вам повезло.
Жёсткие диски

Asus NCCH-DL. Два процессора Xeon (SL7HU) с пониженным энергопотреблением работают на 2,6 ГГц.

Для файлового сервера вам вряд ли потребуется суперскоростной CPU. Но неплохой идеей можно считать установку более одного процессора. Один CPU будет нагружен расчётом информации избыточности (необходима для RAID 5), а если же вы выбрали RAID 6, то процессору придётся выполнять ещё больше расчётов, на что потребуется больше ресурсов CPU.

Наш первый файловый сервер использовал два 933-МГц процессора Pentium III. Мы наблюдали 100% загрузку CPU во время перестройки массива RAID, поэтому мы рекомендуем более быстрые процессоры. Второй файловый сервер использовал два 2,8-ГГц процессора Xeon с поддержкой Hyper-Threading, при этом мы так ни разу и не видели, чтобы оба ядра получали 100% загрузку CPU.

2-ГГц двуядерного процессора AMD, скорее всего, будет достаточно. Конечно, новые процессоры работают более эффективно, поэтому если у вас есть под рукой более современная платформа, то вы сможете сэкономить энергию и получить вместе с тем лучшую производительность.

Если бы я покупал новый процессор для файлового сервера сегодня, то наверняка выбрал бы медленный и дешёвый AMD Phenom II. Причина кроется в том, что сам процессор стоит дёшево, материнские платы под него тоже стоят весьма разумно, процессор работает без сильного нагрева, а чипсеты материнских плат, как правило, поддерживают память ECC и Chipkill.

Мой новый файловый сервер на основе Cooler Master Stacker. Спереди можно заметить две оснастки Supermicro SATA c "горячей" заменой, в каждую из которых можно установить до пяти жёстких дисков.

UPS

Независимо от выбранного "железа", вам следует использовать UPS, чтобы система была защищена от сбоев электросети. Можно купить дешёвый UPS, но качественный блок бесперебойного питания окупит себя в долгосрочной перспективе. Как минимум, UPS должен позволить вам выключить файловый сервер стандартным образом до окончания заряда UPS, что требует три-пять минут автономной работы. Ещё приятно и то, что у большинства UPS присутствует защита от перенапряжения в сети.

Цены

Конечно, разброс цен довольно существенный, и в итоге затраты на файловый сервер зависят от требуемого объёма для хранения данных, а также от "железа", которое лежит у вас без дела. Ниже приведена смета типичного файлового сервера энтузиаста.

Корпус: $150 за модель, схожую с моим Cooler Master Stacker 810. При выборе учитывайте возможность установки большого количества жёстких дисков.
Блок питания: $50 за 350-Вт модель с сертификацией 80 PLUS.
Жёсткие диски: шесть 1-Тбайт винчестеров, примерно $80 каждый.
Жёсткий диск для операционной системы: бесплатный, если под рукой есть 10-Гбайт накопитель.
DVD-привод: $20.
Материнская плата: $100 за б/у материнскую плату для установки двух процессоров Opteron с 2-4 Гбайт памяти ECC, если у вас под рукой нет ненужного "железа". Можно начать с материнской платы для двух процессоров Pentium III, которую можно найти за копейки. За новую материнскую плату с гарантией будьте готовы отдать больше $150.
Память: $50.
CPU: $100.
Контроллер SATA: $100.
Итоговая цена составляет около $420-$620 плюс $540 за жёсткие диски. За эти деньги вы получите файловый сервер с 5-Тбайт массивом RAID 5, который можно легко расширить до восьми или большего количества жёстких дисков. Если вы собираете сервер самостоятельно, то наверняка сможете использовать различные старые комплектующие. В результате вы получите сервер дешевле, чем большинство моделей NAS, которые могут вмещать четыре или пять жёстких дисков, ваша система будет работать быстрее, и будет обеспечивать намного лучшую гибкость.
Программное обеспечение

Интерьер нового файлового сервера.

Итак, файловый сервер собран. Для тестов мы рекомендуем использовать Knoppix Linux - систему, которая загружается с CD или DVD. Вы сможете проверить, распознает ли ОС Linux всё ваше "железо". Что касается Windows, то под эту систему практически всегда есть драйверы от производителя, которые достаточно хорошо протестированы. Вместе с тем под Linux предлагают драйверы далеко не все производители, поэтому зачастую приходится использовать драйверы, написанные энтузиастами Linux.

Конечно, более опытные производители предоставляют драйверы под Linux. Например, все беспроводные контроллеры Intel 802.11x снабжаются драйверами напрямую от Intel. Мы рекомендуем брать "железо" тех производителей, кто занимается поддержкой своего оборудования под Linux.

Старое "железо", которому исполнилось несколько лет, практически всегда имеет хорошую поддержку со стороны сообщества Linux. Если в драйверах были обнаружены какие-либо ошибки, то велика вероятность, что они исправлены.

Кроме того, вполне возможно, что самые свежие дистрибутивы Linux будут поддерживать ваше "железо", а чуть более старый дистрибутив Knoppix - не будет. Такая ситуация часто случается с самым новым "железом". В общем, запишите на диск самый свежий дистрибутив Knoppix, укажите в BIOS загрузку с CD, после чего ваш компьютер запустит Knoppix.

Ещё одной полезной возможностью будет загрузочный тест memtest86+. Обычно я запускаю его в течение суток, чтобы убедиться в стабильной работе системы и отсутствии ошибок памяти. Нет никакого смысла устанавливать ОС и программное обеспечение, если система работает нестабильно.
Операционная система

Задняя часть корпуса со 120-мм вытяжным вентилятором.

Существует несколько вариантов выбора операционных систем, которые поддерживают программные массивы RAID, например, ОС Microsoft Windows Server с поддержкой RAID 5. Можно даже настроить Windows XP для поддержки RAID 5.

Впрочем, мы не рекомендуем Windows по нескольким причинам. Первая: эта система стоит дорого. Цены на Windows Server 2008 начинаются примерно с уровня $999. Ещё одна причина заключается в том, что Windows не даёт таких современных опций по поддержке RAID, как другие операционные системы. Наконец, Windows (по мнению автора) менее безопасная и надёжная ОС, что немаловажно для файловых серверов.

Существует несколько способов оценки надёжности и безопасности, при этом вы можете найти немало отчётов, некоторые из которых финансируются самими производителями. Например, хороший отчёт опубликован на The Register. Хотя он и датирован 2004 годом, основные моменты остаются верными и сегодня. Для 40 лидирующих уязвимостей рейтинг опасности системы Microsoft составил 54,67, а Red Hat Linux - 17,96. Если вы планируете использовать ОС Windows для файлового сервера, то сначала ознакомьтесь с отчётом.

Затем можно выбрать одну из доступных версией BSD: OpenBSD, FreeBSD и другие. Они бесплатные, при этом отличаются разумной надёжностью и безопасностью. Но самым главным недостатком является то, что эти ОС не такие современные, как Linux в отношении поддержки RAID.

ОС OpenSolaris тоже бесплатная, при этом она надёжная и безопасная. Но аппаратная поддержка у этой ОС весьма ограничена. С другой стороны, здесь вы получите ZFS - на сегодня это наиболее продуманная, надёжная и стабильная файловая система. Кроме того, она включает поддержку RAID 5 и RAID 6. Данная ОС не такая популярная, как Linux, но если вы с ней знакомы, то выбор для файлового сервера окажется весьма достойным.

Наконец, есть Linux, которая тоже бесплатная, надёжная и безопасная. У этой ОС замечательная поддержка "железа", присутствует поддержка массивов RAID 5, RAID 6, RAID 10 и практически любых других видов RAID. Linux развивается довольно быстро, новое "железо" практически сразу получает поддержку, да и новые программные функции добавляются регулярно. Когда вы обновляете систему Linux, вам даже не требуется её перегружать, поэтому системы Linux могут непрерывно работать многие месяцы или даже годы.

Существует множество разных дистрибутивов Linux. Некоторые, подобные Red Hat, обеспечивают лучшую долгосрочную поддержку по сравнению с другими дистрибутивами. Другие, подобные Fedora (тоже распространяется Red Hat), нацелены на быструю интеграцию в дистрибутив новых программ. Основное преимущество Ubuntu заключается в дружественности к пользователю, поэтому данный дистрибутив наиболее популярен. Вы можете подробнее ознакомиться с десятью самыми популярными дистрибутивами.

Мы же выбрали Mandriva Linux, поскольку раз в два года выходят новые релизы, поддержка длится несколько лет, да и все необходимые функции в этом дистрибутиве присутствуют. Впрочем, подойдёт любой приличный дистрибутив Linux. Дополнительную документацию можно получить здесь. По ссылке вы найдёте очень хорошую инструкцию по Mandriva, с которой мы рекомендуем ознакомиться перед установкой Linux впервые.