prosdo.ru
добавить свой файл
1



Опыт создания кластера ИПФ РАН




М.С. Дрейбанд

ИПФ РАН, г.Нижний Новгород


Вычислительный кластер ИПФ РАН был приобретен в 2001 году для решения различных физических задач. Вычислительная система состоит из 5 серверов Compaq DS E20. В каждом сервере установлено по 2 процессора Alpha 21264/667 MHz с кэшем 8 Мб. Объем оперативной памяти на каждом узле кластера- 512 Мб. Электропитание обеспечивают 3 ИБП APC Smart-UPS 1400, что гарантирует бесперебойную работу вычислительного комплекса. Все оборудование смонтировано в 19" стойку. Оптимальный температурный режим обеспечивается системой климат-контроля. На каждом узле кластера установлены сетевые карты CNet 10/100, объединенные коммутатором NetGear. В качестве возможной операционной системы для кластера рассматривались: Microsoft Windows NT 4.0 (версия для процессоров Alpha), True 64 Unix и Linux с ядром 2.2.x (на момент приобретения кластера ядро 2.4 еще не вышло). Т.к. для вычислительных кластеров стандартом "the facto" стало использование операционных систем семейства Unix, то выбор оставался между True 64 Unix и Linux. Приобретение True 64 Unix сочли нецелесообразным, т.к. по различным тестам Linux показывает не намного более низкую производительность. Вот основные принципы, реализованные при установке программного обеспечения на вычислительный кластер:

  • Единообразие операционных систем. На всех машинах изначально устанавливалась RedHat Linux 6.2 (ядро 2.2.14). Т.к. в этой версии есть проблемы с поддержкой используемых сетевых карт (например, сетевые карты периодически переключаются в режим half duplex), то сейчас ведется замена операционной системы на RedHat Linux 7.1 (ядро 2.5.1).

  • Единая база аутентификации достигается использованием системы NIS (одна из машин выполняет роль сервера NIS).
  • Прозрачный доступ пользователей к домашним каталогам. Домашние каталоги пользователей хранятся на одном компьютере и "раздаются" через NFS. Доступ к файлам из интернета осуществляется по протоколу ftp.


  • Использование наиболее популярных и доступных пакетов распараллеливания. В качестве такого пакета был выбран пакет LAM, разработанный в Ohio Supercomputer Center.

  • Максимальное повышение скорости обмена данными по сети. Достигается использованием rsh с разрешением беспарольного входа в систему. Высокая пропускная способность достигается за счет того, что rsh не вносит дополнительных накладных расходов, связанных с шифрованием данных.

  • Наличие библиотек, содержащих необходимые математические функции. В настоящее время установлены бесплатные версии компиляторов C и Fortran фирмы Compaq (от полной версии отличаются отсутствием поддержки OpenMP и некоторых других возможностей). В комплекте с компилятором поставляется набор математических библиотек- CPML (Compaq Portable Math Library- набор основных математических функций, оптимизированных для процессоров Alpha) и CXML (Compaq Extended Math Library- функции для решения задач линейной алгебры, обработки сигналов и др).

В настоящее время проводится тестирование двухпортовых сетевых адаптеров Fast Ethernet фирмы Intel (планируется использовать технологию channel bonding для ускорения сетевого обмена) и сетевых адаптеров Gigabit Ethernet.