Реферат: Кластерные системы

Московский Государственный Инженерно-ФизическийИнститут

(Технический Университет)

<img src="/cache/referats/8070/image001.gif" v:shapes="_x0000_s1060">
кафедра 29 «УправляющиеИнтеллектуальные Системы»

Реферат на тему:

Кластерные системы

Выполнил:

студент группы К9-292

Попов И.А

МОСКВА2001

Оглавление:

1. Введение

2. Основныеклассы современных параллельных компьютеров

3. Кластерная архитектурапараллельных компьютеров

4. Цели создания кластерныхсистем

5. Отказоустойчивые кластеры

6. Высокопроизводительные кластеры

7. Проект Beowulf

8. Заключение

9. Литература

ВведениеРазвитие многопроцессорных вычислительных систем

Развитие традиционных архитектурпостроения вычислительных систем, таких как SMP, MPP, векторных параллельныхсистем идет достаточнобыстрыми темпами. Повышается производительность, растет надежность иотказоустойчивость. Однако у этих архитектур есть один недостаток -стоимость создаваемых систем,подчас недоступная для многих пользователей таких систем - образовательных и научно-исследовательскихорганизаций. Она оказывает очень высокой из-за усложнения аппаратных ипрограммных составляющих системы, которые требуются для обеспечения такихтемпов роста производиельности. Однакопотребность в вычислительных ресурсах в настоящее время очень высока во многихсферах научной и практической деятельности и для ее обеспечения не хватаетресурсов традиционных суперкомпьютерных систем.

Кластерные системы возникли какболее дешевое решение проблемы недостатка вычислительных ресурсов, иосновываются на использовании в своей архитектуре широко распространенных иотносительно дешевых технологий,аппаратных и программных средств, таких как PC, Ethernet, Linux и т.д. Использование массовыхтехнологии в кластерных системах стало возможным благодаря значительномупрогрессу в развитии компонентов обычных вычислительных систем, таких какцентральные процессоры, операционные системы, коммуникационные среды.

Так как кластерные системы архитектурноявляются развитием систем с массовым параллелизмом MPP, то главную роль в их развитии является прогрессв области сетевых технологий. Кнастоящему времени появились недорогие, но эффективные коммуникационныерешения. Это и предопределило быстрое появление и развитие кластерныхвычислительных систем.Такжепрогрессу развития кластерных систем способствовали и другие факторы.

Производительность персональныхкомпьютеров на базе процессоров Intel в последние годы также значительновыросла. Такие компьютеры стали создавать серьезную конкуренцию рабочимстанциям на базе более дорогих и мощных RISC процессоров.Одновременно стала приобретать все большую популярность ОС Linux — бесплатно распространяемая версия UNIX. При этом внаучных организациях и университетах, где и разрабатывается большинствокластерных систем, какправило, имеются специалисты по ОС Linux.

Высокую степень развития кластерных систем насегоднящний день показывает тот факт, что в списке самых мощныхсуперкомпьютеров мира Top500 – числится 11 кластерных установок.

Основные классы современных параллельных компьютеров

Кластерные системы являютсяразвитием параллельных систем. Чтобы проказать место кластерных систем средиостальных типов параллельных архитектур вычислительных систем нужно привести ихклассификацию. Параллельные системы могут быть класифицированы по различнымкритериям.

С аппаратной точки зрения,основным параметром классификации паралелльных компьютеров является наличиеобщей (SMP) или распределенной памяти (MPP). Нечтосреднее между SMP и MPP представляют собой NUMA-архитектуры,где память физически распределена, но логически общедоступна.

Симметричные мультипроцессорные системы

SMP система состоит из несколькиходнородных процессоров и массива общей памяти. Один из часто используемых в SMPархитектурах подходов для формирования масштабируемой, общедоступной системыпамяти, состоит в однородной организации доступа к памяти посредствоморганизации масштабируемого канала память-процессоры:

рис.1

Каждая операция доступа к памятиинтерпретируется как транзакция по шине процессоры-память. Когерентность кэшейподдерживается аппаратными средствами.

В SMP каждый процессор имеет покрайней мере одну собственную кэш-память (а возможно, и несколько).

Можно сказать, что SMP система - это один компьютер снесколькими равноправными процессорами. Все остальное — в одном экземпляре:одна память, одна подсистема ввода/вывода, одна операционная система. Слово«равноправный»означает, что каждый процессор может делать все, что любой другой. Каждыйпроцессор имеет доступ ко всей памяти, может выполнять любую операциюввода/вывода, прерывать другие процессоры и т.д.

Недостатком данной архитектурыявляется необходимость организации канала процессоры-память с очень высокойпропускной способностью.

Массивно-параллельные системы

Массивно-параллельная системаMPP состоит из однородных вычислительных узлов, включающих в себя:

один или несколько центральных процессоров (обычно RISC) локальную память (прямой доступ к памяти других узлов невозможен) коммуникационный процессор или сетевой адаптер жесткие диски и/или другие устройства В/В

К системе могут быть добавленыспециальные узлы ввода-вывода и управляющие узлы. Узлы связаны через некоторуюкоммуникационную среду (высокоскоростная сеть, коммутатор и т.п.)

Системы с неоднородным доступом к памяти NUMA

NUMA (nonuniform memory access) вотличие от привычной SMP архитектуры с разделяемой памятью представляет собойнесколько отдельных процессоров, каждый из которых, кроме собственного кэша,обладает также локальной памятью:

рис.2

В подобной архитектуре процессори модули памяти тесно интегрированы, следовательно, скорость доступа клокальной памяти гораздо выше, чем к памяти “соседнего” процессора. Подсистемыввода-вывода могут быть частью каждого узла или консолидированы на выделенныхузлах ввода-вывода. Если во всей системе поддерживается когерентность кэшей, тотакую архитектуру называют cc-NUMA.

Проще всего охарактеризоватьNUMA-систему, представив себе большую систему SMP, разделенную на несколькочастей, эти части связаны коммуникационной магистралью, подключенной ксистемным шинам, и каждая часть включает собственную основную память иподсистему ввода/вывода. Это и есть NUMA: большая SMP, разбитая на набор болеемелких и простых SMP. Основной проблемой NUMA является обеспечениекогерентности кэшей. Аппаратура позволяет работать со всеми отдельнымиустройствами основной памяти составных частей системы (называемых обычноузлами) как с единой гигантской памятью.

Кластерная архитектура

Рассмотрим место кластернойархитектуры вычислительных систем в данной классификации.

Кластер — это связанный наборполноценных компьютеров, используемый в качестве единого ресурса. Под понятием«полноценный компьютер» понимается завершенная компьютерная система,обладающая всем, что требуется для ее функционирования, включая процессоры,память, подсистему ввода/вывода, а также операционную систему, подсистемы,приложения и т.д. Обычно для этого годятся персональные компьютеры илипараллельные системы, которые могут обладать архитектурой SMP и даже NUMA.Кластеры являются слабосвязанными системами, связи узлов используется одна из стандартных сетевых технологий(Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора.Поэтому они являются более дешевой в построении модификацией MPP архитектуры.

Кластерная архитектурапараллельных компьютеровОбщие принципы

Как уже было сказано раньшевычислительный кластер — это совокупность компьютеров, объединенных в рамкахнекоторой сети для решения одной задачи (рис.3), котораядля пользователя представляется в качестве единого ресурса. Такую концепциюкластера впервые предложила и реализовала в начале 80-х корпорация DigitalEquipment, которая и по сей день развивает эту технологию

Понятие «единый ресурс»означает наличие программного обеспечения, дающего возможность пользователям,администраторам и прикладным программам считать, что имеется только однасущность, с которой они работают — кластер. Например, система пакетнойобработки кластера позволяет послать задание на обработку кластеру, а некакому-нибудь отдельному компьютеру. Более сложным примером являются системыбаз данных. Практически у всех производителей систем баз данных имеются версии,работающие в параллельном режиме на нескольких машинах кластера. В результатеприложения, использующие базу данных, не должны заботиться о том, гдевыполняется их работа. СУБД отвечает за синхронизацию параллельно выполняемыхдействий и поддержание целостности базы данных.

Компьютеры, образующие кластер, —так называемые узлы кластера — всегда относительно независимы, что допускаетостановку или выключение любого из них для проведения профилактических работили установки дополнительного оборудования без нарушения работоспособностивсего кластера.

рис.3

В качестве вычислительных узлов вкластере обычно используются однопроцессорные персональные компьютеры, двух-или четырехпроцессорные SMP-серверы. Каждый узел работает под управлением своейкопии операционной системы, в качестве которой чаще всего используютсястандартные операционные системы: Linux, NT, Solaris и т.п. Состав и мощностьузлов может меняться даже в рамках одного кластера, давая возможность создаватьнеоднородные системы. Выбор конкретной коммуникационной среды определяетсямногими факторами: особенностями класса решаемых задач, необходимостьюпоследующего расширения кластера и т.п. Возможно включение в конфигурациюспециализированных компьютеров, например, файл-сервера, и, как правило,предоставлена возможность удаленного доступа на кластер через Internet.

Из определения архитектуры кластерных системследует, что она включает в себя очень широкий спектр систем.Рассматривая крайние точки, кластером можно считать как пару ПК, связанныхлокальной 10-мегабитной сетью Ethernet, так и вычислительную систему,создаваемую в рамках проекта Cplant в Национальной лаборатории Sandia: 1400рабочих станций на базе процессоров Alpha, связанных высокоскоростной сетьюMyrinet.

Таким образом видно, чторазличных вариантов построения кластеров очень много. При этом в архитектуре кластера большое значениеимеют используемые коммуникационные технологии и стандарты. Они во многомопределяют круг задач, для решения которых можно использовать кластеры,построенные на основе этих технологий.

Коммуникационные технологии построения кластеров

Кластеры могут стоится как наоснове специализированных высокоскоростных шин передачи данных, так и на основемассовых сетевых технологий. Среди массовых коммуникационных стандартов сейчасчаще всего используется сеть Ethernet или более ее производительный вариант — Fast Ethernet, как правило, на базе коммутаторов. Однако большие накладныерасходы на передачу сообщений в рамках Fast Ethernet приводят к серьезнымограничениям на спектр задач, которые можно эффективно решать на таком кластере.Если от кластера требуется большая производительность и универсальность, тонеобходимо применять более скоростные и специализированные технологии. К нимотносятся SCI, Myrinet, cLAN, ServerNet и др. Сравнительная характеристикапараметров этих технологий приведена в
таблице 1.

SCI

Myrinet

CLAN

ServerNet

Fast Ethernet

Латентность (MPI)

5,6 мкс

17 мкс

30 мкс

13 мкс

170 мкс

Пропускная способность(MPI)

80 Мбайт/c

40 Мбайт/c

100Мбайт/c

180 Мбайт/c

10 Мбайт/c

Пропускная способность (аппаратная)

400 Мбайт/c

160 Мбайт/c

150 Мбайт/c

н/д

12,5 Мбайт/c

Реализация MPI

ScaMPI

HPVM, MPICH-GM и др.

MPI/Pro

MVICH

MPICH

Таблица 1.

Производительностькоммуникационных сетей в кластерных системах определяется несколькими числовымихарактеристиками. Основных характеристик две: латентность – время начальнойзадержки при посылке сообщений и пропускная способность сети, определяющаяскорость передачи информации по каналам связи. При этом важны не столькопиковые характеристики, заявленные в стандарте, сколько реальные, достигаемыена уровне пользовательских приложений, например, на уровне MPI-приложений. Вчастности, после вызова пользователем функции посылки сообщения Send()сообщение последовательно пройдет через целый набор слоев, определяемыхособенностями организации программного обеспечения и аппаратуры, прежде, чемпокинуть процессор – поэтому существует существенный разбром по стандартамзначений латентности. Наличие латентности приводит к тому, что максимальнаяскорость передачи по сети не может быть достигнута на сообщениях с небольшойдлиной.

Скорость передачи данных по сетив рамках технологий Fast Ethernet и Scalable Coherent Interface (SCI) зависитот длины сообщения. Для Fast Ethernet характерна большая величина латентности –160-180 мкс, в то время как латентность для SCI это величина около 5,6 мкс.Максимальная скорость передачи для этих же технологий 10 Мбайт/c и 80 Мбайт/ссоответственно.

Цели создания кластерных систем

Разработчики архитектуркластерных систем приследовали различные цели при их создании. Первой была фирма DigitalEquipment с кластерами VAX/VMS.Целью создания этой машины было повышение надежности работы системы,обеспечение высокой готовности и отказоустойчивости системы. В настоящее времясуществует множество аналогичных по архитектуре систем от другихпроизводителей.

Другой целью создания кластерных систем является создание дешевыхвысокопроизводительных параллельных вычислительных систем. Один из первыхпроектов, давший имя целому классу параллельных систем – кластер Beowulf [2] –возник в центре NASA Goddard Space Flight Center для поддержки необходимымивычислительными ресурсами проекта Earth and Space Sciences. Проект Beowulfначался летом 1994 года, и вскоре был собран 16-процессорный кластер напроцессорах Intel 486DX4/100 МГц. На каждом узле было установлено по 16 Мбайтоперативной памяти и по 3 сетевых Ethernet-адаптера. Эта система оказаласьочень удачной по отношению цена/производительность, поэтому такуюархитектуру стали развивать и широкоиспользовать в других научных организациях и институтах.

Для каждого класса кластеровхарактерны свои особенности архитекуры и применяемые аппаратные средства.Рассмотрим их более подробно.

Отказоустойчивые кластерыПринципы построения

Для обеспечения надежности и отказоустойчивостивычислительных систем применяется множество различных аппаратурных ипрограммных решений. Например, в системе может дублироваться все подверженныеотказам элементы — источники питания, процессоры, оперативная и внешняя память.Такие отказоустойчивые системы срезервированием компонентов применяются для решения задач, в которыхнедостаточно надежности обычных вычислительных систем, оцениваемой в настоящиймомент вероятностью безотказной работы 99%. В таких задачах требуетсявероятность 99,999% и выше. Такую надежность можно достичь применяя отличные отприведенного выше методы повышения отказоустойчивости. В зависимости отуровня готовности вычислительной системы к использованию выделяют четыре типанадежности:

PRIVATEУровень готовности, %

Мaкс. время простоя

Тип системы

99,0

3,5 дня в год

Обычная (Conventional)

99,9

8,5 часов в год

Высокая надежность (High Availability)

99,99

1 час в год

Отказоустойчивая (Fault Resilient)

99,999

5 минут в год

Безотказная (Fault Tolerant)

Таблица 2.

В отличие от отказоустойчивыхсистем с избыточными компонентами, а также различных вариантовмногопроцессорности, кластеры объединяют относительно независимые друг от другамашины, каждую из которых можно остановить для профилактики илиреконфигурирования, не нарушая при этом работоспособности кластера в целом.Высокая производительность кластера и сведение к минимуму времени простоевприложений достигается благодаря тому, что:

в случае сбоя ПО на одном из узлов приложение продолжает функционировать или автоматически перезапускается на других узлах кластера; выход из строя одного из узлов (или нескольких) не приведет к краху всей кластерной системы; профилактические и ремонтные работы, реконфигурацию или смену версий программного обеспечения, как правило, можно осуществлять в узлах кластера поочередно, не прерывая работы других узлов.

Неотъемлемой частью кластераявляется специальное программное обеспечение, которое, собственно, и решаетпроблему восстановления узла в случае сбоя, а также решает другие задачи.Кластерное ПО обычно имеет несколько заранее заданных сценариев восстановленияработоспособности системы, а также может предоставлять администраторувозможности настройки таких сценариев. Восстановление после сбоев можетподдерживаться как для узла в целом, так и для отдельных его компонентов —приложений, дисковых томов и т.д. Эта функция автоматически инициируется вслучае системного сбоя, а также может быть запущена администратором, если ему,например, необходимо отключить один из узлов для реконфигурации.

Кластеры могут иметь разделяемуюпамять на внешних дисках, как правило, на дисковом массиве RAID. Дисковыймассив RAID — это серверная подсистема ввода- вывода для хранения данныхбольшого объема. В массивах RAID значительное число дисков относительно малойемкости используется для хранения крупных объемов данных, а также дляобеспечения более высокой надежности и избыточности. Подобный массиввоспринимается компьютером как единое логическое устройство.

Восстановление после сбоев можетподдерживаться как для узла в целом, так и для отдельных его компонентов —приложений, дисковых томов и т.д. Эта функция автоматически инициируется вслучае системного сбоя, а также может быть запущена администратором, если ему,например, необходимо отключить один из узлов для реконфигурации.

Узлы кластера контролируютработоспособность друг друга и обмениваются специфической «кластерной»информацией, например, о конфигурации кластера, а также передавать данные междуразделяемыми накопителями и координировать их использование. Контроль работоспособностиосуществляется с помощью специального сигнала, который узлы кластера передаютдруг другу, для того чтобы подтвердить свое нормальное функционирование.Прекращение подачи сигналов с одного из узлов сигнализирует кластерномупрограммному обеспечению о произошедшем сбое и необходимости перераспределитьнагрузку на оставшиеся узлы. В качестве примера рассмотрим отказоустойчивыйкластер VAX/VMS.

Кластера VAX/VMS

Компания DEC первой анонсировалаконцепцию кластерной системы в 1983 году, определив ее как группу объединенныхмежду собой вычислительных машин, представляющих собой единый узел обработкиинформации. По существу VAX-кластер представляет собой слабосвязаннуюмногомашинную систему с общей внешней памятью, обеспечивающую единый механизм управленияи администрирования.

VAX-кластер обладает следующимисвойствами:

Разделение ресурсов. Компьютеры VAX в кластере могут разделятьдоступ к общим ленточным и дисковым накопителям. Все компьютеры VAX в кластеремогут обращаться к отдельным файлам данных как к локальным.

Высокая готовность. Если происходит отказ одного изVAX-компьютеров, задания его пользователей автоматически могут быть перенесенына другой компьютер кластера. Если в системе имеется несколько контроллеров HSCи один из них отказывает, другие контроллеры HSC автоматически подхватывают егоработу.

Высокая пропускная способность. Ряд прикладных систем могутпользоваться возможностью параллельного выполнения заданий на несколькихкомпьютерах кластера.

Удобство обслуживания системы. Общие базы данных могутобслуживаться с единственного места. Прикладные программы могутинсталлироваться только однажды на общих дисках кластера и разделяться междувсеми компьютерами кластера.

Расширяемость. Увеличение вычислительной мощности кластера достигаетсяподключением к нему дополнительных VAX-компьютеров. Дополнительные накопителина магнитных дисках и магнитных лентах становятся доступными для всехкомпьютеров, входящих в кластер.

Работа VAX-кластера определяетсядвумя главными компонентами. Первым компонентом является высокоскоростноймеханизм связи, а вторым — системное программное обеспечение, котороеобеспечивает клиентам прозрачный доступ к системному сервису. Физически связивнутри кластера реализуются с помощью трех различных шинных технологий сразличными характеристиками производительности.

Основные методы связи вVAX-кластере представлены на рис. 4.

Рис. 4 VAX/VMS-кластер

Шина связи компьютеров CI(Computer Interconnect) работает со скоростью 70 Мбит/с и используется длясоединения компьютеров VAX и контроллеров HSC с помощью коммутатора StarCoupler. Каждая связь CI имеет двойные избыточные линии, две для передачи и дведля приема, используя базовую технологию CSMA, которая для устранения коллизийиспользует специфические для данного узла задержки. Максимальная длина связи CIсоставляет 45 метров. Звездообразный коммутатор Star Coupler может поддерживатьподключение до 32 шин CI, каждая из которых предназначена для подсоединениякомпьютера VAX или контроллера HSC. Контроллер HSC представляет собойинтеллектуальное устройство, которое управляет работой дисковых и ленточныхнакопителей.

Компьютеры VAX могут объединятьсяв кластер также посредством локальной сети

Ethernet, используя NI — NetworkInterconnect (так называемые локальные VAX-кластеры), однако производительностьтаких систем сравнительно низкая из-за необходимости делить пропускнуюспособность сети Ethernet между компьютерами кластера и другими клиентами сети.

Также кластера могут стоиться наоснове шины DSSI (Digital Storage System Interconnect). На шине DSSI могутобъединяться до четырех компьютеров VAX нижнего и среднего класса. Каждыйкомпьютер может поддерживать несколько адаптеров DSSI. Отдельная шина DSSI работаетсо скоростью 4 Мбайт/с (32 Мбит/с) и допускает подсоединение до 8 устройств.Поддерживаются следующие типы устройств: системный адаптер DSSI, дисковыйконтроллер серии RF и ленточный контроллер серии TF. DSSI ограничиваетрасстояние между узлами в кластере 25 метрами.

Системное программное обеспечение VAX-кластеров

Для гарантии правильноговзаимодействия процессоров друг с другом при обращениях к общим ресурсам,таким, например, как диски, компания DEC использует распределенный менеджерблокировок DLM (Distributed Lock Manager). Очень важной функцией DLM являетсяобеспечение когерентного состояния дисковых кэшей для операций ввода/выводаоперационной системы и прикладных программ. Например, в приложениях реляционныхСУБД DLM несет ответственность за поддержание согласованного состояния междубуферами базы данных на различных компьютерах кластера.

Задача поддержания когерентностикэш-памяти ввода/вывода между процессорами в кластере подобна задачеподдержания когерентности кэш-памяти в сильно связанной многопроцессорнойсистеме, построенной на базе некоторой шины. Блоки данных могут одновременнопоявляться в нескольких кэшах и если один процессор модифицирует одну из этихкопий, другие существующие копии не отражают уже текущее состояние блокаданных. Концепция захвата блока (владения блоком) является одним из способовуправления такими ситуациями. Прежде чем блок может быть модифицирован должнобыть обеспечено владение блоком.

Работа с DLM связана созначительными накладными расходами. Накладные расходы в среде VAX/VMS могутбыть большими, требующими передачи до шести сообщений по шине CI для однойоперации ввода/вывода. Накладные расходы могут достигать величины 20% длякаждого процессора в кластере.

ВысокопроизводительныекластерыПринципы построения

Архитектура высокопроизводительных кластеровпоявилась как развитие принципов построения систем MPP на менее производительных и массовыхкомпонентах, управляемых операционной ситемой общего назначения. Кластеры такжекак и MPP системы состоят из слабосвязанных узлов, которые могут быть какоднородными, так и, в отличие от MPP, различными или гетерогенными. Особоевнимание при проектировании высокопроизводительной кластерной архутектурыуделяется обеспечению высокой эффективности коммуникационной шины, связывающейузлы кластера. Так как в кластерах нередко применяются массовые относительнонизкопроизводительные шины, то приходится принимать ряд мер по исключению ихнизкой пропускной способности на производительность кластеров и организациюэффективного распараллеливания в кластере. Так например пропускная способность одной из самыхвысокоскоростных технологий Fast Ethernet на порядки ниже, чем у межсоединенийв современных суперкомпьютерах МРР-архитектуры.

Для решения проблем низкой производительности сети применяютнесколько методов:

-

кластерразделяется на несколько сегментов, в пределах которых узлы соединенывысокопроизводительной шиной типа Myrinet, а связь между узлами разных сегментов осуществляется низкопроизводительными сетями типаEthernet/Fast Ethernet. Это позволяет вместе с сокращением расходов накоммуникационную среду существенно повысить производительность таких кластеровпри решении задач с интенсивным обменом данными между процессами.

-

,IPX). Такой метод часто используют в ситемахкласса Beowulf.

Основным качеством, которым должен обладатьвысокопроизводительный кластер являтся горизонтальная масштабируемость, так какодним из главных преимуществ, которые предоставляет кластерная архитектураявляется возможность наращивать мощность существующей системы за счет простогодобавления новых узлов в систему. Причем увеличение мощности происходитпрактически пропорционально мощности добавленных ресурсов и может производитьсябез остановки системы во время ее функционирования. В системах с другойархитектурой (в частности MPP) обычно возможна только вертикальнаямасштабируемость: добавление памяти, увеличение числа процессоров вмногопроцессорных системах или добавление новых адаптеров или дисков. Онопозволяет временно улучшить производительность системы. Однако в системе будетустановлено максимальное поддерживаемое количество памяти, процессоров илидисков, системные ресурсы будут исчерпаны, и для увеличеия производительности придется создавать новую систему илисущественно перерабатывать старую. Кластерная система также допускаетвертикальную масштабируемость. Таким образом, за счет вертикального игоризонтального масштабирования кластерная модель обеспечивает большую гибкостьи простоту увеличения производительности систем.

Проект Beowulf

Beowulf — этоскандинавский эпос, повествующий о событиях VII — первой трети VIII века,участником которых является одноименный герой, прославивший себя в сражениях.

Одним из примеров реализациикластерной системы такой структуры являются кластеры Beowulf. Проект Beowulfобъединил около полутора десятков организаций (главным образом университетов) вСоединенных Штатах. Ведущие разработчики проекта — специалисты агентства NASA.В данном виде кластеров можно выделить следующие основные особенности:

-

Также

История проекта Beowulf

Проект начался летом 1994года в научно-космическом центре NASA — Goddard Space Flight Center (GSFC),точнее в созданном на его основе CESDIS(Center of Excellence in Space Data and Information Sciences).

Первый Beowulf-кластер был созданна основе компьютеров Intel архитектуры под ОС Linux. Это была система,состоящая из 16 узлов (на процессорах 486DX4/100MHz, 16MB памяти и 3 сетевыхадаптера на каждом узле, 3 «параллельных» Ethernet-кабеля по 10Mbit).Он создавался как вычислительный ресурс проекта "Earth and Space SciencesProject" (ESS).

Далее в GSFC и другихподразделениях NASA были собраны другие, более мощные кластеры. Например,кластер theHIVE (Highly-parallel Integrated Virtual Environment)содержит 64 узла по 2 процессора Pentium Pro/200MHz и 4GB памяти в каждом, 5коммутаторов Fast Ethernet. Общая стоимость этогокластера составляет примерно $210 тыс. В рамках проекта Beowulf был разработанряд высокопроизводительных и специализированных сетевых драйверов(в частности, драйвер для использования нескольких Ethernet-каналоводновременно).

Архитектура Beowulf

Узлы кластера.

Это или однопроцессорные ПК, илиSMP-сервера с небольшим числом процессоров (2-4, возможно до 6). По некоторымпричинам оптимальным считается построение кластеров на базе двухпроцессорных систем, несмотря на то, что в этом случае настройка кластера будетнесколько сложнее (главным образом потому, что доcтупны относительно недорогиематеринские платы для 2 процессоров Pentium II/III). Стоит установить на каждый узел64-128MB оперативной памяти (для двухпроцессорных систем 64-256MB).

Одну из машин следует выделить вкачестве центральной (головной) куда следует установитьдостаточно большой жесткий диск, возможно более мощный процессор и большепамяти, чем на остальные (рабочие) узлы. Имеет смысл обеспечить (защищенную)связь этой машины с внешним миром.

При комплектации рабочих узлов вполне возможноотказаться от жестких дисков — эти узлы будут загружать ОС через сеть сцентральной машины, что, кроме экономии средств, позволяет сконфигурировать ОСи все необходимое ПО только 1 раз (на центральной машине). Если эти узлы небудут одновременно использоваться в качестве пользовательских рабочих мест, нетнеобходимости устанавливать на них видеокарты и мониторы. Возможна установкаузлов в стойки (rackmounting), что позволит уменьшить место, занимаемое узлами,но будет стоить несколько дороже.

Возможна организация кластеров набазе уже существующих сетей рабочих станций, т.е. рабочие станции пользователеймогут использоваться в качестве узлов кластера ночью и в выходные дни. Системытакого типа иногда называют COW (Cluster of Workstations).

Количество узлов следует выбирать исходя из необходимыхвычислительных ресурсов и доступных финансовых средств. Следует понимать, чтопри большом числе узлов придется также устанавливать более сложное и дорогоесетевое оборудование.

Сеть

Основные типы локальных сетей,задействованные в рамках проекта Beowulf, — это Gigabit Ethernet, Fast Ethernetи 100-VG AnyLAN. В простейшем случае используется один сегмент Ethernet(10Mbit/sec на витой паре). Однако дешевизна такой сети, вследствие коллизий оборачиваетсябольшими накладными расходами на межпроцессорные обмены; а хорошуюпроизводительность такого кластера следует ожидать только на з

еще рефераты

Еще работы по компьютерам и переферийным устройствам

Реферат по компьютерам и переферийным устройствам

Информационные технологии

29 Августа 2013

Реферат по компьютерам и переферийным устройствам

Внешние устройства персонального компьютера

29 Августа 2013

Реферат по компьютерам и переферийным устройствам

Flash-память

29 Августа 2013

Реферат по компьютерам и переферийным устройствам

Архитектура персонального компьютера

29 Августа 2013