|
Кластеры, Win 2008 HPC.
|
| AVP |
Опубликовано 16-12-2009 00:28
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
Продолжение темы про создание кластера, начало в соседней ветке - "Повышаем производительность компьютера"
Windows Server 2008 HPC Edition - новая операционная система предназначенная специально для создания кластеров (суперкомпьютеров), создана в конкуренцию к линуксу. В Тор500 уже есть один суперкомп на ее основе.
Идея построить свой кластер родилась давно, как только начал впервые играть на плейкоме, эх веселые времена. АМД ХР 2800+, 512 оперативы, Win XP 32, Shredder8.
Уже тогда зарубежные игроки использовали двух процессорные компы, которые пересчитывали топовый на тот момент 2800+, а чего стоила Hydra на 32 процессорах?? Кстати где она :-))? В общем проблема производительности компа стояла остро уже тогда.
В то время основной системой для создания кластеров была linux, вся информация которая была доступна касалась только его. И до недавнего времени идея витала только в мыслях.
Выпуск Win 2008 HPC думаю принесет кластеры в массы...
Установка кластера из двух узлов, да и более, дело не сложное, это как установить винду в первый раз, заняла буквально 2 вечера.
Все дистрибутивы качаются с сайта микрософта: 1. образ Windows Server 2008 HPC Edition 2. образ Microsoft HPC Pack 2008
Очень хорошая инструкция по установке и настройке имеется по адресу: http://vc.ulstu.r...t-hpc.html
Касаемо оборудования которое требуется:
1. компьютеры 2 или более (один узел головной - на нем сосредоточено управление кластером и всеми его узлами, расчетные узлы - рабочие лошадки)
2. средства комуникации (сеть, лучше 2 сетевых интерфейса, бюджетный вариант Gigabit, если дело пойдет можно и Myrinet :-)))
3. переключатель KVM (клавиатура, мышь, монитор) - без него дело встанет или потребуется пара клавиатур, мышек. - одним словом лучше с ним.
Далее следуем инструкции шаг за шагом.
Изменил(а) kosmodrom, 18-12-2009 10:45 |
| |
|
|
| AVP |
Опубликовано 16-12-2009 00:35
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
У меня система состоит из:
1. 2xXeon E5530@2.4GHz. 8Gb DDR3 ECC 8500 - головной узел
2. Quad 9450@2.67GHz. 4Gb DDR2 10500 - расчетный узел
3. Сеть 1 Гбит
Касаемо проблемы запуска рыбы на кластере - она загружает только головной узел, как будто бы не видя еще 4 свободных ядра :-)).
В общем нужена консультация или мозговой штурм... |
| |
|
|
| Lends |
Опубликовано 16-12-2009 09:41
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
А там действительно, не надо ли использовать "кластер rybka", кто то мне говорил, что у Васика есть специальная рыбка для кластера. На сколько мне опять же говорили, он давно построил свой супер кластер и играет этой версией.
У меня сейчас как раз два компьютера (i5, Q9450) имеется, не знаю, попробовать что ли тоже замутить.....Там надо на обоих ставить win 2008 ?, или только на главном узле ....и как обстоят дела с win 7 Enterprise - она не умеет делаь это ...?
Изменил(а) kosmodrom, 16-05-2010 15:55 |
| |
|
|
| AVP |
Опубликовано 16-12-2009 09:46
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
На обоих компах должна быть win2008HPC, разделение на управляющий и расчетный узлы происходит при установке Microsoft HPC Pack 2008.
Насчет 7 Enterprise не вкурсе. |
| |
|
|
| Lends |
Опубликовано 18-12-2009 10:36
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
Отпишись потом - удалось ли тебе решить проблему ...
|
| |
|
|
| Lends |
Опубликовано 20-12-2009 13:37
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
Кстати - ты пробовал другие движки или нет ?
Deep Fritz, Deep Unior распаралеливаются на все ядра ?
Бенчмаки многоядерные видят все ядра в кластере ?
Тогда ты сможешь точно узнать - настроил ты не правельно или рыбка не хочет ... |
| |
|
|
| Lends |
Опубликовано 21-12-2009 11:30
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
А не сдесь решение проблемы ? ...
http://www.winhpc...
С:\mpiexec.exe ChessProgram11.exe
Или типо того ...
Изменил(а) Lends, 21-12-2009 11:31 |
| |
|
|
| AVP |
Опубликовано 22-12-2009 23:44
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
Lends написал:
А не сдесь решение проблемы ? ...
http://www.winhpc...
С:\mpiexec.exe ChessProgram11.exe
Или типо того ...
mpiexec.exe Chessprogram11.exe - запустит оболочку на всех узлах кластера - это совсем не то...
запуск командой mpiexec.exe rybka3.exe - запустит процесс rybka3 на всех узлах, зато возникает вопрос как передавать и получать ответы от rybka3? запуском других движков не занимался, предполагаю что будет аналогично рыбке.
У меня есть предположение, что если в командную строку загрузки движка из оболочки F11 вписать команду "mpiexec.exe rybka3.exe" - то думаю может что ни будь и получится. В инете очень мало инфы по данному вопросу, все приходится опытным путем проходить.
Сегодня звонил в майкрософт, отшили самым простым способом - поддержкой сторонних продуктов мы не занимаемся :-)))).
Есть еще пара знакомых контор которые занимаются программированием, спрошу у них.
Изменил(а) AVP, 22-12-2009 23:59 |
| |
|
|
| Lends |
Опубликовано 24-12-2009 08:52
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
Замутил я тоже себе кластер, не сказал бы что все так просто там …
Дока хорошая по ссылке от AVP но мне многие моменты пришлось додумывать самому, в частности правильная настройка сети без которой не развернешь потом ноду нормально.
Еще я ставил на два стареньких IDE (чтобы w7 не трогать), с ними тоже была свистопляска – нода не ставится если не указан четко «Мастер» перемычкой, а вот головному узлу это по барабану.
Надо упомянуть, что сет.карты должны уметь грузится по сети, и я обошелся без KVM свича – Radmin'ом пользовался, но правдо KVM нужен…
Чипсеты P55, X48 – но проблем для Server 2008 HPC (который по сути является той же W7)
В общем кластер работает, нода подсоединена – но сразу обратил внимание на головном узле все те же 4 ядра, я думаю так он и будет показывать просто он по идее должен обращаться с остальным 4ем ядрам если прога об этом знает …
Надо изучать этот момент – инфы действительно мало.
Но блин интересная штука …)))
|
| |
|
|
| AVP |
Опубликовано 24-12-2009 22:46
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
Весь кластер отображается в консоли управления, там видны и параметры компов и все остальное...
Поюзал я форум Васика, новости не очень. Рыбка не поддерживает такое распараллеливание остается либо идти на поклон к Васику что бы выслал спец версию, либо обратить внимание на пакет PVM - которая объединяет все компьютеры в один (по крайней мере так написано в описании), в отличии от Win HPC в которой задание узлам необходимо давать персонально. Пока у меня такие мысли.
Кстати когда настроена сеть, KVM впринципе уже не нужен, можно через удаленный рабочий стол работать. |
| |
|
|
| Lends |
Опубликовано 24-12-2009 22:55
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
Да новости не очень, но я не пожалел потраченого времени на Win HPC очень много интересного узнал, может пригодится в администрировании...на будущее
По подробнее надо узнать про PVM....
А сам Васик на чем кластер держит ?...WinHPC и спец рыбка ?, если так то Юра может попробовать попросить ее для нас- хотя мне в это мало верится...что Васик согласится ...
Изменил(а) Lends, 24-12-2009 22:57 |
| |
|
|
| AVP |
Опубликовано 24-12-2009 23:21
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
Судя по скриншотам и них на виндовсе система собрана.... 72 ядра. Спросить конечно можно, но я верю что все получится :-).
Буду еще экспериментировать с Win HPC, в наш век такие знания пригодятся по любому. |
| |
|
|
| Lends |
Опубликовано 25-12-2009 00:28
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
PVM работает на Linux..., что в принципе не плохо...Unix очень хорошо использует сет. интерфейсы и ресурсы системы.
Можно пробовать на любом линуксе- например знакомый мне Ubuntu...для него есть дистр PVM.
Ставится все предельно просто, добавляется нода тоже просто, потом запускается некий процесс pvm "process" и он по идее выполняется на всех нодах. На линуксе как раз не надо ставить оболочку фриц, он там просто не работает - а надо запускать именно экзешник рыбки через "адаптер" и подцеплять его в оболочку которая стоит на ноуте с виндой. по такому принципу запускают рыбку на линуксе. Я такое уже делал...работает. но вот будет ли движок распаралеливатся на все ноды это вопрос - точно известно что специально компилируют проги для этого ....но попробовать можно.
Это то что я нарыл пока ....вообще само то, что только движок запускается на линукс внушает оптимизм - потому как оболочка точно не может никуда распаралелится, а так мы конкретно даем команду pvm движку...ИМХО
Изменил(а) Lends, 25-12-2009 00:39 |
| |
|
|
| AVP |
Опубликовано 30-12-2009 04:40
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
Lends, успехи с PVM есть? У меня остался один компьютер, поэкспериментировать в ближайшее время не смогу . |
| |
|
|
| Lends |
Опубликовано 31-12-2009 06:47
|
Мастер ФИДЕ
Сообщений: 349
Зарегистрирован: 06.10.08
|
Я пока не ставил линукс на две тачки, нет времени ...
Почитав по больше - думаю что вряд ли получится, там надо чтобы программа была написано специальным образом, или хотябы откомпилирована с поддержкой PVM, а для этого нужны исходники. Склоняюсь к версии, что у Васика есть специальная рыбка для кластера.
Но надо пробовать....это уже после НГ.
Изменил(а) Lends, 31-12-2009 06:48 |
| |
|
|
| ARTUR 72 |
Опубликовано 17-01-2010 15:13
|
4 разряд
Сообщений: 17
Зарегистрирован: 12.01.10
|
скажите пожалуйста если у меня есть 10 компьютеров Microsoft Windows XP Version 2002 Service Pack 2 то я могу собрать на этих кластер и будет ползу от этого во время игры ! буду благодарен за ответ! |
| |
|
|
| kosmodrom |
Опубликовано 17-01-2010 15:33
|
Администратор
Сообщений: 8371
Зарегистрирован: 05.10.08
|
Artur72, чем покупать 10 компьютеров, проще собрать 16-ядерный сервер. Под ХР ты не соберёшь, нужно устанавливать Win 2008 HPC, ты читал тему? |
| |
|
|
| Slash |
Опубликовано 17-01-2010 16:36
|
СУПЕРАДМИНИСТРАТОР
Сообщений: 117
Зарегистрирован: 05.10.08
|
Я слышал, что у Васика специальная кластерная версия Рыбы, так что, с обычной Рыбой у вас этот номер не прокатит...
А вообще, идея интересная. Но я сомневаюсь, что Васик даст Юре кластерную версию Рыбы. |
| |
|
|
| AVP |
Опубликовано 18-01-2010 00:21
|
1 разряд
Сообщений: 176
Зарегистрирован: 25.10.09
|
Васик собирается сдавать в аренду кластерную Рыбу 4с эло 3500! и будет монопольно её использовать. |
| |
|
|
| Slash |
Опубликовано 18-01-2010 01:34
|
СУПЕРАДМИНИСТРАТОР
Сообщений: 117
Зарегистрирован: 05.10.08
|
Ага, знаем, и цены на эту кластерную версию Рыбы будут просто космические.
Впрочем, я полагаю, движки, имена которых все мы прекрасно знаем, но называть не могём, к тому времени уже без всяких кластеров, на обычном 4-х ядернике примерно в такую же силу играть будут. |
| |
|
