2010年9月24日金曜日

CUDA用HPC 事例1

明日は休みでしたが出勤します。
昨日も休みでしたが出勤しました。
今週月曜は出勤でしたがお休みをいただきました。
なんかもう、休みだとか休みじゃないだとかで一喜一憂するのにも飽きましたね。

やるこたやります、えぇ。


というわけで、通常業務が今日やっとこひと段落しましたので、こちらもボチボチうpしていかなければですね。
サボってたわけじゃありませんが、こういうのは一度休んでしまうとサボり癖がついてしまいますからねー。
サボり始めると、「休んでも別に何も言われないし…」→「明日からやろう」→「そのうち時間ができたらやろう」→「いつかきっとやるさ」という流れになるのが余と人の常。

いつかって今さ!




【要望】


OS:Red Hat Enterprise Linux 5.4

CPU:Intel Xeon X5670 x2
メモリ:48GB(8GBモジュール x6枚)
HDD:Seagate Cheetah NS.2 10K ST3600002SS x2 (RAID 1)

GPU:NVIDIA Tesla C2050 x2(うち1つはディスプレイ出力)
Drive:24倍速 S-ATA スーパーマルチDVDドライブ
3.5インチ フロッピードライブ

OS、GPU開発ツールのインストールおよび動作確認のサポート


【弊社が提案したPCの構成】

OSRed Hat Enterprise Linux 5.4 Desktop
(Workstation with Multi OS Option) 支給品
チップセットIntel i5520+ICH10R Proprietary LGA1366
CPUIntel Xeon X5670 2.93GHz(TB 3.33GHz)/12MB
QPI=6.4GT/s 6C/12T 95W x2(計12C/24T)
メモリ合計48GB DDR3-1333 PC3-10600
ECC Registered 8GB x6
HDDSeagate Cheetah NS.2 10K
600GB SAS 10000rpm 3.5"
ST3600002SS x2(RAID 1:600GB)
FDDUSB内蔵FDドライブ
光学ドライブDVDスーパーマルチドライブ
ビデオnVidia Tesla C2050 3GB PCI-E x2
RAIDAdaptec ASR-2405 内部4ポート
SAS/SATA RAID PCI-E(x8) (RAID 1)
ネットワーク10/100/1000Base-T x1
外部I/FUSB 2.0 x7 / PS/2 x2
内部I/FPCI-E Gen2(x16) x4 / PCI-E Gen2.0(x4) x2 /
PCI-E(x4) x1 / PCI x2
筐体ミドルタワー 1400W
外形寸法幅178x高さ452x奥行673(mm)
その他
備考パーティションはAnacondaの自動
科学技術関連パッケージのインストール
CUDA関連は3.1をインストール



本日納品したPCですw
ツッコミどころが多々ありますので、順を追ってご紹介させていただきましょう。


まず、今回の事例に関しましては、ご要望にある通り、ほとんどのパーツをお客様ご指定の製品で構成いたしました。
※【弊社が提案したPCの構成】にはメーカー名や型番が書いてあったりなかったりしますが、今回の事例に関しましては、お客様ご指定のパーツを使用しております。

お客様のご所望する製品が著しく弊社の推奨から外れる場合や、サポートしきれない場合を除き、お客様からパーツレベルでご指定いただいてPCの設計をすることも多々ございます。
実際には、もっといろいろとご要望やお問い合わせをいただいており、何度かのやり取りをさせていただいております。


CPUファンに関しては、静音特性が高い製品を採用してほしいとのことでしたので、通常TDP130Wの製品で使用しているCPUヒートシンクに、ファンを打ち替えて、放熱処理と静音性を兼ね備えた仕様に変更いたしました。


メモリは当初4GB 12枚構成のお話もありましたが、8GBモジュールの価格が下がってきたこともあり(それでも4GBモジュール2枚分以上の価格はしますが)、8GB 6枚構成に変更いたしました。
新型Xeon 5600シリーズ(Westmere-EP)は、1CPU当たり6枚までDDR3-1333のスピードをサポートしますので、当初6枚でしたら、あとからメモリを追加しても速度が落ちずに済みますからね。
※Xeon 5500シリーズ(Nehalem-EP)は、1CPUあたり3枚までしかDDR3-1333のスピードをサポートしません。
 それ以上搭載すると、1066→800と、枚数次第で速度が落ちます。


HDDは当初デスクトップ用のS-ATA HDDでしたが、RAID 1構成がご要望にありましたので、例によってHBA(オンボード)は避けて、RAIDカードをご案内しました。
特に、HBAとRed HatとnVidiaビデオカードの組み合わせは鬼門です;
以前この組み合わせで、OSインストール時にはRAIDとして認識していても、インストールが完了したOS上では個別のHDDとして認識しているという現象を確認したためです。

それに、ASR-2405ならRed Hat Enterprise Linux 5で追加ドライバを用意する必要ありませんでしね。
そして、せっかくRAIDカードを搭載するなら、とSAS HDDに変更する流れになりました。

Seagate Cheetah NS.2 10K ST3600002SSも現行品ですが、現在はCheetah 15K.7 ST3600057SSもございます。
同じ6Gb/s SASで、ST3600057SSのほうが回転数が15000rpmと速いのですが、RAID 1構成であることと、そもそもASR-2405は6Gb/sをサポートしていない関係から、15000rpm製品にしてもその恩恵はほとんどありません。
長時間連続稼働させるということもあり、消費電力の点も考慮してニアラインストレージであるCheetah NS.2 10Kが選択肢としてベストだと思います。


ビデオはnVidia Teslaを2基搭載とのことで、かなり本格的なCUDA開発環境が構築されます。
CUDAをやるだけならTeslaでなくとも良いのですが、GeForceはゲーム向け、QuadroはOpenGLに特化したCADワークステーション向けと、それぞれ向き不向きがあるわけで、「それ以外のこともできるけど、専門分野ではない」ということですね。

で、このTesla 2基とAdaptec ASR-2405に関しては、お客様よりそれぞれ搭載スロットの位置もご指定いただいております。
※放熱を考慮されてのご指定でしたが、ご指定がなかったとしても、弊社でも同様の処理をしておりました。

また、グラフィック出力に使用するTeslaのスロットをBIOSで設定するようご指定いただき、そのように設定しています。
加えて、今回のマザーボードにはオンボードグラフィックがありますが、ジャンパーピンにてオンボードグラフィックをDisableに設定しております(余計なリソースをカットするため)。


OSは支給品ということで、お客様お手持ちのライセンスをお借りして弊社にてインストール作業を代行させていただきました。
ただ、お客様お手持ちのライセンスがWorkstation with Multi OS Optionだったのですが、Multi OSライセンスでサポートされている仮想化に関しては、今回インストールしておりません。
というのも、仮想化のパッケージをインストールしますと、xen-kernelがインストールされるため、CUDA Driverのインストールに支障があるためです。
また、パーティションや追加パッケージはご指定の通りで、それに加えて開発ツール(gcc)や開発ライブラリをインストールし、これまたCUDA Driverのために、kernel-develをRPMでインストールしています。


CUDA関連に関しては、お話をいただいた当初は3.0がベータ版だったのですが、そのうち3.1が正式リリースされ、C2050をサポートするようになりましたので、CUDA DriverやCUDA Toolkitは3.1(64-bit)をインストールさせていただきました。
環境変数PATHとLD_LIBRARY_PATHを、それぞれ/etc/bashrcと/etc/ld.so.confに設定し、追加ユーザーでも正常にCUDAサンプルプログラムが動作することを確認しました。
今回Teslaは2基ありますが、分散処理の動作に関しては、プログラムに依存するため、今回弊社の初期セットアップのサポート対象外とさせていただいております。



…という感じで、さすがに100万円オーバーのPCは中々内容も濃いですねw
真面目なことしか書いてないのに、こんなにながくなるとは!
CUDA用PCは今までも導入しておりましたが、Teslaを使用したHPCは今回の事例が初めてです。
負荷分散、並列コンピューティングは今後も無視できない分野ですね。
とあるの世界がもうすぐそこまd(ry


気になる方は、是非是非コチラへ。


←これは、今回使用したシャーシのメーカー画像ですw

まぁ参考までにということで…一応、C2050が4本搭載できるようです。
さすがに熱対策とかが大変そうですが…。
←こちらはnVidia TESLA C2050ですね。

ビデオカードで並列処理!というのはもう大分聞きなれた話かもしれませんが、これはこれで画期的であり、新しいコンピューターの形であり、「ビデオカード」の枠に捉われない、nVidiaの一つの解答なんだと思います。
いろんなところでコケてますけどwww

0 件のコメント:

コメントを投稿