エンジニアとしてLLM周辺の諸々をいじってある程度は世間について行きたいと思いつつ、
内部がブラックボックスな上にコストも馬鹿にならないクラウドサービスを使うのは気が引けるし、
ゲーム用途でも使ってるメインPCにサービスを駐在させたくもないということでRaspberry Pi 5でOllama・OpenWebUI・Difyあたりを動かしている昨今。
流石に実用目的では性能は満足とは言い難いけれど、
gemmaあたりなんかは小さいモデルなら待ちさえすればそれなりに返答を返してくれるので、
LLMがどんなもんか味見する程度になら使えるかなーと思っている。
Web検索も交えてこの程度は回答してくれる。時間はかかるけど
で、ソフトウェア的なところに関してはUbuntuさえ入れてしまえば後は通常のサーバと何ら変わらないので述べることもないのだけど、
ハード面に関しては高負荷な動作になるだろうからと奮発して高級路線のケースを買ってみたので、
そのあたりについて書いてみようと思う。
買ってみたのは表題にもあるPironman5というケース。
１万円超とラズパイのケースとしてはなかなかのお値段である。
選定の理由
選定する上で重要視していたのは以下の点。
SSDを搭載できる(基盤を格納できる)こと
長期運用でホコリが溜まらないように大きな開口部がないこと(GPIOポートを使うことは想定してなくてあくまでサーバとして運用予定なので)
電源スイッチが良い感じのものがついていること(基盤側の電源ボタンめっちゃ押しにくいんですな)
サーバ的に運用したいのでこのあたりを条件として探してみると、意外と全部満たしそうなものって少ないんですな。
Amazon上で探した感じでは２～３種類ぐらいしか選択肢が無く、
負荷の高い作業をさせることを考慮すると冷却能力が高そうな大型のチップクーラーが載っているのが決め手となってPironman 5にした。
組み立てはそこそこ大変
単純に部品点数は多いし微妙なサイズ違いのビスも多いし、基盤側にも色々な接続がいるし・・・と、
サイズが小さいことも手伝って下手すると普通のデスクトップPCを組むよりも大変だったかもしれない。
組立中
途中に休憩も挟みつつだけど、２時間ぐらいかかった。
良かったところ
格好いい・・・！
ケースにファンが２つ＋大型のチップクーラーが付き、SSD基盤も離れた箇所に配置されているのでエアフローに安心感がある。
あと、CPUステータスなどがOLED画面に表示されるので、レスポンスが遅い際にも外見からちゃんと動いているのか変にフリーズしてしまっているのか状況を把握できる。
地味ながら嬉しかったのがmicro HDMI端子が変換基盤を通して普通のHDMIにしてくれてるところで、
たまに動作確認に画面をつなぐときに専用のケーブルを探さないで良くなった。
そんなわけで、そこそこ値も張るし作るにも苦労のいる製品だったんだけど、
個人的にはそれだけの価値があったなという気がしている。
追記というか脱線というか
Raspberry pi 5でLLMまわりを遊んでいて、これがもっと大きいモデルでそこそこの速度で動いてくれるなら実用的に便利に使える感触はあるなーなんて考えていたところ、Project DIGITSことDGX Sparkの報道を見かける。
流石に高い・・・しかしこれがあれば自由に遊べそう・・・みたいなことを考えていたところ、もう少し手頃なローカルLLM環境の選択肢としてEvo-X2の存在を知ったのだった。
CUDA使えないのは最新の色々を試したい身としては結構マイナス、でもコストはだいぶ抑えられるし最悪でもSparkと違って普通のゲーミングPCとして潰しが効くのは安心感ある・・・と葛藤し、Sparkは発売されてもそもそも手に入らないかもとか直近のNvidiaハードへの不信感とかを考えるとこれで手を打つのもアリかなと思ってポチってしまった。6月が楽しみだ。
更に追記
来た！動かした！！
blue1st.hateblo.jp
