GPUの購入

少し前に秋葉原へ行ってきました。

で買ってきたものはGeForce 3060 12GBモデルの中古品。

これを買ってきた目的はローカルLLMを稼働させるため。

12GBメモリで4万義理は安かったのでつい、ね・・・。

サーバ構築し直し中なのでうまくいけばいろいろと行けそうです

LLMの構築も・・・

ローカルLLMの構築をしております。

構築のためにchatGPT君に聞いていろいろとやってみて結果とりあえず動くようにはなりました。

構成としては以下のマシンを仮想基盤(Hyper-Vにしてみました。
CPU : Xeon E5-2680v4 x2
Memory:72GB

仮想マシンとしての割り当ては
CPU : 32core
Memory : 48GB
としておいたのですがかなり遅い。

GPU がないとだめそうです。。。

手に入れないとだめだなぁ。

とりあえず余っているGPUの発掘予定です。