ローカルLLMの構築をしております。

構築のためにchatGPT君に聞いていろいろとやってみて結果とりあえず動くようにはなりました。

構成としては以下のマシンを仮想基盤(Hyper-Vにしてみました。
CPU : Xeon E5-2680v4 x2
Memory:72GB

仮想マシンとしての割り当ては
CPU : 32core
Memory : 48GB
としておいたのですがかなり遅い。

GPU　がないとだめそうです。。。

手に入れないとだめだなぁ。

とりあえず余っているGPUの発掘予定です。