ローカルLLM構築を進めていますがなかなか進まないです。
問題ばかり発生。
知識がないのが一番のネックなのでChatGPTに聞きながら作っています。
いったいいつ完成するのだろうか・・・?
ローカルLLM構築を進めていますがなかなか進まないです。
問題ばかり発生。
知識がないのが一番のネックなのでChatGPTに聞きながら作っています。
いったいいつ完成するのだろうか・・・?
少し前に秋葉原へ行ってきました。
で買ってきたものはGeForce 3060 12GBモデルの中古品。
これを買ってきた目的はローカルLLMを稼働させるため。
12GBメモリで4万義理は安かったのでつい、ね・・・。
サーバ構築し直し中なのでうまくいけばいろいろと行けそうです
ローカルLLMの構築をしております。
構築のためにchatGPT君に聞いていろいろとやってみて結果とりあえず動くようにはなりました。
構成としては以下のマシンを仮想基盤(Hyper-Vにしてみました。
CPU : Xeon E5-2680v4 x2
Memory:72GB
仮想マシンとしての割り当ては
CPU : 32core
Memory : 48GB
としておいたのですがかなり遅い。
GPU がないとだめそうです。。。
手に入れないとだめだなぁ。
とりあえず余っているGPUの発掘予定です。