構築を進めているLocalLLM、だいぶ良くなってきました。

モデルはgemma4:26Bで動作、画像生成や音声認識(文字起こし)もできるようになりました。

現状の構成としては

• NVIDIA Geforce RTX 3060(12GB)・・・画像生成(ComfyUI)
• NVIDIA Tesla P100(16GB)・・・文字起こし、競馬予想用XGBoost
• NVIDIA Tesla P40(24GB)・・・LLM

と分けた構成にしてあります。

P100に追加でcode追加したいところではありますが・・・

応答速度の遅さとかありますがこの辺りはハードウェア由来なのでどうしようもない。

ここから先どう進めていこうかな。