swallow– tag –

あらずじ日々 3Dキャラクターエージェントの作成と改良をしておりますが、この度 TokyoTech が GPTOSS Swallow モデルを発表しましたので、わくわくしています。元々ローカル LLM で GPTOSS:20b を使用しており、以前の Swallow Intruct モデルも非常に性能が大変よかった。本日時間ができたので、試してみました。Ollama で GPTOSS Swallow を起動するうちのローカルサーバは RTX5090 フル起動していますが、16GB ぐらいの容量のモデルを好んで選びます。 理由は SBV2 モデルを常時 VRAM を使っているのでアンロードしたくない。。。なので、Q5 のモデルあたりに選びました。Ollama で動かすには変換済みの gguf モデルファイルがいりますが、そのあたりは誰かが既にやってくれそうな...