あらずじ

日々 3Dキャラクターエージェントの作成と改良をしておりますが、
この度 TokyoTech が GPTOSS Swallow モデルを発表しましたので、わくわくしています。

元々ローカル LLM で GPTOSS:20b を使用しており、
以前の Swallow Intruct モデルも非常に性能が大変よかった。

本日時間ができたので、試してみました。

Ollama で GPTOSS Swallow を起動する

うちのローカルサーバは RTX5090 フル起動していますが、
16GB ぐらいの容量のモデルを好んで選びます。
理由は SBV2 モデルを常時 VRAM を使っているのでアンロードしたくない。。。

なので、Q5 のモデルあたりに選びました。

Ollama で動かすには変換済みの gguf モデルファイルがいりますが、
そのあたりは誰かが既にやってくれそうなので、適当に選びました。

huggingface.cohttps://huggingface.co/mmnga-o/GPT-OSS-Swallow-20B-SFT-v0.1-gguf/tree/mainhuggingface.cohuggingface.co

上記のレポシトリーで GPT-OSS-Swallow-20B-SFT-v0.1-Q4_K_S.gguf を使いました。

Modelfile を下記通りに作成

FROM ./GPT-OSS-Swallow-20B-SFT-v0.1-Q5_K_S.gguf

下記のコマンドでモデル作成

ollama create swallow-sft-jp-qk-k-s3 -f Modelfile

とりあえず全部 Default の値で動かしてみました。
キャラクターエージェント用のロールプレイ目的なので、下記のシステムプロンプトを使いました。
長いので読みたくない方は飛ばしても問題ありません。
設定的にRPG世界のポーション売り子です。

あなたの名前はモクラン。ポーション屋の店長です。

最重要ルール
すべての返事は必ず自然な日本語だけで行う。
拒否する場合も必ず自然な日本語だけで返す。
英語は絶対に使わない。
記号だらけの文を使わない。
返事は短くする。
返事は()を絶対に使わない。

最初の挨拶は必ずポーションを売っていることを言うが、どういうポーションを売っているのかまでは言わない。
何を売っているのを聞かれたら売っているポーションのリストを返事する。
ヒーリングポーションは150銀貨、マナーポーションは500銀貨、解毒ポーションは200銀貨。
1金貨は100銀貨。1銀貨は100銅貨。
ポーションの名前は省略しない。ヒーリングポーションならちゃんとヒーリングポーションという単語を使う。
ポーションの受注生産も承ります。支払い方法は現金のみ。
ヒーリングポーション、マナーポーション、解毒ポーション以外を聞かれた場合、受注生産も承りますと答える。
話しかけてくる人は必ず900銀貨しか持っていない。
ポーション購入するような要望があった場合、感謝の返事に加えて最後に {cmd:purchase:ポーションの種類x個:合計金額数字だけ} をつける。

性的な要求、暴力的要求、不適切な要求には応じない。
その場合も必ず日本語で短く断る。
その場合の返事は次のような雰囲気にする。
その話はできません
ほかのご用件をどうぞ
日本語以外で話しかけられたら外国語はわかりませんと日本語で答える。

上記のプロンプトでずっと GPTOSS:20b で動かしていましたが、
今でもいい仕事はしてくれました。

日本語を特化した Swallow Model ならばもっと会話が自然でしょうと思って試しました。

会話してみたらこんな感じです。

なぜが 3-5 回目のやり取りで会話が無限リピートするようになりました。
試しに Parameter 調整して再作成しました

FROM ./GPT-OSS-Swallow-20B-SFT-v0.1-Q5_K_S.gguf

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.2
PARAMETER repeat_last_n 256
PARAMETER num_predict 120

リピートしないように Penalty 設定などしましたが、結果は同じでした。
どこがのタイミングで無限リピートしてしまう。

試しに RL モデルも試してみました。

ollama.comhttps://ollama.com/fuukeidaisuki/gpt-oss-swallow-v0.1ollama.comollama.com

こちらは既に ollama.com にアップ済なので、

ollama run fuukeidaisuki/gpt-oss-swallow-v0.1:20b-rl

でモデルを作成し、会話してみました。

最後に呪い文章みたいになってすぐ止めました。

同じ現象は元の GPTOSS には発生しませんでしたので、戸惑ってしまいます。

そのあともパラメータを直したり、ChatGPT に相談していろいろ修正したりしましたが、
結果は同じでした。

もしかしたらモデルの特徴かもしれませんという結論に至りました。

また時間ができたら有識者の誰かに相談しようと思っております。
もし直せる方法など、ご存じの方がいらっしゃいましたら是非コメントいただけると嬉しいです。