見本を足すと悪くなる問もある。小さなLLMで確かめた、生成AIの試し方

生成AIは「例を付けると精度が上がる」「見直させると間違いが減る」とよく言われます。その工夫を、効き目を確かめないまま社内の使い方に取り入れていないでしょうか。

2026年10月29日、代表の寺田康佑が講師を務めたある企業の社内勉強会で、小さな言語モデルにこの2つの工夫を試しました。見本を付けて正しくなる問がある一方で、同じ工夫で間違える問もありました。見直しを頼むと、誤った答えを「修正なし」と言い切った問もあります。この記事ではそのときの結果と、生成AIを業務で試すときの比べ方を書きます。

何が起きているのか

勉強会は全3回の最終回で、オンラインで90分の枠で行いました。参加者は一人ずつ、自分のPCで同じモデルと設定を使って試しました。ここに書く結果は講師のPCで確かめたものです。

• モデル: Qwen2.5-3B-Instruct（Q4_K_M、約2.1GB）
• アプリ: LM Studio
• 設定: Context 4096、Temperature 0（毎回同じ答えが出やすい設定）、max tokens 1024

今のチャットAIは工夫しなくてもそれらしく答えます。昔のモデルは不自由で、人が入力を工夫して補っていました。その工夫がモデルや仕組みに取り込まれて、今のチャットAIになりました。勉強会では、この流れを小さなモデルでたどりました。昔の道具を作って使ってみる「実験考古学」にならった進め方です。

見本を付けると、悪くなる問があった

1つ目の工夫は答え方の見本を先に2つ見せること（Few-shot）です。見本があるかどうかだけを変えて、同じ問を比べました。

お釣りの計算は、りんご1個120円を3個とみかん1個80円を4個買い、1000円札で払う問題です。見本なしでは正しく320円と答えたのに、見本を付けると680円と答えました。680円は代金の合計で、お釣りと取り違えています。予約の文から氏名・日付・時刻・人数を抜き出す問では、見本を付けたほうで、日付の欄に元の文の「（木）」が残りました。

一方、3人のうち誰がいちばん遅いかを聞く問では、見本なしで誤ったCを答え、見本を付けると正しいBになりました。同じ工夫でも、問によって良くなることも悪くなることもあります。

見直しを頼むと、誤りを「修正なし」と言い切った

2つ目の工夫は答えたあとに同じ会話で見直しを頼むこと（自己点検）です。5つの語を五十音順に並べる問では、誤った並びのまま「修正なし」と言い切りました。3人の速さの問では、見直しの途中で3人の順番を正しく書いたのに、最後の答えはCのままでした。

同じ設定でも、答えが揺れた

Temperatureを0にそろえても、見直しのあとの答えはそろいませんでした。講師のPCで3人の速さの問の見直しを8回試すと、正しいBになったのは1回だけでした。

ここまでの結果は3Bの小さなモデルを講師のPC 1台で試した、5問だけの記録です。今の大きなチャットAIで同じ結果になるかは確かめていません。

よくあるつまずき

小さなモデルで起きたことは、業務で生成AIを試すときのつまずきとつながっています。

すらすらした答えを、正しさの証拠にする

答えが速く、文が整っていると、正しく見えます。勉強会では、すらすらした説明も「確認しました」という返事も証拠にせず、最後の答えだけを正解と照らしました。

一度にいくつも変える

見本を足し、言い回しを変え、モデルも替えると、どの変更で結果が変わったのか分かりません。勉強会でも、変えるのは毎回1つだけにし、条件ごとに新しい会話を始めました。見直しだけは同じ会話で続けて頼みました。

1回の結果で決める

3人の速さの問のように、同じ設定でも答えが揺れる問があります。1回うまくいったことも、1回失敗したことも、それだけでは判断の材料になりません。

良くなった例だけを残す

工夫を試すと、良くなった結果だけを覚えがちです。お釣りの計算のように、正しかった答えが工夫で間違いに変わることもあります。

どう進めるか

生成AIを業務で試すときは、次の順で進めると、何が分かったかを説明しやすくなります。

1. 業務で実際に頼みたい問を数問選び、正解か合格の条件を先に決める
2. 条件を1つだけ変えて、変える前と後を並べる
3. 同じ問を何回か繰り返す
4. 内容（合っているか）・形式（言われた形で書いたか）・完了（最後まで書いたか）・時間の4つで記録し、良くなった例も悪くなった例も残す
5. 使うかどうか、どの業務に使うかは、記録を見て人が決める

この比べ方は、モデルが大きくなっても同じように使えると考えています。

Cor.株式会社では生成AIやローカルLLMの導入や研修をお手伝いしています。その中で、業務に合わせた問の選び方と記録のしかたを一緒に整理できます。最初のご相談に、業務の実データや機密文書、認証情報を送る必要はありません。

まとめ

勉強会の最後には、2つの工夫のその後を振り返りました。見本を見せる工夫は指示に従うようにモデルを学習させる方向へ進みました。見直しを頼む工夫は考えてから答えるモデルや、答えを確かめる仕組みへ進みました。どちらも今のチャットAIの中に入っている、という話で締めくくりました。それでも、すらすら答えることと正しいことは別です。

見本や見直しで良くなる問もあれば、悪くなる問もあります。工夫を試すときは、正解を先に決め、一度に1つだけ変え、何回か繰り返して、良くなった例と悪くなった例の両方を記録します。使うかどうかは、その記録を見て人が判断します。

参考資料

• Qwen2.5-3B-Instruct-GGUF（Qwen、Hugging Face）
• LM Studio Docs
• Brown et al., “Language Models are Few-Shot Learners”（2020, arXiv:2005.14165）
• Ouyang et al., “Training language models to follow instructions with human feedback”（2022, arXiv:2203.02155）
• Huang et al., “Large Language Models Cannot Self-Correct Reasoning Yet”（2023, arXiv:2310.01798）