生成モデルパラメーター

目次

• 目次
• 概要
• 設定手順

概要

生成モデルパラメーターは、生成モデルの動作を制御するために使用される設定オプションです。これらのパラメーターを調整することで、生成されるコンテンツの品質、スタイル、長さなどをカスタマイズできます。

設定手順

高度な設定内の「生成モデルパラメーター」セクションでパラメーターを調整できます。
Smart at AIでは以下のパラメーターの調整が可能です。

1. 最大応答トークン数：生成する出力トークン数の上限です。生成時に出力トークン数のエラーが発生する場合大きい数値に変更することでエラーが回避される場合があります

2. 温度（Temperature）：出力のランダム性（多様性）を調整します。確率分布をなだらかにして、低確率語も選ばれやすくします。ランダム性を制御します

   • 値の目安：
     • 0〜0.2: 正確性重視（コード、事実説明、フォーマット厳守）
     • 0.5〜0.8: バランス（一般的な文章生成）
     • 1.0以上: 創造性重視。まとまりが崩れやすくなることも
   • ポイント:
     • 0に近いほど安定・一貫、上げるほど創造的・多様

3. 上位P（Top P）：出力候補のうち、確率の累積がPになる最小集合だけを母集団としてサンプリングします（例:top_p=0.9なら、合計確率が90%に達する語群から選ぶ）

   • 値の目安：
     • 1.0: 制限なし（実質オフ）
     • 0.8〜0.95: 適度に尾を切って、暴走や珍妙な語を減らす
     • 0.5以下: 非常に保守的で反復的になりやすい

注意点

• 温度と上位Pの両方の値を変更すると効果が重なり挙動が不安定になりやすいので、基本はどちらか一方で調整してください
• 生成モデルによっては、パラメータの調整ができない場合があります

トラブル回避のコツ

• 出力が途中で切れる → 最大応答を増やす
• 反復や凡庸さが目立つ → 温度を少し上げる or 上位Pを少し上げる
• 事実誤りや逸脱が増える → 温度を下げる or 上位Pを下げる