<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" ><generator uri="https://jekyllrb.com/" version="3.10.0">Jekyll</generator><link href="https://kishiyamat.work/feed.xml" rel="self" type="application/atom+xml" /><link href="https://kishiyamat.work/" rel="alternate" type="text/html" /><updated>2026-11-02T04:42:20+00:00</updated><id>https://kishiyamat.work/feed.xml</id><title type="html">絵とか言葉とか</title><subtitle>隠れ家的チラ裏</subtitle><entry><title type="html">ChatGPTのシステムプロンプトを比較するオンライン実験</title><link href="https://kishiyamat.work/2026/10/24/online-experiment-chatgpt/" rel="alternate" type="text/html" title="ChatGPTのシステムプロンプトを比較するオンライン実験" /><published>2026-10-24T11:00:00+00:00</published><updated>2026-10-24T11:00:00+00:00</updated><id>https://kishiyamat.work/2026/10/24/online-experiment-chatgpt</id><content type="html" xml:base="https://kishiyamat.work/2026/10/24/online-experiment-chatgpt/">&lt;h2 id=&quot;はじめに&quot;&gt;はじめに&lt;/h2&gt;

&lt;p&gt;先に実験の準備手順を確認したい方は、&lt;a href=&quot;#要は何をすればいいのか&quot;&gt;「要は何をすればいいのか」&lt;/a&gt;へ進んでください。&lt;/p&gt;

&lt;h3 id=&quot;誰の何のための記事か&quot;&gt;誰の、何のための記事か&lt;/h3&gt;
&lt;!-- 概要 --&gt;
&lt;!-- What --&gt;
&lt;p&gt;今回は、ウェブで回答を集めるオンライン実験の枠組みで、(i) フィードバックを作る参加者に、対象の提出物（学習者の回答など）を入力させ、(ii) 生成AIにフィードバックを生成させ、(iii) （参加者に）そのフィードバックを修正させて記録する方法を紹介します。もちろんオンライン実験なので、細かい実験の要因の統制や&lt;em&gt;ランダマイズ&lt;/em&gt;（条件などの無作為な割り当て）も可能としています。&lt;/p&gt;

&lt;!-- Why --&gt;
&lt;p&gt;動機として、色々な分野で生成AIをフィードバックに使ってみたい（厳密には使ってみてほしい）気はするものの、実験しないとならない部分は多いわけです。例えば、フィードバックを生成させるにはどんな&lt;em&gt;プロンプト&lt;/em&gt;（生成AIへの指示）が良いのでしょうか。他にも、そのプロンプトはどんな部分に修正が必要か、どの&lt;em&gt;モデル&lt;/em&gt;（使うAIの種類）がよいか、どんな生成の設定が良いかなどなど。こうした検証には比較と実験、記録が必要になるわけですが、ゼロから用意するのは大変です。&lt;/p&gt;

&lt;!-- How --&gt;
&lt;p&gt;そこで、今回は信頼できる参加者による小規模な実験を想定し、運用のしやすさを優先した構成を考えます。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-mermaid&quot;&gt;flowchart BT
    accTitle: 今回作るシステムの全体像
    accDescr: 上段に外部サービス、中段に作成者と参加者のブラウザ、下段に操作する人を並べる。作成者はCognitionへ実験を登録してデータを取得する。参加者のブラウザはCognitionから実験コードを受け取り、OpenAIへ直接依頼し、結果をCognitionへ保存する。
    %% fit: width
    %% architecture
    %% flow: roundtrip
    R([&quot;実験作成者&quot;]) ---|&quot;①実験作成&amp;lt;br/&amp;gt;⑨記録確認&quot;| RB[&quot;`作成者の
ブラウザ`&quot;]
    P([&quot;実験参加者&quot;]) ---|&quot;④入力&amp;lt;br/&amp;gt;⑦編集&quot;| B[&quot;`参加者の
ブラウザ`&quot;]
    RB &amp;lt;--&amp;gt;|&quot;②実験登録&amp;lt;br/&amp;gt;⑨記録取得&quot;| C[&quot;`Cognition.run
実験の配信・保存`&quot;]
    B &amp;lt;--&amp;gt;|&quot;③画面取得&amp;lt;br/&amp;gt;⑧回答保存&quot;| C
    B &amp;lt;--&amp;gt;|&quot;⑤生成依頼&amp;lt;br/&amp;gt;⑥案の受信&quot;| O[&quot;`OpenAI
文章生成`&quot;]
    class C cognition
    class RB,B browser
    class O openai
    class R,P person
&lt;/code&gt;&lt;/pre&gt;

&lt;p&gt;それぞれの構成要素の役割は以下の通りです。図の①〜⑨は、準備からデータ取得までの順序です。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;実験作成者：比較条件と画面を用意し、集まったデータを取得します。&lt;/li&gt;
  &lt;li&gt;実験参加者：文章を入力し、AIの案を確認・編集します。&lt;/li&gt;
  &lt;li&gt;作成者・参加者の&lt;em&gt;ブラウザ&lt;/em&gt;：ウェブページを開くアプリです。参加者はCognitionから受け取った&lt;em&gt;jsPsych&lt;/em&gt;コードをここで動かし、OpenAIへ直接依頼します。&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://www.cognition.run/&quot;&gt;&lt;em&gt;Cognition.run&lt;/em&gt;&lt;/a&gt;：実験コードを配信し、回答を保存するオンライン実験サービスです。ネット越しに依頼を受ける&lt;em&gt;サーバー&lt;/em&gt;側を担います。&lt;/li&gt;
  &lt;li&gt;&lt;em&gt;OpenAI&lt;/em&gt;：ChatGPTの提供元で、今回は文章生成APIを使います。&lt;/li&gt;
&lt;/ul&gt;

&lt;!-- Who: 対象読者と成果物 --&gt;
&lt;p&gt;汎用性はそれなりに高いとは思いますが、卒業研究に取り組む学部生から、修士・博士課程の大学院生、教員・研究者まで、アカデミアで実験を行う方を想定読者としています。反対に、「信頼できる参加者による、研究室内の小規模・短期間の実験である」という前提を踏まえないと、Web開発者が失神しそうな部分もあります。&lt;/p&gt;

&lt;h3 id=&quot;実験を動かすための前提知識&quot;&gt;実験を動かすための前提知識&lt;/h3&gt;

&lt;p&gt;以下は、前提知識に合わせて読み飛ばしてください。あまりPCに興味がない人に向けた説明も含まれています。&lt;/p&gt;

&lt;h4 id=&quot;apiを使った文章生成&quot;&gt;APIを使った文章生成&lt;/h4&gt;

&lt;p&gt;プログラムが別のプログラムに依頼するための窓口や決まりを&lt;em&gt;API&lt;/em&gt;（Application Programming Interface）と呼びます。送る依頼が&lt;em&gt;リクエスト&lt;/em&gt;、返ってくる返事が&lt;em&gt;レスポンス&lt;/em&gt;です。今回は、参加者のブラウザからOpenAI APIへ指示と提出物を送り、生成された文章を受け取ります。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-mermaid&quot;&gt;flowchart BT
    accTitle: APIへ依頼を送り、生成された文章を受け取る
    accDescr: 参加者のブラウザを下、OpenAIのサーバーを上に置く。ブラウザは指示、提出物、モデルの指定をリクエストとして送り、OpenAIのサーバーは文章を生成してレスポンスとして返す。
    %% architecture
    %% labels: opaque
    B[&quot;参加者のブラウザ&quot;]
    Q[&quot;リクエスト&amp;lt;br/&amp;gt;指示&amp;lt;br/&amp;gt;提出物&amp;lt;br/&amp;gt;モデル指定&quot;]
    O[&quot;OpenAIのサーバー&amp;lt;br/&amp;gt;APIで依頼を受け付け&amp;lt;br/&amp;gt;モデルで文章を生成&quot;]
    S[&quot;レスポンス&amp;lt;br/&amp;gt;生成された&amp;lt;br/&amp;gt;文章&quot;]
    B --&amp;gt;|&quot;①依頼を組み立てる&quot;| Q
    Q --&amp;gt;|&quot;②送信する&quot;| O
    B &amp;lt;--&amp;gt;|&quot;④案を表示する&quot;| S
    S &amp;lt;--&amp;gt;|&quot;③結果を返す&quot;| O
    class B browser
    class Q,S note
    class O openai
    linkStyle 0,1 stroke:#991b1b,color:#991b1b,stroke-width:1.6px
    linkStyle 2,3 stroke:#1e3a8a,color:#1e3a8a,stroke-width:1.6px,marker-end:none
&lt;/code&gt;&lt;/pre&gt;

&lt;p&gt;APIの利用設定と料金はChatGPTの契約とは別です。文章生成の仕組みは&lt;a href=&quot;https://developers.openai.com/api/docs/guides/text&quot;&gt;OpenAIの公式ガイド&lt;/a&gt;にも説明があります。&lt;/p&gt;

&lt;h4 id=&quot;モデル生成設定プロンプトの関係&quot;&gt;モデル・生成設定・プロンプトの関係&lt;/h4&gt;

&lt;p&gt;実験では、使うモデルと生成の設定、AIへの指示、フィードバックの対象となる提出物を決めます。モデルが異なれば出力も変わるため、A/Bを比べる間は同じモデルと生成設定を使います。&lt;sup id=&quot;fnref:model-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:model-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;p&gt;生成設定には、出力の長さの上限や、回答前の推論に割く処理の量を指定する&lt;em&gt;reasoning effort&lt;/em&gt;などがあります。使える設定はモデルによって異なります。&lt;sup id=&quot;fnref:generation-settings&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:generation-settings&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;p&gt;指示は、ここでは次の二つに分けます。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;em&gt;システムプロンプト&lt;/em&gt;（system prompt）：AIの役割や、応答の基本方針を指定する指示。&lt;/li&gt;
  &lt;li&gt;&lt;em&gt;ユーザープロンプト&lt;/em&gt;（user prompt）：その場の依頼や、課題の情報を伝える指示。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;フィードバックの方針はシステムプロンプトに、課題や評価観点はユーザープロンプトに書き、提出物は評価する対象として渡します。どの要因を変え、どの設定を揃えるかを実験計画で決めます。&lt;/p&gt;

&lt;p&gt;検索で根拠を参照させるなど、研究で比較条件を広げる際の選択肢もありますが、今回は&lt;em&gt;ツール&lt;/em&gt;（tool）を使わず、指示と提出物から文章を生成します。&lt;sup id=&quot;fnref:tool-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:tool-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;h4 id=&quot;実験画面とデータの記録&quot;&gt;実験画面とデータの記録&lt;/h4&gt;

&lt;p&gt;jsPsychで画面を作り、Cognitionで実験を公開する基本手順は&lt;a href=&quot;https://cool-atami.github.io/online-audio-experiment/02_perception_minimal/&quot;&gt;「jsPsychでミニマルな実験を作成」&lt;/a&gt;で、画面構成の基本は&lt;a href=&quot;https://cool-atami.github.io/online-audio-experiment/03_jspsych_basic/&quot;&gt;「jsPsych の基本的な機能を確認」&lt;/a&gt;で紹介しています。この記事では、最低限しか説明しませんし、今日日コードの説明はCognition上で使えるAIアシスタントがやってくれます。&lt;/p&gt;

&lt;p&gt;ここでは、参加開始から終了までを一つの&lt;em&gt;セッション&lt;/em&gt;、対象文章の入力から提出までを一つの&lt;em&gt;課題試行&lt;/em&gt;（1セット）と呼びます。jsPsychの&lt;em&gt;trial&lt;/em&gt;（試行）は各画面・処理単位で、入力、AIの生成、提出などが別々の行として記録されます。今回は一つのセッションで3条件を各1回行います。Cognitionで自動保存される一実行分の記録を参加1回分として扱い、条件とjsPsych標準の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;trial_index&lt;/code&gt;で行を整理します。&lt;sup id=&quot;fnref:session-fields&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:session-fields&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;仕組みは&lt;a href=&quot;https://docs.cognition.run/digging-deeper/offline-recovery&quot;&gt;公式のオフライン復旧の説明&lt;/a&gt;、保存・取得は&lt;a href=&quot;https://docs.cognition.run/data-management-and-download&quot;&gt;公式のデータ管理の説明&lt;/a&gt;を参照してください。&lt;/p&gt;

&lt;p&gt;一応メリットを言っておくと、参加者は各自の場所から取り組めるので、来室日時を調整する負担も減らせます。また、参加者ごとの条件割当も実験コードで組み込めます。&lt;/p&gt;

&lt;h4 id=&quot;apiキーと暗号化復号&quot;&gt;APIキーと暗号化・復号&lt;/h4&gt;

&lt;p&gt;OpenAIのモデルを利用するには、利用資格を示す秘密の文字列である&lt;em&gt;APIキー&lt;/em&gt;が必要です。実験プログラムはこのキーを使って文章生成を依頼します。&lt;/p&gt;

&lt;p&gt;今回は実験参加者のブラウザから利用させたいのですが、実験コードにキーをそのまま書くわけにはいきません。コード自体が漏れた時に面倒なことになります。&lt;/p&gt;

&lt;p&gt;そこで、パスワードで元に戻せる形にする&lt;em&gt;暗号化&lt;/em&gt;（encryption）を行います。元に戻す処理が&lt;em&gt;復号&lt;/em&gt;（decryption）です。同意した参加者はセッション開始時に一度パスワードを入力し、ブラウザ内で復号したキーを、二つのAI条件を含む3課題のセッション中だけ使います。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;課題ではAPIを呼びません。この方法でも、復号できる参加者からキーを隠すことはできません。&lt;/p&gt;

&lt;p&gt;「文字列で試す」では、公開の例文を使って暗号化と復号を試せます。APIキーは入力せず、別のパスワードで復号に失敗することも確認できます。&lt;sup id=&quot;fnref:crypto-tool&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:crypto-tool&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;5&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;link rel=&quot;stylesheet&quot; href=&quot;/assets/css/cognition-key-crypto-frame.css&quot; /&gt;

&lt;script src=&quot;/assets/js/cognition-key-crypto-frame.js&quot; defer=&quot;&quot;&gt;&lt;/script&gt;

&lt;iframe id=&quot;key-crypto-demo-frame&quot; class=&quot;key-prepare-frame&quot; data-key-crypto-mode=&quot;demo&quot; src=&quot;/assets/examples/cognition-key-crypto/prepare.html?mode=demo&quot; title=&quot;公開文字列で暗号化と復号を試す画面&quot;&gt;&lt;/iframe&gt;

&lt;h2 id=&quot;方法の説明&quot;&gt;方法の説明&lt;/h2&gt;

&lt;p&gt;やっとこさ、どうやって実験を設計して組むかの話です。&lt;/p&gt;

&lt;h3 id=&quot;システムプロンプトをabで比較する実験&quot;&gt;システムプロンプトをA/Bで比較する実験&lt;/h3&gt;

&lt;h4 id=&quot;変えるものと記録するものを分ける&quot;&gt;変えるものと記録するものを分ける&lt;/h4&gt;

&lt;p&gt;通常の&lt;em&gt;A/Bテスト&lt;/em&gt;は二つの条件を比べます。この例では、AIの指示を変える&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_a&lt;/code&gt;と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_b&lt;/code&gt;に、AIを使わない&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;を加えた3条件を用意します。各参加者は一つのセッション内で3条件の課題を各1回、無作為な順で行います。セッション開始時に同意とパスワード入力を一度だけ行い、課題の途中で条件は変えません。&lt;sup id=&quot;fnref:condition-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:condition-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;6&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;実験での扱い&lt;/th&gt;
      &lt;th&gt;今回の内容&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;変えるもの&lt;/td&gt;
      &lt;td&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_a&lt;/code&gt;・&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_b&lt;/code&gt;のシステムプロンプト、AIを使わない&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;条件&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;条件間で統制&lt;/td&gt;
      &lt;td&gt;課題・提出物の割当方、AI条件のモデルと生成設定、入力・提出の画面と手順&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;記録して比較&lt;/td&gt;
      &lt;td&gt;条件ごとのAI出力、提出文の変更有無と変更前後の文章。必要に応じて評定や作業時間も加える&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;ここで、「どちらが良いか」の判断基準は先に決めておきます。例えば、内容が正確であること、わかりやすいこと、少ない手間で使えることは、それぞれ別の評価です。今回のサンプルではAIの案と参加者の提出文を比べ、文面が変わったかどうかを記録します。変更の有無だけでは、参加者が内容をどう評価したかは分かりません。&lt;/p&gt;

&lt;p&gt;修正が少ない、あるいは多いという結果だけで、内容の質が高いとは限りません。正確さや有用性を比べたい場合は、その観点で評価する質問や、別の評価者による判定を加えます。後から都合の良い指標だけを選ばないように、何を主な結果として比べるかを実験前に決めておきましょう。&lt;/p&gt;

&lt;h4 id=&quot;課題へのフィードバックを作ってもらう場合&quot;&gt;課題へのフィードバックを作ってもらう場合&lt;/h4&gt;

&lt;p&gt;実験参加者は、提出物にフィードバックを付ける人だとしましょう。リハビリをする言語聴覚士でもいいですし、教員やTA、相互評価を行う学生などを想定できますね。AI条件では、生成された案が提出用の文章欄に初期表示されます。参加者はそのまま提出するか、同じ欄で修正して提出します。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;条件では同じ欄を空欄で表示し、参加者が文章を作成します。この記事の読者は、この実験を設計・準備する側になります。&lt;/p&gt;

&lt;p&gt;例えば、システムプロンプトAでは改善案を直接示し、Bでは提出者が改善点に気づくための問いを重視させる、といったシステムプロンプトの違いが考えられます（あくまで説明用の例で、研究に使うA/Bの文面は別途決めます）。&lt;/p&gt;

&lt;p&gt;今回は、課題の指示や評価観点もユーザープロンプトに含めます。例えば、「課題はオンライン授業の利点と課題を説明することです。根拠の示し方について、短いフィードバックを作ってください」という依頼です。&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;用意するもの&lt;/th&gt;
      &lt;th&gt;今回の役割&lt;/th&gt;
      &lt;th&gt;具体例&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;システムプロンプト&lt;/td&gt;
      &lt;td&gt;実施者が決めるA/Bの条件&lt;/td&gt;
      &lt;td&gt;改善案を直接示す指示、改善を促す問いを返す指示&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;ユーザープロンプト&lt;/td&gt;
      &lt;td&gt;課題の指示、評価観点、その場の依頼&lt;/td&gt;
      &lt;td&gt;根拠の示し方について短く説明してください&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;提出物&lt;/td&gt;
      &lt;td&gt;フィードバックの対象&lt;/td&gt;
      &lt;td&gt;説明課題への回答やレポート&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;AIの案&lt;/td&gt;
      &lt;td&gt;AIが最初に生成した文章&lt;/td&gt;
      &lt;td&gt;提出物の改善点とその説明&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;最終フィードバック&lt;/td&gt;
      &lt;td&gt;参加者が共通の文章欄から提出する文&lt;/td&gt;
      &lt;td&gt;AI条件では原案または修正文、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;では参加者が書いた文&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;同じ参加者が3条件を経験するため、参加者ごとの経験差は条件間で共有されます。一方、課題の難しさや実施順の影響は残ります。各条件で同じ対象文章を使うか、難しさを揃えた別の文章を使うかを決め、実際に送った内容と条件・順序を記録します。&lt;/p&gt;

&lt;h3 id=&quot;参加者が進む画面&quot;&gt;参加者が進む画面&lt;/h3&gt;

&lt;p&gt;参加者はリンクを開き、説明に同意してからパスワードを一度入力します。このセッションにはAIを使う条件が二つあるため、全員がセッション開始時に一度だけキーを復号します。復号に失敗した場合は課題を始めず終了します。成功すると&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_a&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_b&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;の課題が無作為な順に一つずつ始まります。各課題で対象文章を入力します。提出画面では、その文章をフィードバック欄の上に表示します。AI条件では生成された案がその欄に入り、参加者はそのままか修正して提出します。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;条件では欄に自分で書き、OpenAIへのリクエストは行いません。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-mermaid&quot;&gt;%%{init: {&quot;flowchart&quot;: {&quot;nodeSpacing&quot;: 12, &quot;rankSpacing&quot;: 20, &quot;wrappingWidth&quot;: 210, &quot;padding&quot;: 8}}}%%
flowchart TD
    accTitle: 参加者が3条件の課題を行う画面
    accDescr: 説明への同意後、セッションの最初に一度だけパスワードを入力して復号する。prompt_a、prompt_b、manualの3条件を各1回、無作為な順で行う。各条件で対象文章を入力し、AI条件では生成・編集、manualでは手動作成を行って提出する。3試行の終了後にキーを消去する。
    A[&quot;説明・同意&quot;] --&amp;gt; B[&quot;パスワード入力・復号&amp;lt;br/&amp;gt;セッション最初の1回&quot;]
    B --&amp;gt; C[&quot;3条件を各1回&amp;lt;br/&amp;gt;順序を無作為化&quot;]
    C --&amp;gt; D[&quot;対象文章を入力&quot;]
    D --&amp;gt; E[&quot;AI条件：生成・編集&amp;lt;br/&amp;gt;manual：手動作成&quot;]
    E --&amp;gt; F[&quot;提出&quot;]
    F --&amp;gt; G{&quot;3試行完了?&quot;}
    G --&amp;gt;|&quot;はい&quot;| H[&quot;セッション終了&amp;lt;br/&amp;gt;キーを消去&quot;]
    G --&amp;gt;|&quot;いいえ&quot;| D
    class H cognition
&lt;/code&gt;&lt;/pre&gt;

&lt;p&gt;AI生成は同じ条件・モデル・入力を保って自動で再試行し、初回を含め最大5回で止めます。上限まで生成できなければその条件は提出せず、短い案内の後に次の条件へ進みます。呼出しごとの履歴を生成の記録にまとめます。&lt;sup id=&quot;fnref:retry-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:retry-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;7&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;h3 id=&quot;実験システムの構成と通信&quot;&gt;実験システムの構成と通信&lt;/h3&gt;

&lt;p&gt;システムプロンプトとモデルは実験コードで指定し、参加者のブラウザからOpenAIへ送ります。AIの原案は生成trialに、提出用文章欄の値は提出trialに、それぞれCognitionへ保存します。同じ欄を使い、AI原案と提出文の文字列を比べて変更有無を記録します。&lt;/p&gt;

&lt;h4 id=&quot;データが往復する経路再掲&quot;&gt;データが往復する経路（再掲）&lt;/h4&gt;

&lt;p&gt;冒頭の構成図と同じ①〜⑨に、ブラウザ内の処理と外部サービスの役割を対応づけています。双方向の矢印は、依頼とその返事が往復することを表しています。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-mermaid&quot;&gt;flowchart BT
    accTitle: 参加者のブラウザから直接AIを呼ぶ構成
    accDescr: 上段に外部サービス、中段にブラウザ内の処理、下段に実験作成者と参加者を並べる。作成者のブラウザから実験コードを登録し、記録を取得する。参加者のブラウザではキーを復号してOpenAIへ直接依頼し、編集後の実験データをCognitionへ保存する。
    %% architecture
    %% flow: roundtrip
    R([&quot;実験作成者&quot;]) ---|&quot;①実験作成&amp;lt;br/&amp;gt;⑨記録確認&quot;| RB[&quot;`作成者のブラウザ
実験の設定・管理`&quot;]
    P([&quot;実験参加者&quot;]) ---|&quot;④入力&amp;lt;br/&amp;gt;⑦編集&quot;| B[&quot;`参加者のブラウザ
キーの復号・表示・編集`&quot;]
    RB &amp;lt;--&amp;gt;|&quot;②コードを登録&amp;lt;br/&amp;gt;⑨記録を取得&quot;| C[&quot;`Cognition.run
実験の配信・保存`&quot;]
    B &amp;lt;--&amp;gt;|&quot;③コードを受信&amp;lt;br/&amp;gt;⑧記録を送信&quot;| C
    B &amp;lt;--&amp;gt;|&quot;⑤指示・提出物を送信&amp;lt;br/&amp;gt;⑥AIの案を受信&quot;| O[&quot;`OpenAI API
文章生成`&quot;]
    class C cognition
    class RB,B browser
    class O openai
    class R,P person
&lt;/code&gt;&lt;/pre&gt;

&lt;h4 id=&quot;openaiへ送る内容と返ってくる文章&quot;&gt;OpenAIへ送る内容と返ってくる文章&lt;/h4&gt;

&lt;p&gt;生成ではAPIにモデルを指定し、課題の指示、フィードバック方針、提出物を送ります。APIからは、その提出物へのフィードバックが返ります。例えば、オンライン授業の利点と課題を説明する回答に対し、根拠の示し方を助言する文章を求めます。&lt;sup id=&quot;fnref:request-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:request-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;8&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;p&gt;提出物に氏名などが含まれる場合は、送信前に確認します（&lt;a href=&quot;#個人情報と外部送信&quot;&gt;「個人情報と外部送信」&lt;/a&gt;）。&lt;/p&gt;

&lt;p&gt;実験で比べる指示と参加者が送った内容、AIの案、提出された最終文を記録します。復号用パスワードは生成依頼に含めません。&lt;/p&gt;

&lt;p&gt;入力・出力の量、モデル、生成回数で費用は変わるため、予備実験で一回分を確かめて見積もります。&lt;sup id=&quot;fnref:token-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:token-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;9&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;h3 id=&quot;記録するデータの設計&quot;&gt;記録するデータの設計&lt;/h3&gt;

&lt;p&gt;参加1回分はCognitionの一実行分の記録として取得し、条件と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;trial_index&lt;/code&gt;を使ってAIの案と提出文を対応づけます。&lt;sup id=&quot;fnref:session-fields:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:session-fields&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;記録する内容&lt;/th&gt;
      &lt;th&gt;主な情報&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;参加条件&lt;/td&gt;
      &lt;td&gt;Cognitionの一実行分、各課題の条件&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;AIへの依頼&lt;/td&gt;
      &lt;td&gt;実際に送ったシステムプロンプト、提出物を含む入力、モデル&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;AIの生成&lt;/td&gt;
      &lt;td&gt;生成された文章、失敗と再試行の履歴&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;人の提出&lt;/td&gt;
      &lt;td&gt;最終文章、AI案からの変更有無&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;AI案からの変更有無は原案と提出文の文字列比較で記録します。修正の意図や内容の質をこの値から推定せず、生成失敗と再試行の履歴も確認します。&lt;sup id=&quot;fnref:data-fields&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:data-fields&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;10&lt;/a&gt;&lt;/sup&gt;
APIキー、復号用パスワード、実際の参加URL全体は、このデータに加えません。研究用の項目は実験コードで指定し、前の入力や生成結果はjsPsychに保存されたtrialデータから参照します。APIキーの復号・OpenAIへの通信・通信エラーの整理は共通ライブラリが担い、Cognitionは各trialデータを保存します。&lt;/p&gt;

&lt;h2 id=&quot;要は何をすればいいのか&quot;&gt;要は何をすればいいのか&lt;/h2&gt;

&lt;p&gt;記事内の準備画面と、公開されている&lt;a href=&quot;https://github.com/kishiyamat/jspsych-openai-utils/blob/4740ca69c98f2ae582d5835ed9203e815ee248e2/experiment.js&quot;&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;experiment.js&lt;/code&gt;&lt;/a&gt;の雛形を利用できます。OpenAIへの実接続とCognitionへの保存は未検証です。以下の順に進めます。&lt;/p&gt;

&lt;h3 id=&quot;1-apiキーの準備&quot;&gt;1. APIキーの準備&lt;/h3&gt;

&lt;p&gt;&lt;a href=&quot;https://platform.openai.com/api-keys&quot;&gt;OpenAIのAPIキー作成画面&lt;/a&gt;にログインし、画面の案内に沿って、キーや利用量をまとめて管理する&lt;em&gt;プロジェクト&lt;/em&gt;と今回の実験専用APIキーを作ります。詳しい流れは&lt;a href=&quot;https://developers.openai.com/api/docs/quickstart&quot;&gt;公式Quickstart&lt;/a&gt;を参照してください。APIキーそのものは決して公開しないでください。他人に知られると不正利用され、費用負担につながるおそれがあります。普段の研究や別のアプリで使っているキーは使わず、専用にします。&lt;/p&gt;

&lt;p&gt;予備実験で一回分の使用量を確かめ、参加人数と呼出し回数から予算を見積もります。小規模な実験なら、&lt;a href=&quot;https://platform.openai.com/settings/organization/billing/overview&quot;&gt;請求設定&lt;/a&gt;で前払い方式を確認し、例えば20米ドル分を入金して、自動入金（Use auto-reload）をオフにします。APIキーは実験期間に合わせ、例えば30日後に失効するように設定し、実験終了後は期限を待たずに無効化します。&lt;sup id=&quot;fnref:budget-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:budget-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;11&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;p&gt;「APIキーの準備」画面はブラウザ内で動き、入力したAPIキーやパスワードを外部へ送信しません。専用APIキーを暗号化し、「ファイルをダウンロード」で&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;encrypted-api-key.js&lt;/code&gt;を保存します。&lt;sup id=&quot;fnref:crypto-tool:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:crypto-tool&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;5&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;p&gt;「パスワードをコピー」で復号用パスワードも控えてください。失うとこのファイルを復号できません。実施者だけが開けるメモや文書などに保管し、例えばGoogle Docsを使う場合は共有範囲を確認します。&lt;sup id=&quot;fnref:secret-storage&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:secret-storage&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;12&lt;/a&gt;&lt;/sup&gt; 準備画面が生成する無作為な20文字を使い、人が決めた単語や日付、記事の例は流用しません。参加者には復号用パスワードを参加リンクとは別に案内します。&lt;sup id=&quot;fnref:password-strength&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:password-strength&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;13&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;iframe id=&quot;key-crypto-key-frame&quot; class=&quot;key-prepare-frame&quot; data-key-crypto-mode=&quot;key&quot; src=&quot;/assets/examples/cognition-key-crypto/prepare.html?mode=key&quot; title=&quot;実験用APIキーを暗号化する画面&quot;&gt;&lt;/iframe&gt;

&lt;h3 id=&quot;2-cognitionに登録して実験を配置する&quot;&gt;2. Cognitionに登録して実験を配置する&lt;/h3&gt;

&lt;p&gt;&lt;a href=&quot;https://www.cognition.run/&quot;&gt;Cognition.run&lt;/a&gt;で「Create an account」から氏名、メールアドレス、パスワードを登録します。すでにアカウントがある場合はログインしてください。必要に応じて&lt;a href=&quot;https://docs.cognition.run/&quot;&gt;公式のはじめ方&lt;/a&gt;を参照し、実験用の&lt;em&gt;task&lt;/em&gt;（実験を管理する単位）を用意します。&lt;/p&gt;

&lt;p&gt;公開サンプルの&lt;a href=&quot;https://github.com/kishiyamat/jspsych-openai-utils/blob/4740ca69c98f2ae582d5835ed9203e815ee248e2/experiment.js&quot;&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;experiment.js&lt;/code&gt;&lt;/a&gt;を開き、コード欄右上のコピーアイコン（Copy raw file）を押して全文をコピーし、CognitionのSource code欄へ貼り付けます。&lt;/p&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;experiment.js&lt;/code&gt;は&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;feedback-utils.js&lt;/code&gt;とSurveyプラグイン4.0.0のCSSを自動読込します。このサンプルはCognitionのjsPsych 8.2.3を使います。&lt;em&gt;External JS&lt;/em&gt;（外部JavaScriptファイルの登録欄）には、手順1で作成した&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;encrypted-api-key.js&lt;/code&gt;のみを登録します。&lt;em&gt;プラグイン&lt;/em&gt;（jsPsychで画面や操作を提供する部品）では、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;survey&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;html-button-response&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;call-function&lt;/code&gt;を有効にします。&lt;/p&gt;

&lt;p&gt;この雛形は、AIを使う&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_a&lt;/code&gt;・&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_b&lt;/code&gt;条件と、AIを使わず自分でフィードバックを書く&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;条件を含み、生成時に入力するのは対象文章だけです。課題と対象者、A/Bのシステムプロンプト、モデルと生成設定、結果の評価項目を決め、実験コードの設定へ反映します。比較で変える条件と揃える条件は、&lt;a href=&quot;#システムプロンプトをabで比較する実験&quot;&gt;「システムプロンプトをA/Bで比較する実験」&lt;/a&gt;に沿って整理します。A/B比較だけにする場合は&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;CONDITIONS&lt;/code&gt;から&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;の項目を削除します。&lt;/p&gt;

&lt;p&gt;同意しない場合はAPIキーを復号せず終了します。同意後、セッションの最初にパスワードを一度入力してキーを復号し、三つの条件を終えるまでメモリ内に保ちます。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;課題自体ではキーを使わず、OpenAIへのリクエストを行いません。セッション終了時にキーを消去します。&lt;/p&gt;

&lt;h3 id=&quot;3-課題で動作と保存を確認する&quot;&gt;3. 課題で動作と保存を確認する&lt;/h3&gt;

&lt;p&gt;実験サンプルで用意した課題に一度テスト参加し、以下の流れと記録を確認します。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;同意後のセッション開始時に一度だけパスワードを求め、空・誤ったパスワードや改変された暗号化データの場合は、どの課題やAPI送信にも進まないこと。&lt;/li&gt;
  &lt;li&gt;3条件が無作為な順で各1回実施され、AI条件では入力・生成後に同じ文章欄から提出し、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;では空欄に文章を入力して提出できること。&lt;/li&gt;
  &lt;li&gt;一つの生成trial内で同じ条件・モデル・入力の再試行が初回を含め最大5回に限られ、失敗後は次の条件へ進むこと。&lt;/li&gt;
  &lt;li&gt;APIキー、復号用パスワード、参加URL全体がデータや動作の記録である&lt;em&gt;ログ&lt;/em&gt;へ入らないこと。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;テスト参加後にCognitionから一実行分のデータを取得し、条件・入力・生成・最終文が&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;trial_index&lt;/code&gt;で順序づけられ、各課題の条件に結びつくこと、予定した集計・分析に必要な項目が揃うことまで、参加者を募る前に一度確かめます。OpenAIの予算設定と有効期間も管理画面で確認します。&lt;sup id=&quot;fnref:data-fields:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:data-fields&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;10&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;h3 id=&quot;4-参加者へ案内して実施する&quot;&gt;4. 参加者へ案内して実施する&lt;/h3&gt;

&lt;p&gt;Cognitionで公開した参加用URLを案内します。URLにパスワードを含めず、同意後のセッション開始用パスワードを別に伝えます。&lt;/p&gt;

&lt;p&gt;実験コードの&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;CONDITIONS&lt;/code&gt;にある次の3条件を、参加者ごとに無作為な順で各1回実施します。条件は課題ごとに切り替わります。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_a&lt;/code&gt;：改善案を直接示すAI条件&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_b&lt;/code&gt;：問い返しを中心にするAI条件&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;：AIを使わず、参加者がフィードバックを作る条件&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;セッション全体では同意後に一度だけパスワードを入力します。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;課題の画面で追加の認証はなく、その課題ではOpenAIに接続しません。個人情報と同意説明は&lt;a href=&quot;#個人情報と外部送信&quot;&gt;「個人情報と外部送信」&lt;/a&gt;の節に沿って確認します。&lt;/p&gt;

&lt;h3 id=&quot;5-データを取得して実験を終了する&quot;&gt;5. データを取得して実験を終了する&lt;/h3&gt;

&lt;p&gt;Cognitionからデータを取得し、&lt;a href=&quot;#記録するデータの設計&quot;&gt;「記録するデータの設計」&lt;/a&gt;に示した項目を確認します。AIへの依頼、生成結果と失敗履歴、参加者の最終文・変更有無が対応していること、キーやパスワードが記録されていないことを確認します。実施後は実験用APIキーを無効にします。&lt;/p&gt;

&lt;h3 id=&quot;6-データを分析する&quot;&gt;6. データを分析する&lt;/h3&gt;

&lt;p&gt;&lt;a href=&quot;#システムプロンプトをabで比較する実験&quot;&gt;「システムプロンプトをA/Bで比較する実験」&lt;/a&gt;で決めた評価項目に沿って、条件ごとの提出文の変更有無や評定を比較し、生成失敗と再試行も確認します。結果の違いが、参加者の経験や課題の難しさ、失敗・再試行の偏りなどでも説明できないか検討します。&lt;/p&gt;

&lt;h2 id=&quot;考察&quot;&gt;考察&lt;/h2&gt;

&lt;h3 id=&quot;apiキーを保護できる範囲&quot;&gt;APIキーを保護できる範囲&lt;/h3&gt;

&lt;p&gt;公開コードには暗号化したAPIキーを置き、復号用パスワードは参加者へ別に案内します。これにより、コードを入手しただけの人にキーがそのまま渡ることを防ぎます。ただし、復号できる参加者はキーを取り出せます。信頼できる参加者による小規模・短期間の実験を前提に、専用のキーを使い、終了後は無効にします。&lt;/p&gt;

&lt;h3 id=&quot;外部にapiサーバーを置く方法との比較&quot;&gt;外部にAPIサーバーを置く方法との比較&lt;/h3&gt;

&lt;p&gt;参加者のブラウザとOpenAIの間に、依頼を仲介する&lt;em&gt;APIサーバー&lt;/em&gt;を外部に用意する方法もあります。この方法では、APIキーをサーバー側で保管し、参加者へ渡さずに文章を生成できます。OpenAIの一般的な案内も、&lt;a href=&quot;https://developers.openai.com/api/reference/overview#authentication&quot;&gt;APIキーをサーバー側で管理する構成&lt;/a&gt;です。&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;比較する点&lt;/th&gt;
      &lt;th&gt;今回のブラウザから直接呼ぶ方法&lt;/th&gt;
      &lt;th&gt;外部にAPIサーバーを置く方法&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;APIキーの扱い&lt;/td&gt;
      &lt;td&gt;参加者のブラウザで復号するため、参加者はキーを取得できる&lt;/td&gt;
      &lt;td&gt;サーバー側で保管し、参加者へキーを渡さずに済む&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;準備と運用&lt;/td&gt;
      &lt;td&gt;実験画面、暗号化データ、予算と期限を準備する&lt;/td&gt;
      &lt;td&gt;実験画面に加え、サーバーの公開、利用者の確認、保守が必要になる&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;検討する場面&lt;/td&gt;
      &lt;td&gt;信頼できる参加者による、小規模・短期間の研究室内実験&lt;/td&gt;
      &lt;td&gt;広く参加者を募る場合、長期運用、参加者にもキーを渡したくない場合&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;APIサーバーを用意すれば、参加者ごとの利用回数などをサーバー側で制限する処理も実装できます。ただし、サーバーの構築や利用者の確認、運用まで含めると説明が複雑になるため、その実装手順は今回は扱いません。この記事では、研究室内の信頼できる参加者を対象に、ブラウザから直接呼ぶ方法を説明しています。&lt;/p&gt;

&lt;h3 id=&quot;参加リンクとパスワードの渡し方&quot;&gt;参加リンクとパスワードの渡し方&lt;/h3&gt;

&lt;p&gt;参加用リンクと復号用パスワードは別々に伝え、URL・公開記事・実験コードにはパスワードを含めません。意図しない相手に渡った疑いがあれば、実験専用APIキーを無効にします。&lt;sup id=&quot;fnref:url-secrets&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:url-secrets&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;14&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;h3 id=&quot;生成回数と費用をどう考えるか&quot;&gt;生成回数と費用をどう考えるか&lt;/h3&gt;

&lt;p&gt;参加者数、モデル、入力と出力の長さ、再試行回数で費用が変わるため、予備実験の結果から必要額を見積もります。成功後の再生成は行いません。&lt;sup id=&quot;fnref:cost-details&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:cost-details&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;15&lt;/a&gt;&lt;/sup&gt;ブラウザで送信回数を抑えることはできますが、取り出されたAPIキーの利用を止めることはできません。参加者別の厳密な上限が必要なら、仲介サーバーを含む方法を検討します。&lt;sup id=&quot;fnref:browser-limits&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:browser-limits&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;16&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;h3 id=&quot;個人情報と外部送信&quot;&gt;個人情報と外部送信&lt;/h3&gt;

&lt;p&gt;提出物は参加者のブラウザからOpenAIへ送られ、実験データとしてCognitionにも保存されます。フィードバックの作成者に加え、提出物を書いた人や第三者の個人情報にも注意が必要です。所属機関の倫理審査や研究上の手続きに沿って、送信先、内容、保存期間、削除の扱いを整理し、同意説明に反映します。APIの保存設定を変更しても、OpenAI側の全ての記録がなくなるわけではありません。保存やデータ利用は、&lt;a href=&quot;https://developers.openai.com/api/docs/guides/your-data&quot;&gt;公式のデータ管理の説明&lt;/a&gt;を確認して決めます。&lt;/p&gt;

&lt;hr /&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:model-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;モデルは、学習で調整された数値である重みを使って入力に続く文章を生成します。モデルの選択や生成設定はAPIで指定しますが、モデル内部の重みを実験者が直接変える操作ではありません。&lt;em&gt;fine-tuning&lt;/em&gt;（追加データによる調整）は、既存モデルへ文章生成を依頼することとは別の処理です。OpenAIの追加学習サービスは新規利用者への提供を終了しており、条件を満たす既存利用者も新しい学習を実行できるのは2027年1月6日までです（元のモデルの提供終了が先の場合はその日まで）。追加学習したモデルの利用期限は元のモデルの提供終了日に従います（&lt;a href=&quot;https://developers.openai.com/api/docs/guides/supervised-fine-tuning&quot;&gt;公式ガイド&lt;/a&gt;）。 &lt;a href=&quot;#fnref:model-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:generation-settings&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;このサンプルでは、モデルに&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gpt-6-luna&lt;/code&gt;、推論量に&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;reasoning.effort=none&lt;/code&gt;、出力候補の選ばれ方のばらつきを調整する&lt;em&gt;temperature&lt;/em&gt;に&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;0.3&lt;/code&gt;を使います。GPT-6系では推論effortが&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;none&lt;/code&gt;以外の場合、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;temperature&lt;/code&gt;は指定できません。モデルや世代を変えると性能、応答時間、料金も変わるため、モデル名と設定を記録し、比較では揃えます（&lt;a href=&quot;https://developers.openai.com/api/docs/guides/latest-model&quot;&gt;最新モデルのガイド&lt;/a&gt;）。 &lt;a href=&quot;#fnref:generation-settings&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:tool-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;検索で根拠を確認する条件と比べる場合や、AIが指定した処理を自作プログラムなどで実行する&lt;em&gt;ファンクションコーリング&lt;/em&gt;（function calling）を使う場合は、指示だけで文章を生成する条件とは異なります。使った機能や参照情報を記録し、追加費用も確認します。詳しくは&lt;a href=&quot;https://developers.openai.com/api/docs/guides/tools&quot;&gt;OpenAIのツールの説明&lt;/a&gt;を参照してください。 &lt;a href=&quot;#fnref:tool-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:session-fields&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Cognitionの一実行分の出力を参加1回分として扱います。各課題の行には&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;system_prompt_type&lt;/code&gt;を記録し、jsPsych標準の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;trial_index&lt;/code&gt;は変更せず画面・処理の実施順に使います。参加1回の行を別IDで再構成せず、Cognitionの列も上書きしません。 &lt;a href=&quot;#fnref:session-fields&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:session-fields:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:crypto-tool&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;記事内の準備画面は&lt;a href=&quot;/assets/examples/cognition-key-crypto/README.txt&quot;&gt;暗号化ツールのREADME&lt;/a&gt;と&lt;a href=&quot;/assets/examples/cognition-key-crypto.zip&quot;&gt;配布用ZIP&lt;/a&gt;から確認できます。「文字列で試す」は公開の練習用で、実験キーを入力する欄とは別です。誤ったパスワードで復号を試す場合は、暗号化後に復号用欄だけを20文字以上の別の値へ変え、元に戻すと同じJSONで再確認できます。暗号化・復号はブラウザ内で行い、実APIキーを使わない練習文字列で復号も確認済みです。準備画面が外部へ通信しないことも確認しています。 &lt;a href=&quot;#fnref:crypto-tool&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:crypto-tool:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:condition-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;実験コードの&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;CONDITIONS&lt;/code&gt;には&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_a&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prompt_b&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;を指定し、参加者ごとに順序を無作為化して各条件を一度ずつ実施します。課題の行では、実際の条件名を&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;system_prompt_type&lt;/code&gt;に記録します。試行順はjsPsych標準の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;trial_index&lt;/code&gt;で確認します。 &lt;a href=&quot;#fnref:condition-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:retry-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;AI課題では1回の生成を90秒で打ち切り、初回を含め最大5回まで自動再試行します。通信エラー、タイムアウト、一時的なレート制限、サーバーエラーは、待ち時間を置いた再試行の候補です。認証・利用枠（quota）超過など、設定や残高の変更が必要なエラーは繰り返しません。同じ条件・モデル・凍結した送信内容を使い、成功後は再送しません。1つの生成trial行に総呼出し数&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;generation_attempt&lt;/code&gt;と安全な履歴&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;api_attempts&lt;/code&gt;（各回の番号とエラー分類）をまとめ、最終結果は&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ai_feedback&lt;/code&gt;と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;api_error&lt;/code&gt;に記録します。失敗ごとに別のjsPsych行を作ることはありません。5回で成功しなければ、その課題の提出行を作らず、短い案内の後に残りの条件へ進みます。キーは最後の課題後に消去します。タイムアウト後もサービス側で処理が続く場合があり、再試行で費用が増える可能性があります。 &lt;a href=&quot;#fnref:retry-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:request-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Responses APIでは、基本方針を&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;instructions&lt;/code&gt;、その回の依頼と提出物を&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;input&lt;/code&gt;として送る構成です。APIキーは認証に使いますが、復号用パスワードは生成用入力に含めません。提出物に含まれる情報は入力として送られます。各生成は独立させ、過去の会話履歴や外部ツールを含めません。指示と入力の扱いは&lt;a href=&quot;https://developers.openai.com/api/docs/guides/prompt-engineering&quot;&gt;プロンプト設計の説明&lt;/a&gt;も参照してください。 &lt;a href=&quot;#fnref:request-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:token-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;文章量や料金の計算に使う単位を&lt;em&gt;トークン&lt;/em&gt;（token）と呼び、文字数と一対一に対応するわけではありません。入力と出力の長さやモデルで費用が変わります。入力・出力の単価はモデルによって異なるため、&lt;a href=&quot;https://developers.openai.com/api/docs/pricing&quot;&gt;APIの料金表&lt;/a&gt;で確認し、予備実験の使用量から見積もります。 &lt;a href=&quot;#fnref:token-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:data-fields&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;サンプルでは次の列を記録します。&lt;/p&gt;

      &lt;ul&gt;
        &lt;li&gt;trial行はCognitionの一実行分としてまとめて保存されます。課題に属する行には&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;system_prompt_type&lt;/code&gt;、各段階の行には&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;feedback_phase&lt;/code&gt;を記録し、順序はjsPsych標準の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;trial_index&lt;/code&gt;を使います。&lt;/li&gt;
        &lt;li&gt;入力行には提出物&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;submission&lt;/code&gt;を保存します。生成行には実際に送った&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;system_prompt&lt;/code&gt;、入力文字列&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;api_input&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;model&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;reasoning_effort&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;temperature&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;max_output_tokens&lt;/code&gt;、総呼出し数&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;generation_attempt&lt;/code&gt;、各回の安全な履歴&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;api_attempts&lt;/code&gt;を保存します。成功時はAI原文&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ai_feedback&lt;/code&gt;、応答モデル&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;response_model&lt;/code&gt;、応答ID&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;api_response_id&lt;/code&gt;を、最終失敗時は&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ai_feedback=null&lt;/code&gt;（値がないこと）と安全な&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;api_error&lt;/code&gt;を記録します。このサンプルに独立した&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;user_prompt&lt;/code&gt;列はありません。&lt;/li&gt;
        &lt;li&gt;提出行には&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;submission&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ai_feedback&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;final_feedback&lt;/code&gt;、変更有無&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;text_changed&lt;/code&gt;を記録します。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;text_changed&lt;/code&gt;はAI原文と提出文を文字列として厳密に比べ、同じなら&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;false&lt;/code&gt;、異なれば&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;true&lt;/code&gt;です。空白や改行の違いも変更に含めます。&lt;/li&gt;
        &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;課題では生成行を作らず、提出行の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ai_feedback&lt;/code&gt;と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;text_changed&lt;/code&gt;は&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;null&lt;/code&gt;です。&lt;/li&gt;
        &lt;li&gt;生成に失敗した条件には提出行を作らず、次の条件へ進みます。APIキー、復号用パスワード、参加URL全体は保存しません。&lt;/li&gt;
      &lt;/ul&gt;
      &lt;p&gt;&lt;a href=&quot;#fnref:data-fields&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:data-fields:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:budget-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;前払い方式では残高が尽きるとAPIの利用が止まりますが、停止の反映には遅れがあり、入金額を超える場合があります。自動入金は初期状態でオンなので、オフになっていることを確認します。月次請求の契約では入金額が請求に充当されるため、前払いした額だけで利用が止まるとは限りません（&lt;a href=&quot;https://help.openai.com/en/articles/8264644-setting-up-and-managing-prepaid-api-billing&quot;&gt;前払いの公式説明&lt;/a&gt;）。残高はAPIキーごとの予算ではありません。他のプロジェクトと残高を共有する場合などは、実験専用プロジェクトの金額上限も併用します。予算通知は利用を止める設定と異なります（&lt;a href=&quot;https://developers.openai.com/api/docs/guides/spend-limits&quot;&gt;Spend limits&lt;/a&gt;）。キーの有効期限は&lt;a href=&quot;https://developers.openai.com/api/docs/guides/production-best-practices&quot;&gt;公式の運用ガイド&lt;/a&gt;を参照してください。 &lt;a href=&quot;#fnref:budget-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:secret-storage&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;プログラム開発では、APIキーなどを&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;.env&lt;/code&gt;という設定ファイルに分けて保存することもあります。ファイル自体が暗号化するわけではなく、公開しない管理が必要です。本記事のブラウザ実験で用意する必要はありません。 &lt;a href=&quot;#fnref:secret-storage&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:password-strength&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;準備画面の生成値は15バイト（120ビット）の乱数をURL-safe Base64で表した20文字で、英大小文字・数字に&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;-&lt;/code&gt;と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;_&lt;/code&gt;を加えた64種類を使います。以下は別条件として、英大小文字・数字62種類から各文字を独立に一様生成する場合の目安です。NVIDIA GeForce RTX 5070 Ti 1台（本ツールと同じく1候補につき60万回の反復計算、毎秒7273候補）では、平均探索時間は8文字で約476年、12文字で約70億年、16文字で約10京年です。64種類から20文字を生成する場合は同じ速度で約2.90 × 10²⁴年となります。&lt;/p&gt;

      &lt;p&gt;これは暗号文の復号照合を含まず、同じ速度のGPUを1台使い続けると仮定した理論上の平均です。人が決めたパスワードや、正しい値を1回入力して復号する時間には当てはまりません。長く無作為な値を使う理由を総当たり探索への余裕として示す参考値です。詳しい暗号処理は&lt;a href=&quot;/assets/examples/cognition-key-crypto/README.txt&quot;&gt;補助コードのREADME&lt;/a&gt;を参照してください。 &lt;a href=&quot;#fnref:password-strength&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:url-secrets&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;一般にURLはブラウザ履歴やアクセス記録などに残る場合があるため、参加用リンクと復号用パスワードを分けて伝えます。分けて渡すことだけで漏えいを防げるわけではありません（&lt;a href=&quot;https://community.owasp.org/vulnerabilities/Information_exposure_through_query_strings_in_url&quot;&gt;OWASPの説明&lt;/a&gt;）。 &lt;a href=&quot;#fnref:url-secrets&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:cost-details&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;費用の上限側の見積もりは、参加者数 × AI課題数 × 1課題あたりの最大生成回数で呼出し数を出し、予備実験で測った1呼出しあたりの使用量とモデル単価を掛けます。この例ではAI課題が2件、各課題は初回を含め最大5回なので、1人あたり最大10回です。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;manual&lt;/code&gt;課題はAPIを呼びません。実際の利用量は参加者の入力、出力、失敗の頻度で変わります。 &lt;a href=&quot;#fnref:cost-details&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:browser-limits&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;ブラウザ内の回数制限は、実験画面から誤って多数回送ることを抑えるためのものです。APIキーを取得した人が別の場所から使うことまでは制限できません。参加者ごとに厳密な上限を強制する必要がある場合は、キーを参加者へ渡さず、認証・制限を実装した仲介サーバーを検討します。 &lt;a href=&quot;#fnref:browser-limits&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;</content><author><name></name></author><category term="experiment" /><category term="jspsych" /><category term="chatgpt" /><category term="javascript" /><summary type="html">はじめに</summary></entry><entry><title type="html">異聴の予測に関する論文がPOMAで公開されました</title><link href="https://kishiyamat.work/2026/09/28/poma-mishearing-prediction.html" rel="alternate" type="text/html" title="異聴の予測に関する論文がPOMAで公開されました" /><published>2026-09-28T03:00:00+00:00</published><updated>2026-09-28T03:00:00+00:00</updated><id>https://kishiyamat.work/2026/09/28/poma-mishearing-prediction</id><content type="html" xml:base="https://kishiyamat.work/2026/09/28/poma-mishearing-prediction.html">&lt;p&gt;2026年9月28日、野口さん、黄さんとの共著論文が、&lt;em&gt;Proceedings of Meetings on Acoustics&lt;/em&gt;（POMA）でオンライン公開されました。論文は&lt;a href=&quot;https://doi.org/10.1121/2.0002391&quot;&gt;こちら&lt;/a&gt;です。&lt;/p&gt;

&lt;p&gt;音声が別の語として聞こえる&lt;em&gt;異聴&lt;/em&gt;は、音が似ているだけでなく、文脈の中で意味が自然に通じる場合にも起こります。そうした聞き間違いは、誤りに気づきにくいことがあります。今回の研究では、聞き間違いの事例と、聞く人ごとの音の聞き分け方を組み合わせて、日本語の異聴を予測する方法を検討しました。&lt;/p&gt;

&lt;p&gt;まず、4490件の事例から前処理を経て1908組の語のペアを整理しました。候補の意味の近さや語の頻度に、音の聞き分けの傾向を加えて、どの語が聞き間違いとして候補に上がるかを順位づけします。4人に&lt;em&gt;音素&lt;/em&gt;（言葉を区別する音の単位）の聞き分け課題に参加してもらい、左右の耳の違いも含む5つの聞き分けプロファイルを作りました。個人ごとの聞き分け方を反映すると、候補の順位が変わる場合があることを確認しました。&lt;/p&gt;

&lt;p&gt;聞き間違い予測のプロジェクトは&lt;a href=&quot;https://www.kikoepred.com/&quot;&gt;プロジェクトページ&lt;/a&gt;で紹介しています。&lt;/p&gt;

&lt;p&gt;以前&lt;a href=&quot;https://kishiyamat.work/2025/10/22/yans2025.html&quot;&gt;YANSで発表した内容&lt;/a&gt;ともつながる研究です。論文の書誌情報は、Takeshi Kishiyama, Hiroto Noguchi, and Chuyu Huang, “Predicting contextually plausible Japanese mishearings with semantic similarity and individual hearing profiles,” &lt;em&gt;Proceedings of Meetings on Acoustics&lt;/em&gt; 60, 060020 (2025) です。詳しくは&lt;a href=&quot;https://pubs.aip.org/asa/poma/article/60/1/060020/3405267/Predicting-contextually-plausible-Japanese&quot;&gt;出版社のページ&lt;/a&gt;をご覧ください。&lt;/p&gt;</content><author><name></name></author><category term="poma" /><category term="mishearing" /><summary type="html">2026年9月28日、野口さん、黄さんとの共著論文が、Proceedings of Meetings on Acoustics（POMA）でオンライン公開されました。論文はこちらです。</summary></entry><entry><title type="html">Vision Pro体験から考える、アイトラッキングの日常使い</title><link href="https://kishiyamat.work/2026/02/14/eye-tracking.html" rel="alternate" type="text/html" title="Vision Pro体験から考える、アイトラッキングの日常使い" /><published>2026-02-14T03:00:00+00:00</published><updated>2026-02-14T03:00:00+00:00</updated><id>https://kishiyamat.work/2026/02/14/eye-tracking</id><content type="html" xml:base="https://kishiyamat.work/2026/02/14/eye-tracking.html">&lt;h2 id=&quot;はじめに&quot;&gt;はじめに&lt;/h2&gt;

&lt;p&gt;最近、久々に東京に行く機会があって新宿のAppleで&lt;a href=&quot;https://www.apple.com/jp/apple-vision-pro/&quot;&gt;Apple Vision Pro&lt;/a&gt;を体験する機会がありました。予約は必要だったのですが、ウェブですぐにできたので妻と行ってきました。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/20260214/eye-tracker.png&quot; alt=&quot;VisionPro&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Apple Vision Proは公式で以下のように紹介されています。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;Apple Vision Proは、デジタルコンテンツを現実空間にシームレスに融合します。作業する。映画を観る。思い出を体験する。みんなとつながる。そのすべてを、かつてない方法で。ようこそ、空間コンピューティングの時代へ。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;この「空間コンピューティング」に、60万円、1日あたり500円の価値はあるのでしょうか&lt;sup id=&quot;fnref:500yen&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:500yen&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。体験してきた感想としては「その価値はある」になるのですが、塵も積もればというかタジタジしてしまいます。&lt;/p&gt;

&lt;p&gt;で、結局買ったのは&lt;a href=&quot;https://gaming.tobii.com/product/eye-tracker-5&quot;&gt;Tobii Eye Tracker 5&lt;/a&gt;だったりします。かなり飛躍したので、Apple Vision Proの何が良かったのかという話と、その良かった部分をTobii Eye Tracker 5で再現できる理由と方法を残しておこうと思います。&lt;/p&gt;

&lt;h3 id=&quot;vision-proで良かったところ&quot;&gt;Vision Proで良かったところ&lt;/h3&gt;

&lt;p&gt;たしか一時間くらいのチュートリアルだったと思うのですが、ゴーグル越しに見える映像の解像度も良く、何より操作性がとても良かったです。&lt;/p&gt;

&lt;p&gt;AppleのRetinaは映りが綺麗ですが、それが目の前にある感じで、しかも体験した限りはかなりの枚数を召喚できそうでした。それを仮想空間上で複数枚並べられるのは、たしかに良さそうでした。&lt;/p&gt;

&lt;p&gt;また、事前にARグラスやVRゴーグルも新宿のヨドバシで体験しておいたのですが、それと比べても別物の解像度の良さで、まったく酔いませんでした。また、ヨドバシは単に商品を置いてあるだけなのでどう使っていいかがわからなかったのですが、Vision Proはマンツーマン指導が入るので体験として非常に良かったです。&lt;/p&gt;

&lt;p&gt;なにより好印象だったのは、アイトラッキングによる操作の自然さでした。見ている対象にフォーカスが移り、軽く指をつまむだけでクリックできる。ウィンドウの移動や削除なども直感的で、余計なマウス移動もなく、とても快適でした。&lt;/p&gt;

&lt;p&gt;ただ、ふと思いました。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;この操作性は、デスクトップ環境でも再現できるのでは？&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;空間コンピューティングそのものというより、僕にとっては「視線入力」こそが求めていた機能なのではないか。そんな感覚が残りました。&lt;/p&gt;

&lt;h3 id=&quot;tobiiで再現してみる&quot;&gt;Tobiiで再現してみる&lt;/h3&gt;

&lt;p&gt;そこで導入したのが &lt;strong&gt;Tobii Eye Tracker 5&lt;/strong&gt; です。新品だと徐々に値段は上がってきますが、現在は45,000円くらいです(在庫が切れると値段が一時的に倍になります)。中古だと約3万円くらいなので、僕はメルカリで買いました。Vision Proと比べると、かなり現実的な価格だと思います。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/20260214/price.png&quot; alt=&quot;mercari&quot; /&gt;&lt;/p&gt;

&lt;p&gt;僕は修士の頃から研究室でアイトラッカーを使っていたので、たしかにWindows Updateの影響で実験期間中に使えなくなって泣きそうになったこともありますが、かなりTobiiには信頼を寄せています。&lt;/p&gt;

&lt;p&gt;使ったことのない人向けに説明すると、アイトラッカーはモニターの下に置くセンサーで、「今どこを見ていそうか」をカメラで推定するデバイスです。多くの機種は赤外線（目には見えない光）で目元を照らして、瞳孔や角膜の反射の位置関係から視線方向を計算します。&lt;/p&gt;

&lt;p&gt;赤外線は可視光の範囲外なので、照らされてもまぶしく感じにくいです。赤い光がトラッカーから見えます。また、赤外線カメラの映像では瞳孔が真っ黒で若干怖いですが、あんな感じで瞳孔の部分は反射が少ないので、瞳孔と虹彩を分離しやすい、というメカニズムだった気がします。最初にキャリブレーションという、その人の「目の特徴」と「画面上の位置」を対応づける操作をしてプロファイルを作ります。&lt;/p&gt;

&lt;p&gt;得意/苦手もあって、例えば&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;姿勢が大きく変わったり、逆光が強いと精度が落ちる&lt;/li&gt;
  &lt;li&gt;メガネの反射や、縦方向の微妙な移動はやや苦手&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;みたいな癖があります。自分は乱視が入っていて視力が0.1以下で分厚い眼鏡をしていますが、それでも機能しています。問題は、これをWindows環境で「マウス」として気持ちよく使えるのか、という点です。&lt;/p&gt;

&lt;h3 id=&quot;tobii-eye-tracker-5-をマウスとして使うために&quot;&gt;Tobii Eye Tracker 5 をマウスとして使うために&lt;/h3&gt;

&lt;p&gt;Windows 11 には標準で「視線制御（Eye Control）」機能があるのですが、Tobii Eye Tracker 5 は（少なくとも標準機能の範囲では）サポート対象外として扱われています。一個前の機種だったら使えたのですが、5はゲーム用の機器という扱いで除外されています。なので「買ったらそのままWindowsの視線制御でマウス代わりにできる」という話ではないです&lt;sup id=&quot;fnref:windows&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:windows&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;一方で、視線入力でマウス操作を実現するソフトはいくつかあって、例えば「見るマウス（Mill Mouse）」のような外部ソフトを使うと、Tobii Eye Tracker 5 でもWindows操作に持ち込めます&lt;sup id=&quot;fnref:millmouse&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:millmouse&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;実際に使ってみると、視線で「狙う」動作を日常に持ち込めて、満足度の高い環境になりました。&lt;/p&gt;

&lt;h2 id=&quot;実際の使用感設定&quot;&gt;実際の使用感・設定&lt;/h2&gt;

&lt;h3 id=&quot;使いどころ弱み強み&quot;&gt;使いどころ、弱み強み&lt;/h3&gt;

&lt;p&gt;&lt;a href=&quot;https://www.xbitlabs.com/ja/aim-trainer/&quot;&gt;Aim Trainer - 無料オンラインエイム練習&lt;/a&gt;というサイトがあるので、そこでの様子を共有します。トレーニング設定は、ターゲットの大きさを「大」、制限時間を15sにしています。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/20260214/eyetracking.gif&quot; alt=&quot;GIF&quot; /&gt;&lt;/p&gt;

&lt;p&gt;こういうゲームをしたことがないので、多分ゲーマーの人からしたら遅く見えると思うのですが、僕がやっているのは目で追ってトラックパッドでタップしているだけです。&lt;/p&gt;

&lt;p&gt;また、アプリケーションを利用していて思ったのですが、横方向の動きはとても安定しています。これは実験でも同じで、横の精度は高い一方で縦の精度が微妙にずれます。おそらく顔の傾きが変わったり、瞼の影響が大きいのではと思っています。なので、横並びのカードやメニューの操作との相性はとても良いです。&lt;/p&gt;

&lt;p&gt;また、あとで説明するような利用頻度の高いアプリはショートカットが便利ですが、そこまで頻度が高くなかったり、自作アプリの場合は特に便利です。既存アプリはフォーカス設計がバラバラな場合があります。そのため、視線でポインターを直接飛ばせるのはとても便利です。また、自作アプリもショートカットは基本的に未整備なので、そこでも動作がスムーズになります&lt;sup id=&quot;fnref:vimium&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:vimium&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;ただ、ファイル名が縦に並んでいてそれを選択、みたいな操作にはめっぽう弱いです。なので、おおよそのところにマウスを視線で移動させて解除、あとはトラックパッドで微調整、というのが現実的な使い方になります。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/20260214/spot.gif&quot; alt=&quot;spot&quot; /&gt;&lt;/p&gt;

&lt;p&gt;その他で面白かったのは、自分の視線の動きです。意識していないのに、視線はするすると動いています。自分の視線を可視化すると、とても興味深い体験になります。次のGIFは僕の視線の動きで、もちろん座標はとれませんし取ったとしても実験ではないので有益な情報は得られませんが、変な部分を二度見していてなかなか面白いです。無意識に動かしているので、UIの開発に活かせるかもしれません。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/20260214/reading.gif&quot; alt=&quot;reading&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;mill-mouse-と設定&quot;&gt;Mill Mouse と設定&lt;/h3&gt;

&lt;p&gt;実際にアイトラッカーのデータをマウス操作として扱えるようにしてくれるのは、Mill Mouse（見るマウス）というアプリです。Tobii側が推定した視線位置（もしくは頭部追跡の情報）を受け取って、Windowsのマウスカーソル位置に変換してくれます。Windows標準の「視線制御」が使えない機種でも、この手の外部ソフトを噛ませることで「視線でポインターを動かす」操作が成立します。&lt;/p&gt;

&lt;p&gt;「見るマウス」の良いところは、単にポインターを追従させるだけでなく、日常利用で困りがちな部分に対して設定の逃げ道が多いことです。例えば以下みたいなケースが挙げられます。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;視線が揺れるので、そのままだとカーソルが落ち着かない（平滑化・感度調整が必要）&lt;/li&gt;
  &lt;li&gt;視線だけで操作し続けると疲れる（オン/オフを切り替えるショートカットが必要）&lt;/li&gt;
  &lt;li&gt;クリックの方式をどうするか悩む（物理クリック/滞留クリック/ショートカットなど）&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;僕の運用としては、&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;ポインター移動だけを視線に寄せる&lt;/li&gt;
  &lt;li&gt;クリック・微調整はトラックパッド（またはマウス）でやる&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;という分業に落ち着いています。「視線で狙って、手で確定する」にすると、誤クリックが減ってかなり気が楽です。ショートカットは &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + G&lt;/code&gt; にしています(g for gaze)。利用しているSlackやVSCodeといったアプリで競合が少ないキーを選び、必要なら既存のショートカットを無効化しています。&lt;/p&gt;

&lt;p&gt;ソフトや設定の詳細は更新が早いので、公式の配布・更新情報は以下を参照するとよいです。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;https://millmouse.wordpress.com/&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;注意点&quot;&gt;注意点&lt;/h2&gt;

&lt;h3 id=&quot;ショートカットの理解が先&quot;&gt;ショートカットの理解が先&lt;/h3&gt;

&lt;p&gt;アイトラッカーは便利なんですが、たとえば、&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;コピーは &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + C&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;タブ移動は &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Tab&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;戻るは &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Alt + ←&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;といった基本操作は、目でポチポチするものではないですよね。すべてを目で操作するのは効率的ではないので、「視線で選ぶ」と「キーボードで飛ぶ」をうまく分けるのがよさそうです。逆にここが整理できていないと、目が忙しくなってしんどいです。&lt;/p&gt;

&lt;h3 id=&quot;chromeのタブ周り&quot;&gt;Chromeのタブ周り&lt;/h3&gt;

&lt;p&gt;Chromeの基本ショートカットとしては、任意のタブにジャンプできますよね。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + 1&lt;/code&gt; ～ &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + 8&lt;/code&gt;（左から順番）&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + 9&lt;/code&gt;（一番右のタブ）&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;タブをたくさん開いていると番号が分からなくなりますが、よく使うものを左に固定すると使いやすくなります。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;次のタブ → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Tab&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;前のタブ → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Shift + Tab&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;履歴の戻る・進むも大事です。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;戻る → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Alt + ←&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;進む → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Alt + →&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;これはとても便利です。マウスで戻るボタンを探すより速いです。&lt;/p&gt;

&lt;p&gt;タブの操作も大事ですね。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;新規タブ → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + T&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;タブを閉じる → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + W&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;閉じたタブを復元 → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Shift + T&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;復元は特に覚えておくと安心です。このくらいでしょうか。&lt;/p&gt;

&lt;h3 id=&quot;windowsの基本ショートカット&quot;&gt;Windowsの基本ショートカット&lt;/h3&gt;

&lt;p&gt;タスクバーのアプリを番号で起動できますね。これも目で見てではなく、ショートカットを使った方が早いです。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + 1&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + 2&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + 3&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;タスクバーの左から順番に番号が振られます。ここを整理しておくと、とても快適になります。&lt;/p&gt;

&lt;p&gt;アプリの切替は &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Alt + Tab&lt;/code&gt; ですね。アイトラッキングとは併用できない認識です。&lt;/p&gt;

&lt;p&gt;ウィンドウの分割なんかもショートカットのほうが早いです。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;左に配置 → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + ←&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;右に配置 → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + →&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;最大化 → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + ↑&lt;/code&gt;&lt;/li&gt;
  &lt;li&gt;最小化 → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Win + ↓&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;ショートカット設計の悩み&quot;&gt;ショートカット設計の悩み&lt;/h3&gt;

&lt;p&gt;視線位置にポインターを移動する（カーソルをワープさせる）操作を、どのキーに割り当てるかは悩みどころです。いろいろ試しましたが、&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Shift + E&lt;/code&gt; → Slackで衝突&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Shift + F&lt;/code&gt; → Google Docsで衝突&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + Alt + Shift&lt;/code&gt; → 押しにくい&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Shift + Alt + F&lt;/code&gt; → 手首が少しつらい&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Shift + Alt + V&lt;/code&gt; → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl&lt;/code&gt; から指を話したくない&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;という理由で最終的には、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ctrl + G&lt;/code&gt; になりました。VSCodeで衝突しますが、VSCodeはかなり調整が効くので衝突したショートカットを別のものに割り当てました。&lt;/p&gt;

&lt;h2 id=&quot;まとめ&quot;&gt;まとめ&lt;/h2&gt;

&lt;p&gt;Vision Proを触ってわかったのは、現状で自分が求めている機能は「視線入力」だということでした。すべてを目で操作するのではなく、&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;大きな移動は視線&lt;/li&gt;
  &lt;li&gt;細かい選択はトラックパッド&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;という組み合わせが、とても自然でした。&lt;/p&gt;

&lt;p&gt;アイトラッキングは未来の技術というより、すでに実用域にある補助入力デバイスだと感じています。アイトラッカーが使えないPCを触っていると、無意識に「視線でポインターを飛ばしたい」と思ってしまうくらいには、よく使っています。&lt;/p&gt;

&lt;hr /&gt;
&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:500yen&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;価格は60万円なので、5年くらい使うとして年間で12万円、月で考えると1万円です。月にだいたい20日くらい稼働すると考えると、1日あたりのコストは500円。 &lt;a href=&quot;#fnref:500yen&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:windows&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;&lt;a href=&quot;https://www.assdr.kyoto-u.ac.jp/heap/tobii-eye-tracker-5/&quot;&gt;「Tobii Eye Tracker 5」でWindowsを操作する&lt;/a&gt; &lt;a href=&quot;#fnref:windows&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:millmouse&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;&lt;a href=&quot;https://millmouse.wordpress.com/tag/tobii-eye-tracker-5/&quot;&gt;Mill Mouse (見るマウス): Tobii Eye Tracker 5 関連&lt;/a&gt; &lt;a href=&quot;#fnref:millmouse&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:vimium&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Vimiumを使うのもありですが、あれもやっぱりウェブアプリによっては競合してしまったり、ウェブアプリ以外には使えないというのが難点です。 &lt;a href=&quot;#fnref:vimium&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;</content><author><name></name></author><category term="eyetracking" /><category term="tobii" /><category term="visionpro" /><category term="shortcuts" /><summary type="html">はじめに</summary></entry><entry><title type="html">ローカルLLMによるMultiple-Choice Cloze Taskのシミュレーション</title><link href="https://kishiyamat.work/2025/11/05/llm-proba.html" rel="alternate" type="text/html" title="ローカルLLMによるMultiple-Choice Cloze Taskのシミュレーション" /><published>2025-11-05T10:00:00+00:00</published><updated>2025-11-05T10:00:00+00:00</updated><id>https://kishiyamat.work/2025/11/05/llm-proba</id><content type="html" xml:base="https://kishiyamat.work/2025/11/05/llm-proba.html">&lt;h2 id=&quot;はじめに-動機とよくなさそうな方法&quot;&gt;はじめに: 動機とよくなさそうな方法&lt;/h2&gt;

&lt;h3 id=&quot;動機-multiple-choice-cloze-taskを効率的にシミュレートしたい&quot;&gt;動機: Multiple-Choice Cloze Taskを効率的にシミュレートしたい&lt;/h3&gt;

&lt;p&gt;この記事では、(i) 言語学関連の研究/開発において(ii) Multiple-Choice Cloze Task（選択式穴埋め問題）をシミュレーションしたい人向けに、(iii) ローカル環境でLLMを活用する方法について解説します。備忘録と実装の整理を兼ねて記事にしています&lt;sup id=&quot;fnref:log&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:log&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;今回紹介する実装では、ローカルで動かしているLLMに直接リクエストを送信することで、OpenAI APIライブラリに依存せずにCloze Taskの評価を実現しています。最低でも16GBのGPUが必要ですが、RTX 5070 TiなどのコンシューマーグレードのGPUでも動作します。また試していませんが、おそらくGoogle ColabのT4リソースでも実行可能です。
&lt;!-- TODO: 試す --&gt;&lt;/p&gt;

&lt;p&gt;本題ですが、人を対象としたCloze Taskの評価では主観性と効率性から困る点がありました。つまり、人の直感的判断に依存することと（だから数をとるのですが）、大規模データセットの評価に時間（とお金）がかかってしまいます。そこで、無料で数を打てる代替手段を用意しておきたかったわけです。&lt;/p&gt;

&lt;p&gt;この時、LLMを使うやり方は複数あると思います（LLMの説明自体は&lt;a href=&quot;https://www.nec-solutioninnovators.co.jp/sp/contents/column/20240229_llm.html&quot;&gt;NEC&lt;/a&gt; とか&lt;a href=&quot;https://www.ibm.com/jp-ja/think/topics/large-language-models&quot;&gt;IBM&lt;/a&gt;のページを参照するとわかりやすいかと思います）。そこで、まずはうまくいかなさそうな方法2つを紹介した後で、本命の方法を共有しようと思います。&lt;/p&gt;

&lt;h3 id=&quot;プランa-llmに確率も出力させよう&quot;&gt;プランA: LLMに確率も出力させよう&lt;/h3&gt;

&lt;p&gt;プランAは、LLMに確率を聞くことです。例を挙げると、LLMに以下のようなプロンプトを入力して出力を得ます。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;昨日、渋谷の名物である_を見に行った。&lt;/code&gt; の &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;_&lt;/code&gt; に入る単語の候補として&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ハチ公 スクランブル交差点 スタバ 公園&lt;/code&gt; があったとき、それぞれの確率を出力してください&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;コーディングは簡単なので、Google ColabでOpenAIのGPT4.1を使ってみましょう。参考までですが、&lt;a href=&quot;https://colab.research.google.com/drive/1q82ZJDE3bfPGAZXTKuxSmMo455svs40M?usp=sharing&quot;&gt;ノートブック&lt;/a&gt;もあります。事前に「APIキー」を設定する必要はあるのですが、APIの取得方法や設定方法は色々な方が解説しているのと、すぐに情報が古くなるので省きます。OpenAIのAPIキーの取得と、Google ColabでAPIキーをuserdataに格納する方法を調べると出てきます。なお、このAPIキーの扱いは銀行口座のパスワードと同じくらい注意してください。&lt;/p&gt;

&lt;p&gt;改めてですが、ここで紹介する方法の2つ（Plan A/B）は個人的に「批判を受け止めきれないだろうから、自分は使わないだろうな」という方法です。ただ、ユースケースによっては十分かもしれないので、厳密さを求めない場合は十分選択肢になるかもしれません。&lt;/p&gt;

&lt;div class=&quot;language-py highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;openai&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;google.colab&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;userdata&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# OpenAI APIキーを取得
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;openai_api_key&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;userdata&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;OPENAI_API&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# OpenAIクライアントを初期化
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;client&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;openai&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;OpenAI&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;api_key&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;openai_api_key&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# プロンプトと単語候補
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;prompt_text&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;`昨日、渋谷の名物である_を見に行った。` の `_` に入る単語の候補として `ハチ公 スクランブル交差点 スタバ 公園` があったとき、それぞれの確率を出力してください。&quot;&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;response&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;chat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;completions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;create&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;gpt-4.1&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;# または利用可能な他のGPTモデル
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;messages&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;role&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;user&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;content&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prompt_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;response&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;choices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;content&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;このコードの実行結果は以下になりました。システムとして使いたいならJSON形式などで出力させるのがよいでしょう。この出力で満足する人もいるかもしれません。たしかに、出力としてはそれっぽいですね。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-txt&quot;&gt;この確率は、各単語が「渋谷の名物」に関連している度合いや一般的な登場頻度などに基づいています。それを考慮に入れ、私の主観で以下のような確率を設定します。

ハチ公: 0.4,
スクランブル交差点: 0.35,
スタバ: 0.1,
公園: 0.15.

これはあくまで一例で、公的な調査結果ではないため、具体的な数値は異なる可能性があります。渋谷の他の名物やランドマーク、企業なども確率の対象となることを考慮してください。
&lt;/code&gt;&lt;/pre&gt;

&lt;p&gt;ちゃんと和が1になるので、挙げた候補の中で確率分布を作ってくれています。つまり、「4択を作ったら、どの単語が選ばれるか」という確率をだしてくれているのです。さすがに賢いですが、いくつか問題があります。&lt;/p&gt;

&lt;h4 id=&quot;問題点1-ブレる&quot;&gt;問題点1: ブレる&lt;/h4&gt;

&lt;p&gt;上記の方法（テキストで確率を出力させる）の問題の1つは、出力が結構ゆれることです。上のほかに3回まわしてみました。どれもだいたい0.4くらいがハチ公ではあります。しかし、無視（システムとして許容）できるレベルの誤差かもしれませんが揺れています。&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;# sample 2
  &quot;ハチ公&quot;: 0.42,
  &quot;スクランブル交差点&quot;: 0.42,
  &quot;スタバ&quot;: 0.10,
  &quot;公園&quot;: 0.06

# sample 3
  &quot;ハチ公&quot;: 0.45,
  &quot;スクランブル交差点&quot;: 0.40,
  &quot;スタバ&quot;: 0.10,
  &quot;公園&quot;: 0.05

# sample 4
- ハチ公：0.4
- スクランブル交差点：0.4
- スタバ：0.1
- 公園：0.1
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;もう少しシビアな問題は、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;出力されている数値&lt;/code&gt; が &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;候補の確率&lt;/code&gt; ではないというところです。どちらかというと、「それっぽい確率を表すテキスト」ということですね&lt;sup id=&quot;fnref:like&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:like&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;。説明が複雑になるので、理想と実際の状態を考えてみましょう。&lt;/p&gt;

&lt;p&gt;理想としては、文脈を与えたときの単語の確率（例えば&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;P(ハチ公|文脈)&lt;/code&gt;） をモデルが計算してくれる状態です（それが最後に共有する本命です）。しかし、実際には &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;P( &quot;0.4&quot; | ...ハチ公: )&lt;/code&gt; を計算し、その &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;0.4&quot;&lt;/code&gt; という「テキストとしての確率」が最も確率が高かった…というだけです。&lt;/p&gt;

&lt;p&gt;これは確率というより、「確率を示すテキスト（&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;0.1&quot;&lt;/code&gt;とか&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;0.4&quot;&lt;/code&gt;とか）」の出力ですね。ややこしいですが、別物だということは伝わると思います。このいい加減さを確かめるために一つ実験をしてみましょう。&lt;/p&gt;

&lt;h4 id=&quot;問題点2-選択肢の提示順序の効果&quot;&gt;問題点2: 選択肢の提示順序の効果&lt;/h4&gt;

&lt;p&gt;いい加減さを見るために実験します。以下のように、「ハチ公」を提示する候補の一番後ろにしてみましょう。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# prompt_text = &quot;`昨日、渋谷の名物である_を見に行った。` の `_` に入る単語の候補として `ハチ公 スタバ 公園 スクランブル交差点` があったとき、それぞれの確率を出力してください。&quot;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;prompt_text&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;`昨日、渋谷の名物である_を見に行った。` の `_` に入る単語の候補として `スクランブル交差点 スタバ 公園 ハチ公` があったとき、それぞれの確率を出力してください。&quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;そうすると、以下のようにスクランブル交差点のほうが確率が上になってしまいます。まぁ人間らしいといえば人間らしいのかもしれませんが、Cloze Taskで提示した候補の順番で確率が変わってしまうのは挙動として好ましくありません。&lt;/p&gt;

&lt;div class=&quot;language-text highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;### 確率の推定

- スクランブル交差点：45%
- ハチ公：40%
- スタバ：10%
- 公園：5%
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;人間でも起こりうるのかもしれませんが、確率を返してほしい身としては困ってしまいます。&lt;/p&gt;

&lt;h4 id=&quot;補足-ある概念を表象する単語が複数ある場合&quot;&gt;補足: ある概念を表象する単語が複数ある場合&lt;/h4&gt;

&lt;p&gt;こちらは「そもそも問題なのか」という考え方もあるので提案する方法でも解消させていないのですが、選択肢に &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;忠犬ハチ公像 ハチ公像 忠犬ハチ公の像 ハチ公の像&lt;/code&gt;を加えてみます。どうなるでしょうか。概念としては「ハチ公」と同じものなので、「ハチ公」のパイを食い合って和が0.4（=40%）くらいになることを期待します。&lt;/p&gt;

&lt;p&gt;しかし結果としては、次のような結果となって和が75%になります。&lt;/p&gt;

&lt;div class=&quot;language-text highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;| 候補                 | 確率(%) |
|----------------------|---------|
| ハチ公               | 20      |  # 20%
| ハチ公像             | 25      |  # 45%
| 忠犬ハチ公像         | 15      |  # 60%
| ハチ公の像           | 10      |  # 70%
| 忠犬ハチ公の像       | 5       |  # 75%
| スクランブル交差点   | 20      |
| スタバ               | 3       |
| 公園                 | 2       |
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;この直感と異なる挙動を説明するために、少し話をシンプルにしましょう。候補が「ハチ公」と「スクランブル交差点」だけだったとして、これらが50/50と最初に推定されたとしましょう。概念としてどちらを選択するか、という話です。&lt;/p&gt;

&lt;p&gt;ここに「ハチ公」の言い換えである「忠犬ハチ公」とか「ハチ公像」とか、要は「ハチ公という概念」を示す別の表記が増えても、概念の別の表記をしているだけです。なので、候補の数が増えたからといって「ハチ公」を示す概念が選ばれる確率が上がっていくのはおかしな話に聞こえます。逆に「スクランブル交差点」の確率が下がるのも変な話ですね。&lt;/p&gt;

&lt;p&gt;ただ、実際はそこまでおかしくありません。というのも、上の話は前提がずれてしまっているのです。実際にしたいこととしては、文脈を与えた時「(i)どの概念が (ii)どのくらいの確率で選ばれるのか」を知りたいのです。ただ、上でやっていることは「概念」ではなく「単語」の確率を聞いているのですね。&lt;/p&gt;

&lt;p&gt;したがって、実際に運用する場合は少なくとも3種類の方略が取れます。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;「ある概念をもっとも代表するような、プロトタイプ的な表現」を概念ごとに一つずつ採用&lt;/li&gt;
  &lt;li&gt;ある概念を示しうる単語をすべて洗い出してからまとめてあげる作業（周辺化ともいえますが）&lt;/li&gt;
  &lt;li&gt;概念で聞いて確率を求めさせ、そのパイのなかで個々の表現方法の確率を取得&lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&quot;プランb-選択肢を選ぶ確率で考えよう&quot;&gt;プランB: 選択肢を選ぶ確率で考えよう&lt;/h3&gt;

&lt;p&gt;ほかにも、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;top_logprobs&lt;/code&gt;という機能を使うのもありえます。これは出力の候補の確率を返してくれるというものです。ただ、後述する「トークン」という特殊な単位を使っているので、単語を返してくれることは期待できません&lt;sup id=&quot;fnref:logprobs&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:logprobs&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;。そこで、数字の候補を出力させることを考えましょう。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;openai&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;google.colab&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;userdata&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;math&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# OpenAI APIキーを取得
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;openai_api_key&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;userdata&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;OPENAI_API&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# OpenAIクライアントを初期化
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;client&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;openai&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;OpenAI&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;api_key&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;openai_api_key&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 候補語リスト
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;ハチ公&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;スクランブル交差点&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;スタバ&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;公園&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;candidates_str&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot; &quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;join&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;. &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cand_i&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cand_i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;enumerate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)])&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ids_str&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;enumerate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)]&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# top_logprobsを使って候補語の確率を直接取得
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;prompt&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;「昨日、渋谷の名物である_を見に行った。」の _ には何が入りますか。次の候補から、適切な候補の数字のみ出力してください。&lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\n\n&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;候補: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidates_str&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;response&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;chat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;completions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;create&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;gpt-4.1&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;messages&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;role&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;user&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;content&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prompt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;top_logprobs&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;20&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 上位20個のトークン候補の確率を取得
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;max_tokens&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;temperature&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.0&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 数字トークンの確率を抽出
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;number_probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{}&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;first_token_data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;response&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;choices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;content&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\n&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;数字トークンの確率:&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;top_token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;first_token_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;top_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;token_text&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;top_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;strip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token_text&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ids_str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;math&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;exp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;top_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;number_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prob&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;candidate_name&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;  &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token_text&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;. &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidate_name&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;prob&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt; (logprob: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;top_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprob&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;)&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 結果表示
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\n&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;最終確率:&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;total&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;number_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;())&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;sorted&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;number_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;normalized_prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;number_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;total&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;total&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;normalized_prob&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt; (&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;normalized_prob&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;100&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;%)&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;これの結果は次のようになります。圧倒的にハチ公ですね。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-txt&quot;&gt;数字トークンの確率:
  1. ハチ公: 1.0000 (logprob: -0.0000)
  2. スクランブル交差点: 0.0000 (logprob: -15.0000)

最終確率:
ハチ公: 1.0000 (100.00%)
スクランブル交差点: 0.0000 (0.00%)
&lt;/code&gt;&lt;/pre&gt;

&lt;p&gt;ただ、これもあまりよくありません。候補の種類や数、順番をいじると、確率が変わります。ハロウィンを試しに入れてみたのですが、ハロウィン自体に確率は入らないのに確率分布が大きく変わってしまいました。同じ概念の別の表記が増えてもその概念の確率が高くならないのは好印象ですが、挙動としては信頼できないですね。&lt;/p&gt;

&lt;pre&gt;&lt;code class=&quot;language-txt&quot;&gt;「昨日、渋谷の名物である_を見に行った。」の _ には何が入りますか。次の候補から、適切な候補の数字のみ出力してください。

候補: 1. スタバ 2. 公園 3. ハチ公像 4. 忠犬ハチ公の像 5. ハロウィン 6. 忠犬ハチ公像 7. ハチ公 8. スクランブル交差点

数字トークンの確率:
  3. ハチ公像: 0.6218 (logprob: -0.4751)
  8. スクランブル交差点: 0.3771 (logprob: -0.9751)
  6. 忠犬ハチ公像: 0.0000 (logprob: -12.6001)

最終確率:
ハチ公像: 0.6225 (62.25%)
忠犬ハチ公像: 0.0000 (0.00%)
スクランブル交差点: 0.3775 (37.75%)
&lt;/code&gt;&lt;/pre&gt;

&lt;p&gt;ちなみに、「なんでわざわざ数字を出力させるの？」と思うかもしれません。この疑問はいくつかのパターンに細分化できそうです。まず一つのパターンは、以下のようなオープンな回答を許したほうがよくないか、というパターンです。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;prompt&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;「昨日、渋谷の名物である_を見に行った。」の _ には何が入りますか。答え: &quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;ただ、これだとLLMの出力はオープンすぎるので、最大20種類という制限では所望の出力が候補として得られないかもしれません。また、最初のトークンの確率（対数ですが）しかわからないので、最初のトークンが同じ候補が区別できません。&lt;/p&gt;

&lt;p&gt;また、以下のようにYes/Noとさせたほうがよくないか、というパターンもあり得ます。ただ、こちらはそもそもYes/Noの確率自体が違うので、単純な比較ができなくなってしまいます。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;prompt&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;「昨日、渋谷の名物である_を見に行った。」はそれぞれの候補で日本語として自然ですか。 Yes/No&quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;ということで、選択肢の出力がPlan Bでは妥当なのかなぁという感じです。&lt;/p&gt;

&lt;h3 id=&quot;提案手法-前後の文脈を所与とした候補の確率&quot;&gt;提案手法: 前後の文脈を所与とした候補の確率&lt;/h3&gt;

&lt;p&gt;さて、ここまでうまくいかなさそうな方法2つを共有しました。普段からLLMに触っていないと、こういう局所的な解を最適と思ってしまいそうな気もするので、問題点を指摘する意味はあるかなと思います。ただ、もっとうまくいくし、理論上も突っ込みどころの少ない方法があります。そんな複雑な話ではなく、以下のような式で双方向の文脈評価を採用する、というだけです。&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;Score = P(候補語 | 左文脈) × P(右文脈 | 左文脈 + 候補語)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;詳しくは後述しますが、これを実現するには、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;左文脈|候補語|右文脈&lt;/code&gt; としたとき（例: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;昨日、渋谷の名物である|ハチ公|を見に行った。&lt;/code&gt;）、それぞれのトークンの確率を求めないといけません。これは、OpenAIが提供しているAPIに沿って言うと&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo=True&lt;/code&gt; と &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;logprobs=True&lt;/code&gt; という2つのオプションを指定しないといけません。&lt;/p&gt;

&lt;p&gt;しかし &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo=True&lt;/code&gt; は &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;text-davinci-003&lt;/code&gt; というモデルで見たのが最後で、それ以降はほとんど使われていません。なにより、&lt;a href=&quot;https://community.openai.com/t/why-will-gpt-3-5-turbo-instruct-no-longer-support-echo-true-and-logprobs-1/404932/5&quot;&gt;コミュニティで指摘されている通り&lt;/a&gt;、この組み合わせは2023年の10月5日から利用できなくなっているのです。&lt;/p&gt;

&lt;p&gt;朗報として、今回紹介する&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gpt-oss&lt;/code&gt;のシリーズでは利用可能です。なんせパラメータがオープンなわけで、かなり自由度の高い使い方ができます。&lt;/p&gt;

&lt;h3 id=&quot;補足-gpt-ossとはオープンソース版gpt&quot;&gt;補足: GPT-OSSとは：オープンソース版GPT&lt;/h3&gt;

&lt;p&gt;使用するGPT-OSS（GPT Open Source Software）を補足しておきます。これは&lt;a href=&quot;https://openai.com/ja-JP/index/introducing-gpt-oss/&quot;&gt;OpenAIが2025年8月5日に公開した&lt;/a&gt;オープンソースの言語モデル (language model) です。言語モデルとは、文 (string) を構成する要素の確率を表現するものです。極論、単語の頻度だけでも言語モデルと呼べます（unigramと呼びますね）。パラメータによって定義でき、たくさんのパラメータを持ったLMをLLM (large language model) と呼びます。&lt;/p&gt;

&lt;p&gt;GPT-OSSの特徴として、モデルの重み（＝パラメータ）が公開されており、ローカル環境で実行できる点があります。また、上で述べたように&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo=True&lt;/code&gt;に対応しているので任意の文字列に対するトークンの確率取得が可能です。これは商用版では廃止済みなのでありがたいですね。&lt;/p&gt;

&lt;p&gt;モデルサイズは&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gpt-oss-120b&lt;/code&gt;と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gpt-oss-20b&lt;/code&gt;が2025年10月30日の段階では公開されており、今回は後者の200億パラメータのものを使っています。驚くべきは、メモリ要件がGPU直結の16GB VRAMで動くという点です。かなり現実的に家庭で買えるレベルのPCで動作します。&lt;/p&gt;

&lt;p&gt;今回の実装ではvLLMを使っています。このvLLM（Virtual Large Language Model）とは、大規模言語モデルに使える高速な推論エンジンです。システム構成は以下のようになっています。ソースコードは載せていませんが、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;cloze.py&lt;/code&gt;にCLIも載せていて、Streamlitというパッケージを使ってブラウザ経由でGUIなどから呼び出せるようにしています。&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;┌──────────────────┐
│  Python Client   │  cloze.py
│  (本実装)         │
└────────┬─────────┘
         │ HTTP Request (/v1/completions)
         ↓
┌──────────────────┐
│   vLLM Server    │  OpenAI互換API提供
│                  │  echo=True対応
└────────┬─────────┘
         │
         ↓
┌──────────────────┐
│   GPT-OSS-20B    │  オープンソースモデル
│   (16GB VRAM)    │  ローカル推論
└──────────────────┘
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;この組み合わせにより、ローカル環境でCloze Taskが実現できます。&lt;/p&gt;

&lt;h2 id=&quot;共有する手法-双方向の文脈評価&quot;&gt;共有する手法: 双方向の文脈評価&lt;/h2&gt;

&lt;p&gt;さて、この双方向の文脈評価が技術的に可能だとして、どんな理屈で求めるのでしょうか。この式がやっていることは「左文脈→候補語の確率」と、「左文脈+候補語→右文脈の確率」の積を求めたいわけです。どちらも、いわゆる「条件付き確率」というやつですね。英語だと &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A|B&lt;/code&gt; は “A given B” と読んだりします。日本語だと「Bを所与としたときのA」ですね。&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;Score = P(候補語 | 左文脈) × P(右文脈 | 左文脈, 候補語)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;「&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;候補語&lt;/code&gt;が&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;左文脈&lt;/code&gt;から発生する確率」と「&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;左文脈＋候補語&lt;/code&gt;が&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;右文脈&lt;/code&gt;を発生させる確率」を計算すると、候補語と左右の文脈の「座りの良さ」が数値化できます。でもこれって、文脈を与えた時の確率なのでしょうか。&lt;/p&gt;

&lt;p&gt;以降のサブセクションでは、どうして上記の計算を妥当と考えるのか、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gpt-oss&lt;/code&gt;とはなんなのか、実装方法について述べていきます。環境構築や必要なハード周りの話は、実際に回す人はあまりいないと思うので、最後のパートでしようと思います。&lt;/p&gt;

&lt;h3 id=&quot;前後の文脈を所与とした候補の確率とは何なのか&quot;&gt;前後の文脈を所与とした候補の確率とは何なのか&lt;/h3&gt;

&lt;p&gt;上で述べましたが、求めるスコアは候補語と左右の文脈の「座りの良さ」を数値化したものです (下に示す式の右辺)。これは左右の文脈を与えた時の$x$の確率に比例します (同式の左辺)。先行する文脈（Context）は $C_{\mathrm{pre}}$、後続する文脈は $C_{\mathrm{post}}$ と表記しています。&lt;/p&gt;

&lt;p&gt;$
P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})
\propto P(C_{\mathrm{post}}\mid C_{\mathrm{pre}},x)P(x\mid C_{\mathrm{pre}})
$&lt;/p&gt;

&lt;p&gt;もちろん、これは（すくなくとも僕にとっては）自明な式ではありません。そこで、左辺の $P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})$ から右辺を導出する過程を考えていきましょう。&lt;/p&gt;

&lt;p&gt;式の左辺はベイズの定理により、次の式のように分解できます（ベイズの定理自体が初見な方には&lt;a href=&quot;https://www.youtube.com/watch?v=mX_NpDD7wwg&quot;&gt;アイシア先生の動画&lt;/a&gt;がおすすめです）。&lt;/p&gt;

&lt;p&gt;$
P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})
=\frac{P(C_{\mathrm{pre}},C_{\mathrm{post}}\mid x)P(x)}{P(C_{\mathrm{pre}},C_{\mathrm{post}})}
$&lt;/p&gt;

&lt;p&gt;候補それぞれの$x$でこの確率の値を計算して比較していくのですが、分母$P(C_{\mathrm{pre}},C_{\mathrm{post}})$は共通しています。なので、この計算がめんどくさそうな、実態のわからない分母も比較の際は無視できます(&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;1/?&lt;/code&gt;と&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;2/?&lt;/code&gt;の比較で&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;?&lt;/code&gt;がわからなくても&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;1:2&lt;/code&gt;となるのと同じです)。よって、次のように比例関係($\propto$で示します。)に落とし込めます。&lt;/p&gt;

&lt;p&gt;$
P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})
\propto P(C_{\mathrm{pre}},C_{\mathrm{post}}\mid x)P(x)
…(1)
$&lt;/p&gt;

&lt;p&gt;この右辺に出てくる $P(C_{\mathrm{pre}}C_{\mathrm{post}}\mid x)$ ですが、ベン図を描くとわかりやすいのですが、さらに次のように分解できます。&lt;/p&gt;

&lt;p&gt;$
P(C_{\mathrm{pre}},C_{\mathrm{post}}\mid x)
= P(C_{\mathrm{pre}}\mid x)P(C_{\mathrm{post}}\mid C_{\mathrm{pre}},x)
…(2)
$&lt;/p&gt;

&lt;p&gt;まず、三つの円が重なるように描きます。そして、それぞれに $C_{\mathrm{pre}}, C_{\mathrm{post}}, x$ とラベルを貼ります。$x$という円の中にある「$C_{\mathrm{pre}}, C_{\mathrm{post}}$ が重なっている部分」が$P(C_{\mathrm{pre}},C_{\mathrm{post}}\mid x)$ です。一番小さい部分ですね。これは、「$x$という円の中にある $C_{\mathrm{pre}}$ の面積(=$P(C_{\mathrm{pre}}\mid x)$)」と「その$C_{\mathrm{pre}}, x$ の中にある $C_{\mathrm{post}}$ の割合(=$P(C_{\mathrm{post}}\mid C_{\mathrm{pre}},x)$)」の積ですね。&lt;/p&gt;

&lt;p&gt;抽象的で申し訳ないのですが、上のように図を描いていけば伝わると思います。そして以上の式(2)を式(1)と組み合わせると、最終的に次の値を求めればよいことになります。&lt;/p&gt;

&lt;p&gt;$
P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})
\propto P(C_{\mathrm{pre}}\mid x)P(C_{\mathrm{post}}\mid C_{\mathrm{pre}},x)P(x)
…(A)
$&lt;/p&gt;

&lt;p&gt;あと一息なのですが、式(A)の右辺にある$P(C_{\mathrm{pre}}\mid x)$ も$x \to C_{\mathrm{pre}}$ みたいで時間と逆行していて嫌です。しかもモデルが直接求める値ではないので排除したいです。幸い、これもベイズでひっくり返せます（式B）。&lt;/p&gt;

&lt;p&gt;$
P(C_{\mathrm{pre}}\mid x)=\frac{P(x\mid C_{\mathrm{pre}})P(C_{\mathrm{pre}})}{P(x)}
…(B)
$&lt;/p&gt;

&lt;p&gt;この式(B)を式(A)の右辺に代入すると、式(B)の分母と式(A)の分子にある$P(x)$が消しあってくれます。そして候補間の比較において、$P(C_{\mathrm{pre}})$ は共通しているので無視できます。そうすると、最終的に式(C)がえられるので、これを採用します。&lt;/p&gt;

&lt;p&gt;$
P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})
\propto P(C_{\mathrm{post}}\mid C_{\mathrm{pre}},x)P(x\mid C_{\mathrm{pre}})
…(C)
$&lt;/p&gt;

&lt;p&gt;この確率を反映するスコアを求めるにあたっては対数を使います。対数を使うと確率の掛け算が足し算になって便利ですね。もはや確率ではないので尤度（ゆうど）という名前で、さらに言うとスケールが対数なので「対数尤度」です。&lt;/p&gt;

&lt;p&gt;$
s(x)=\log P(C_{\mathrm{post}}\mid C_{\mathrm{pre}}, x)+\log P(x\mid C_{\mathrm{pre}})
…(Score)
$&lt;/p&gt;

&lt;p&gt;最後に、候補集合 ($X$) 上で softmaxという操作をして事後分布とみなします。急に雑な説明になりましたが、ここも&lt;a href=&quot;https://www.youtube.com/watch?v=5CwLT-IQB9E&quot;&gt;アイシア先生の動画&lt;/a&gt;を見るとソフトマックスの気持ちがわかります。&lt;/p&gt;

&lt;p&gt;$
P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})
=\frac{\exp(s(x))}{\sum_{x\in X}\exp(s(x))}
…(Softmax)
$&lt;/p&gt;

&lt;p&gt;こうすることで、文脈を与えた時の候補の確率分布が得られるわけです。&lt;/p&gt;

&lt;h3 id=&quot;ソフトマックス時の注意-概念を代表させる単語&quot;&gt;ソフトマックス時の注意: 概念を代表させる単語&lt;/h3&gt;

&lt;p&gt;ただソフトマックスは、(i)文脈を与えた上の単語の確率をもとめて、(ii)その確率の大きさで確率分布をつくっているだけ、という点に注意です。なので、例えば「ハチ公」という概念を$c_\mathrm{hachi}$としたとき、$P(c_\mathrm{hachi}\mid C_{\mathrm{pre}},C_{\mathrm{post}})$を求められているわけではないのです。あくまでも、求まるのは $P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})$ です。&lt;/p&gt;

&lt;p&gt;すこし話を具体的にしましょう。たとえば、「ハチ公」という概念を単語で表現するとき、色々な$x$が考えられるわけです。 これを $P(x \mid c_\mathrm{hachi})$ としましょう。この$x$には「ハチ公」だったり「忠犬ハチ公」だったり、いろいろな単語が入りうるわけですね。そのいろんな $P(x \mid c_\mathrm{hachi})$ の和をとって1となるなら、その概念のあらゆる表現方法を網羅したことになります。&lt;/p&gt;

&lt;p&gt;でも、上で求めた$P(x\mid C_{\mathrm{pre}},C_{\mathrm{post}})$はそんなことを一切考慮していません。なので、$P(c_\mathrm{hachi}\mid C_{\mathrm{pre}},C_{\mathrm{post}})$ において$P(x_\mathrm{chuuken-hachi} \mid c_\mathrm{hachi})$ と$P(x_\mathrm{hachikou} \mid c_\mathrm{hachi})$ の確率がそれぞれ0.8、0.2なんてこともありうるわけですね。なので概念の代表とする単語によって、最終的なソフトマックスの値が全然違う、ということはありうる点に注意が必要です。&lt;/p&gt;

&lt;h3 id=&quot;各項の求め方とトークンについて&quot;&gt;各項の求め方と「トークン」について&lt;/h3&gt;

&lt;p&gt;おさらいですが、上のScoreにあるように、まずは以下の2つを求めることになります。以下の計算において、一筋縄ではいかない部分を&lt;u&gt;**太字+下線**&lt;/u&gt;にしています。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$\log P(x\mid C_{\mathrm{pre}})$:入力に $C_{\mathrm{pre}}+ x$ を与え、&lt;u&gt;**x部分の**&lt;/u&gt;トークン対数確率の総和を取得。&lt;/li&gt;
  &lt;li&gt;$\log P(C_{\mathrm{post}}\mid x, C_{\mathrm{pre}})$:入力に $C_{\mathrm{pre}}+ x+ C_{\mathrm{post}}$ を与え、&lt;u&gt;**C_post 部分の**&lt;/u&gt;総和を取得。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;日本語では「トークン」の境界が前後の文字で変わりやすいです。なので、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prefix&lt;/code&gt;のみと &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;prefix+target&lt;/code&gt; をそれぞれトークン化し、対象区間だけをトークン単位で切り出して合算しなくてはなりません。後述しますが、トークンは単語でも形態素でも文字でもありません。&lt;/p&gt;

&lt;p&gt;さて、ようやく「トークン」に関してですが、大規模言語モデル（GPT系列を含む）では、テキストをトークンという単位に分割して処理します。トークンは文字でも単語でも形態素でもなく、BPE（Byte-Pair Encoding）というアルゴリズムで決定される文字列単位です。&lt;/p&gt;

&lt;p&gt;日本語のトークン化の例は以下のようになります（&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;�&lt;/code&gt;は文字として表現されない情報を示します）。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;「渋谷の」→ &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;['�', '�', '谷', 'の']&lt;/code&gt; (なんでやねんという感じですが、4トークン)&lt;/li&gt;
  &lt;li&gt;「ハチ公」→ &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;['ハ', 'チ', '公']&lt;/code&gt; (3トークン)&lt;/li&gt;
  &lt;li&gt;「スクランブル交差点」→ &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;['スクランブル', '交差', '点']&lt;/code&gt; (3トークン)&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;このトークン化には、いくつか特徴があります。まず、同じ文字列でも、前後の文脈によって分割が変わる場合があります（文脈依存性）。そして、1文字が1トークンとは限りません（頻出する文字列は長いトークンになります）。そして、語彙サイズは制限されており、例えばGPT-OSSだったら20万トークンという固定された語彙からモデルは選択します。LLMは次のトークンを予測するように学習されています。&lt;/p&gt;

&lt;p&gt;個人的に便利だ思っているのがOpenAIが公開している&lt;a href=&quot;https://platform.openai.com/tokenizer&quot;&gt;OpenAI Tokenizer&lt;/a&gt;です。あと、以前からの同僚に&lt;a href=&quot;https://github.com/openai/tiktoken&quot;&gt;tiktoken&lt;/a&gt;というツールも教えていただきました。こうしたツールを使うと、任意のテキストがどのようにトークン化されるか視覚的に確認できます。異なるモデル（GPT-3.5、GPT-4など）のトークナイザーを比較できて、GPT-OSSはGPT-4に近いと思います（「渋谷の」が4に分割されるという挙動が同じなので）。&lt;/p&gt;

&lt;p&gt;使用例として、以下のようなトークン化になります。&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;入力: 「昨日、渋谷の名物であるハチ公を見に行った。」

トークン化結果（GPT-3.5/GPT-4の場合）:
['昨日', '、', '�', '�', '谷', 'の', '名', '物', 'である', 'ハ', 'チ', '公', 'を', '見', 'に', '行', 'った', '。']
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;ちなみに、おもしろいのが英語におけるスペースの扱いです。&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&quot;I like cats&quot; → [&quot;I&quot;, &quot; like&quot;, &quot; cats&quot;]
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;パーサーで単語に区切って構造をあてる時代は単語にスペースで区切る、という処理が当たり前でした。日本語もそうですね。ただ、この違いが形態素解析だったり分かち書きする処理の必要性を生んでました。他方、このようにスペースを特別視しないことで、英語も日本語も同じモデルが適用可能になるわけですね。YANSで聴講したグーグル合同会社の工藤拓先生の講義で聞いた話なのですが、勉強になりました。こういう一般化、学んでいきたいですね。&lt;/p&gt;

&lt;p&gt;実装では、以下のようにして対数尤度をトークンを考慮して求めます。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;左文脈のみ&lt;/strong&gt;でトークン化 → トークン数 $n_{\text{left}}$ を取得&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;左文脈+候補語&lt;/strong&gt;でトークン化 → トークン数 $n_{\text{left+cand}}$ を取得&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;候補語部分&lt;/strong&gt;のトークン数を計算 = $n_{\text{left+cand}} - n_{\text{left}}$&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;候補語部分の対数尤度&lt;/strong&gt; = トークン[$n_{\text{left}}$:$n_{\text{left+cand}}$]の対数尤度の和&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;この方法により、「候補語がどのようにトークン化されるか」を事前に知る必要がなくなります。&lt;/p&gt;

&lt;h3 id=&quot;注意点-長さバイアスへの対処&quot;&gt;注意点: 長さバイアスへの対処&lt;/h3&gt;

&lt;p&gt;トークンの幅を考える際、その長さによる確率の和の変化も気を付けないとなりません。そもそもとして、確率の積や対数尤度の和を考える場合、短い候補が有利になりやすいという特徴があります。確率の積なら小さい値の掛け算が長くなるということですし、対数尤度なら負の値を足し続けることになるからです。&lt;/p&gt;

&lt;p&gt;長くなるほど確率が下がる、というのは概念に対しては不適切なので、実装では、候補語部分（$x$）トークン長による正規化を適用します。&lt;/p&gt;

&lt;p&gt;$
\text{normalized-logp-candidate} = \frac{\log P(x \mid C_{\mathrm{pre}})}{\text{divisor}}
$&lt;/p&gt;

&lt;p&gt;なお、右文脈 $\log P(C_{\mathrm{post}} \mid C_{\mathrm{pre}}, x)$は候補語間での比較において公平なので正規化を適用しません。&lt;/p&gt;

&lt;p&gt;正規化手法の種類としては、以下のパターンを用意してあります。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;NONE&lt;/strong&gt;: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;divisor = 1.0&lt;/code&gt; （正規化なし。短い候補が有利になりますが計算は単純）&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;TOKEN&lt;/strong&gt;: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;divisor = max(1, token_length)&lt;/code&gt; （トークン数で除算。BPE分割に基づく正規化、技術的に最も適切）&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;CHAR&lt;/strong&gt;: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;divisor = max(1, len(candidate))&lt;/code&gt; （文字数で除算。人間の直感的な長さ感覚に近い評価ですが技術的には不適切。対数尤度の足し算の数と、割り算の分母が一致しない場合もあります）&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;実装の特徴とパフォーマンス最適化結果など&quot;&gt;実装の特徴とパフォーマンス最適化、結果など&lt;/h2&gt;

&lt;p&gt;計算を実装するにあたり以下の点を工夫しています。実装する方がいらっしゃれば参考にしていただければと思います。以下では、実装するときの工夫や実際に動かしてみた結果などを共有します。&lt;/p&gt;

&lt;h3 id=&quot;工夫した点&quot;&gt;工夫した点&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;&amp;lt;左文脈&amp;gt;_&amp;lt;右文脈&amp;gt;&quot;&lt;/code&gt; という入力形式で文脈を与え、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;split(&quot;_&quot;)&lt;/code&gt; でleft/right contextに分割&lt;/li&gt;
  &lt;li&gt;両文脈がそれぞれ空文字の場合も対処（例えばですが、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;_&amp;lt;右文脈&amp;gt;&quot;&lt;/code&gt; を許します）&lt;/li&gt;
  &lt;li&gt;左文脈のキャッシュ化(候補数だけ計算させるの無駄なので&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;joblib&lt;/code&gt;の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Memory&lt;/code&gt;を使ってます)&lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# サンプルコード
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;evaluate_candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;right_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;list&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;include_right_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;bool&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;False&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;length_norm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LengthNormalization&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LengthNormalization&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;NONE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;list&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;CandidateResult&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]:&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;Evaluate all candidates for the cloze task.

    Unified implementation that handles both cases (with/without left context)
    using the same logic. When left_context is empty, left_echo becomes an
    empty EchoLogProbs and left_token_count becomes 0, making the logic
    naturally handle the no-left-context case.
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# Note: include_right_context is allowed even when left_context is empty.
&lt;/span&gt;    &lt;span class=&quot;c1&quot;&gt;# In that case, we compute logP(right | candidate).
&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;results&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# Get left context logprobs (skip API call if no left context)
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;left_token_count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# なければこのまま0になる
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;left_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;left_token_count&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidates&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# Calculate logP(candidate | left) - when left is empty, this becomes logP(candidate)
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;left_cand_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;left_cand_token_count&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_cand_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;candidate_token_length&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;left_cand_token_count&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;left_token_count&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;logp_candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sum_segment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;left_cand_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;left_token_count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;left_cand_token_count&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# Calculate logP(right | left + candidate) - 0.0 if no right_context
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;full_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;right_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;full_token_count&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;full_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;logp_right&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sum_segment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;full_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;left_cand_token_count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;full_token_count&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# Apply include_right_context using multiplication (more efficient than branching)
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;logp_right_weighted&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logp_right&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;include_right_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# Apply length normalization
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;divisor&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_normalization_divisor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;length_norm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate_token_length&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;normalized_logp_candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logp_candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;divisor&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# Calculate final score
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;normalized_logp_candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logp_right_weighted&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;results&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;CandidateResult&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;score&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;score&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;logp_cand_normalized&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;normalized_logp_candidate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;logp_right&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logp_right&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Store original value for transparency
&lt;/span&gt;                &lt;span class=&quot;n&quot;&gt;token_length&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;candidate_token_length&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# Calculate relative probabilities
&lt;/span&gt;    &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;_calculate_relative_probabilities&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;results&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;results&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;実装のポイントとしては、APIを呼ぶときにキャッシュしている部分です。この関数は以下のキャッシュしていない関数の引数と返り値を一つ上の処理でキャッシュしているので、同じモデル、同じプロンプトが来たときは同じ&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;EchoLogProbs&lt;/code&gt;を返します。&lt;/p&gt;

&lt;p&gt;確率を計算しているのは以下の三つの行ですね。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;left_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;left_cand_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;full_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;right_context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;なお、この実装は公開しています（GitHub: https://github.com/kishiyamat/llm-proba）。本実装では、上述したvLLMが提供するOpenAI互換APIを使用しています。具体的には &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;/v1/completions&lt;/code&gt; エンドポイントを利用することで、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo=True&lt;/code&gt; と &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;logprobs&lt;/code&gt; パラメータによるプロンプトトークンの確率取得を実現しています。&lt;/p&gt;

&lt;p&gt;技術的制約として、 OpenAIの新しいChat Completions API (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;/v1/chat/completions&lt;/code&gt;) では&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo&lt;/code&gt; パラメータがサポートされていません。なので、OpenAI公式のGPT-4やGPT-3.5-turboでは、従来の Completions API が非推奨・廃止されているため、vLLMとオープンソースモデルの組み合わせが必須となるのでした。&lt;/p&gt;

&lt;p&gt;APIパラメータの詳細は以下の通りです。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo&lt;/code&gt;: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;True&lt;/code&gt; に設定することで、プロンプト全体の各トークンの対数尤度を返させています。
    &lt;ul&gt;
      &lt;li&gt;例: 「渋谷の」を入力 → &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;['�', '�', '谷', 'の']&lt;/code&gt; の4トークンに分割され、各トークンの対数尤度を取得できます。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;logprobs&lt;/code&gt;: 整数値（0-5）で、各トークンの上位N個の候補と確率を返す数を指定します（本実装では &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;1&lt;/code&gt; を使用）。
    &lt;ul&gt;
      &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;logprobs=1&lt;/code&gt;: 最も確率の高い1つの候補のみ（本実装で使用）
        &lt;ul&gt;
          &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;logprobs=5&lt;/code&gt;: 上位5つの候補とその確率（デバッグや詳細分析に有用ですが、今回は使っていません）&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;temperature&lt;/code&gt;: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;0.0&lt;/code&gt; に設定して決定的(“deterministic”の意味です)な出力を得ています。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;呼ぶときのキャッシュしないバージョンは以下です。これを&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;joblib&lt;/code&gt;の&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Memory&lt;/code&gt;でキャッシュさせています。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;_get_echo_logprobs_uncached&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prompt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;Get echo logprobs using direct HTTP request.&quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;try&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# Make direct HTTP request to /v1/completions endpoint (OpenAI compatible)
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;url&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;base_url&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;/v1/completions&quot;&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;payload&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;prompt&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prompt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;model&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;max_tokens&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;echo&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;logprobs&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Number of top logprobs to return (0-5)
&lt;/span&gt;            &lt;span class=&quot;s&quot;&gt;&quot;temperature&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;response&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;requests&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;post&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;url&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;json&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;payload&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;timeout&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;60.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;response&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;raise_for_status&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;response&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;json&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;choices&quot;&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;choices&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;raise&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;APIError&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Invalid response format from API&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;choice&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;choices&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;logprobs_obj&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;choice&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;logprobs&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_obj&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;tokens&quot;&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_obj&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;token_logprobs&quot;&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_obj&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;raise&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;APIError&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;No logprobs returned from API&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# Extract tokens and logprobs from the response
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;tokens&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_obj&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;tokens&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;logprobs_data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_obj&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;token_logprobs&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;tokens&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;raise&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;APIError&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;No tokens or logprobs returned from API&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# Handle None values in logprobs by replacing with log(MIN_PROBABILITY)
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lp&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lp&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;is&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;math&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;log&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MIN_PROBABILITY&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lp&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logprobs_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EchoLogProbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;tokens&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;except&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;requests&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;RequestException&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;error_msg&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;404&quot;&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;error_msg&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;Not Found&quot;&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;error_msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;raise&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;APIError&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Model &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt; endpoint not found&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;raise&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;APIError&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Error getting logprobs for prompt: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;error_msg&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;except&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;Exception&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;raise&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;APIError&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Error getting logprobs for prompt: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;e&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;パラメータはわかりづらいので、いくつか例を見てみましょう。&lt;/p&gt;

&lt;h3 id=&quot;echotrue-と-logprobs1-による確率計算の具体例&quot;&gt;echo=True と logprobs=1 による確率計算の具体例&lt;/h3&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;echo=True&lt;/code&gt; を使うことで、プロンプト全体の各トークンの対数尤度が得られます。これを利用して、候補語部分だけの確率を抽出する方法を示します。「渋谷のハチ公」を例に考えていきましょう。まず、左文脈として「渋谷の」を入力したとします。その際のAPIレスポンスは以下のようになります。実装上は&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dict&lt;/code&gt;だと中身がわかりづらいので&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;EchoLogProbs&lt;/code&gt;という型を作っています。&lt;/p&gt;

&lt;div class=&quot;language-json highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;err&quot;&gt;//&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;err&quot;&gt;EchoLogProbsとして格納&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;tokens&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;�&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;�&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;谷&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;の&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;token_logprobs&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;null&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;-3.824&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;-0.900&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;-1.684&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;このようなレスポンスになるので、(i) &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;左文脈&lt;/code&gt; (ii) &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;左文脈+候補語&lt;/code&gt;と二回計算します。この(i)と(ii)のトークン数の差分が候補語のトークン数となり、また足すべき幅もわかるわけです。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# 1. 左文脈「渋谷の」のトークン数を取得
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_echo&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;渋谷の&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;left_token_count&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# = 4
&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# 2. 「渋谷の」+「ハチ公」のトークンと対数尤度を取得
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_cand_echo&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_echo_logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;渋谷のハチ公&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# tokens: ['�', '�', '谷', 'の', 'ハ', 'チ', '公']
# logprobs: [None, -3.8, -0.9, -1.7, -2.1, -1.5, -0.8]
&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# 3. 「ハチ公」部分（トークン4-7）の対数尤度を合計
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logp_candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;left_cand_echo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logprobs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# = -2.1 + -1.5 + -0.8 = -4.4
&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# これがP(ハチ公|渋谷の)の対数確率
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;この手法により、トークン境界に依存せず任意の文字列区間の確率を計算できます。&lt;/p&gt;

&lt;h3 id=&quot;結果&quot;&gt;結果&lt;/h3&gt;

&lt;p&gt;ツールにする場合は以下のようにCLI化したり、StreamlitやGradioなどを使ってGUIを作るのもよいと思います。いくつか面白そうな例で回してみましょう。&lt;/p&gt;

&lt;h4 id=&quot;渋谷の名物は&quot;&gt;渋谷の名物は？&lt;/h4&gt;

&lt;p&gt;CLIを作成したのですが、いくつか引数を渡せるようにすると便利で、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;--with-right&lt;/code&gt;で右の文脈を考慮するようにしてます。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;--length-norm&lt;/code&gt;で標準化の方法ですね。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c&quot;&gt;# 基本的な評価&lt;/span&gt;
uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;昨日、渋谷の名物である_を見に行った。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; ハチ公 スクランブル交差点 スタバ 公園&lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;この結果は以下になります。ハチ公が多いですね。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;cand      score   P_rel   logP_norm  logP_r  tok_len
ハチ公    &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.152  0.598   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.857    &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.295   3
スクラ... &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.771  0.322   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.394    &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.377   6
公園      &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.313  0.069   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.805    &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.508   2
スタバ    &lt;span class=&quot;nt&quot;&gt;-15&lt;/span&gt;.080  0.012   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.777    &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.304   2
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;先述した通り、概念ではなく単語なので、単語を足していくとどんどんとソフトマックスした確率は上がっていきます。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c&quot;&gt;# 基本的な評価&lt;/span&gt;
uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;昨日、渋谷の名物である_を見に行った。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; ハチ公 スクランブル交差点 スタバ 公園 ハチ公像 ハチ公の像 忠犬ハチ公 忠犬ハチ公の像&lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand           score    P_rel   logP_norm  logP_r   tok_len
ハチ公の像      &lt;span class=&quot;nt&quot;&gt;-9&lt;/span&gt;.612   0.317   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.947     &lt;span class=&quot;nt&quot;&gt;-8&lt;/span&gt;.665   5
忠犬ハチ公...   &lt;span class=&quot;nt&quot;&gt;-9&lt;/span&gt;.773   0.270   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.423     &lt;span class=&quot;nt&quot;&gt;-9&lt;/span&gt;.350   7
忠犬ハチ公      &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.313  0.158   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.280     &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.033  5
ハチ公像        &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.427  0.141   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.031     &lt;span class=&quot;nt&quot;&gt;-9&lt;/span&gt;.396   4
ハチ公          &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.152  0.068   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.857     &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.295  3
スクラ...       &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.771  0.037   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.394     &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.377  6
公園            &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.313  0.008   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.805     &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.508  2
スタバ          &lt;span class=&quot;nt&quot;&gt;-15&lt;/span&gt;.080  0.001   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.777     &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.304  2
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;これをみると、「ハチ公」よりも「ハチ公の像」の方があてはまりがよさそうですね。結局、この候補なら87.4%でハチ公が選択されることになります。まぁ「スタバ」を「スターバックス」にしたら、そっちの確率が高くなったりしそうなので候補に依存する指標ではあるのですが…。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c&quot;&gt;# 基本的な評価&lt;/span&gt;
uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;昨日、渋谷の名物である_を見に行った。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; ハチ公の像 スクランブル交差点 スタバ 公園 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand       score     P_rel  logP_norm  logP_r  tok_len
ハチ公の像   &lt;span class=&quot;nt&quot;&gt;-9&lt;/span&gt;.612   0.874   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.947   &lt;span class=&quot;nt&quot;&gt;-8&lt;/span&gt;.665   5
スクラ...    &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.771  0.101   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.394   &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.377  6
公園         &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.313  0.022   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.805   &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.508  2
スタバ       &lt;span class=&quot;nt&quot;&gt;-15&lt;/span&gt;.080  0.004   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.777   &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.304  2
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;あと、ちゃんと右の文脈を考慮できているかをチェックするために「を見に行った。」ではなく「を歩いた。」とかにしてみましょうか。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c&quot;&gt;# 基本的な評価&lt;/span&gt;
uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;昨日、渋谷の名物である_を歩いた。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; ハチ公の像 スクランブル交差点 スタバ 公園 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand       score     P_rel  logP_norm  logP_r  tok_len
スクラ...   &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.061   0.747   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.394  &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.667 6
公園        &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.504   0.176   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.805  &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.699 2
ハチ公の像   &lt;span class=&quot;nt&quot;&gt;-13&lt;/span&gt;.360   0.075   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.947  &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.413 5
スタバ      &lt;span class=&quot;nt&quot;&gt;-17&lt;/span&gt;.054   0.002   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.777  &lt;span class=&quot;nt&quot;&gt;-15&lt;/span&gt;.277 2
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;ちゃんと考慮できていますね。&lt;/p&gt;

&lt;h4 id=&quot;日比谷渋谷&quot;&gt;日比谷？　渋谷&lt;/h4&gt;

&lt;p&gt;手前みそなのですが、『ITエンジニアと眺める言語学』という本を出しました。そこで「日比谷」と「渋谷」の聞き間違えの話があるので、例にしてみましょう。&lt;/p&gt;

&lt;p&gt;そのままだと、以下のように「渋谷」が優勢です。でも、実際の発話は「日比谷」だったとします。さて、どうしたらよいでしょうか。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c&quot;&gt;# 基本的な評価&lt;/span&gt;
uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;_の公園に行った。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; 日比谷 渋谷 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
渋谷    &lt;span class=&quot;nt&quot;&gt;-26&lt;/span&gt;.478 0.684   &lt;span class=&quot;nt&quot;&gt;-6&lt;/span&gt;.786  &lt;span class=&quot;nt&quot;&gt;-19&lt;/span&gt;.692 4
日比谷  &lt;span class=&quot;nt&quot;&gt;-27&lt;/span&gt;.248 0.316   &lt;span class=&quot;nt&quot;&gt;-8&lt;/span&gt;.135  &lt;span class=&quot;nt&quot;&gt;-19&lt;/span&gt;.114 4
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;さて、どうしたらこの「日比谷」を優位にできるでしょうか。例えば「自然に触れたくて」とかはどうでしょう。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;自然に触れたくて_の公園に行った。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; 日比谷 渋谷 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
渋谷    &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.626 0.828   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.795  &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.831 3
日比谷  &lt;span class=&quot;nt&quot;&gt;-14&lt;/span&gt;.198 0.172   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.897  &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.301 3
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;だめですね。そもそも日比谷公園に行ったことがないし、いい直感がありません。日比谷は千代田区にありますが、「千代田区の」とつけてみてはどうでしょうか。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;千代田区にある_の公園に行った。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; 日比谷 渋谷 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
日比谷  &lt;span class=&quot;nt&quot;&gt;-19&lt;/span&gt;.411 0.632   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.741  &lt;span class=&quot;nt&quot;&gt;-18&lt;/span&gt;.670 3
渋谷    &lt;span class=&quot;nt&quot;&gt;-19&lt;/span&gt;.952 0.368   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.425  &lt;span class=&quot;nt&quot;&gt;-19&lt;/span&gt;.527 3
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;えらい！　ちゃんと日比谷が優位になりました。&lt;/p&gt;

&lt;h4 id=&quot;拍手と握手&quot;&gt;拍手と握手&lt;/h4&gt;

&lt;p&gt;ほかには拍手と握手なんてのもありますね。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎は_拍手した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; パチパチと ぎゅっと &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
ぎゅっと        &lt;span class=&quot;nt&quot;&gt;-6&lt;/span&gt;.948  0.868   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.315  &lt;span class=&quot;nt&quot;&gt;-5&lt;/span&gt;.633  3
パチパチと      &lt;span class=&quot;nt&quot;&gt;-8&lt;/span&gt;.831  0.132   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.644  &lt;span class=&quot;nt&quot;&gt;-6&lt;/span&gt;.186  5
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;これはうまくいっていませんね。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎はパチパチ_した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; 握手 拍手 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
拍手    &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.812  0.692   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.653  &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.160  2
握手    &lt;span class=&quot;nt&quot;&gt;-4&lt;/span&gt;.622  0.308   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.367  &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.255  2
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎はガッシリ_した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; 握手 拍手 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
拍手    &lt;span class=&quot;nt&quot;&gt;-4&lt;/span&gt;.038  0.637   &lt;span class=&quot;nt&quot;&gt;-0&lt;/span&gt;.661  &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.378  2
握手    &lt;span class=&quot;nt&quot;&gt;-4&lt;/span&gt;.602  0.363   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.282  &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.321  2
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;これらもダメそうです。「ガッシリ拍手」なんて聞いたこともないのですが…。ちょっとそもそもの確率から見てみましょう。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎は_と拍手した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; パチパチ ぎゅっ ガッシリ &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token
    &lt;span class=&quot;c&quot;&gt;# --with-right \&lt;/span&gt;

cand      score   P_rel   logP_cand_norm  tok_len
ぎゅっ    &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.846  0.478   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.846  3
ガッシリ  &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.275  0.311   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.275  4
パチパチ  &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.666  0.211   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.666  4
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;右の文脈を見なければ、「ぎゅっ」や「ガッシリ」のほうが頻度が高い状態です。いろんなパターンも見てみましょう。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎は_と拍手した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; パチパチ ぎゅっ ガッシリ ぱちぱち ぱちぱちと がっしり がしっ ぱちっ &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token
    &lt;span class=&quot;c&quot;&gt;# --with-right \&lt;/span&gt;

cand    score   P_rel   logP_cand_norm  tok_len
がっしり   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.425  0.258   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.425  4
ぱちぱち   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.767  0.183   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.767  4
ぎゅっ     &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.846  0.169   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.846  3
ぱちぱちと &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.992  0.146   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.992  5
ガッシリ   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.275  0.110   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.275  4
パチパチ   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.666  0.075   &lt;span class=&quot;nt&quot;&gt;-2&lt;/span&gt;.666  4
ぱちっ     &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.365  0.037   &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.365  3
がしっ     &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.917  0.021   &lt;span class=&quot;nt&quot;&gt;-3&lt;/span&gt;.917  3
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;うーむ、ふしぎですね。とりあえず、様態を表す代表はひらがなにしてみましょう。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎は_と拍手した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; ぱちぱち ぎゅっ がっしり &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
ぎゅっ    &lt;span class=&quot;nt&quot;&gt;-7&lt;/span&gt;.479  0.995   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.846  &lt;span class=&quot;nt&quot;&gt;-5&lt;/span&gt;.633  3
ぱちぱち  &lt;span class=&quot;nt&quot;&gt;-12&lt;/span&gt;.785 0.005   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.767  &lt;span class=&quot;nt&quot;&gt;-11&lt;/span&gt;.018 4
がっしり  &lt;span class=&quot;nt&quot;&gt;-17&lt;/span&gt;.152 0.000   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.425  &lt;span class=&quot;nt&quot;&gt;-15&lt;/span&gt;.727 4
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;どうすればこうなるのでしょうか。理由を入れてみましょうか。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;太郎は感激して_と拍手した。&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; ぱちぱち ぎゅっ がっしり &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand    score   P_rel   logP_cand_norm  logP_right      tok_len
ぱちぱち        &lt;span class=&quot;nt&quot;&gt;-6&lt;/span&gt;.411  0.602   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.358  &lt;span class=&quot;nt&quot;&gt;-5&lt;/span&gt;.053  4
ぎゅっ  &lt;span class=&quot;nt&quot;&gt;-6&lt;/span&gt;.842  0.391   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.715  &lt;span class=&quot;nt&quot;&gt;-5&lt;/span&gt;.127  3
がっしり        &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.983 0.006   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.330  &lt;span class=&quot;nt&quot;&gt;-9&lt;/span&gt;.652  4
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;ようやく「ぱちぱち」が上になりました。色々と工夫が必要そうです。&lt;/p&gt;

&lt;p&gt;ほかにも、「握手」を優位させるためにいくつか試してみました。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;“太郎は自分の名前を言った後に_した。” -&amp;gt; 0.449&lt;/li&gt;
  &lt;li&gt;“太郎は相手の目を見て_した。” -&amp;gt; 0.509&lt;/li&gt;
  &lt;li&gt;“太郎はぎゅっと_した。”  -&amp;gt;  0.172&lt;/li&gt;
  &lt;li&gt;“太郎は「初めまして」と言いながら_した。” -&amp;gt;  0.516&lt;/li&gt;
  &lt;li&gt;“太郎は取引先の営業と_した。” -&amp;gt;  0.532&lt;/li&gt;
  &lt;li&gt;“取引先の営業と_するのはマナーだ。” -&amp;gt; 0.851&lt;/li&gt;
  &lt;li&gt;“太郎は礼儀正しく取引先の営業と_した。” -&amp;gt;  0.450&lt;/li&gt;
  &lt;li&gt;“取引先の営業と_して名刺を交換した。” -&amp;gt;  0.688&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;うーむ、わかりませんね。そもそも「太郎は」みたいなジェネリックな、よくプレースホルダーとして使われるものを使うのがよくない気もしてきました。今後も使っていくツールになるので、特徴はつかんでいこうと思います。&lt;/p&gt;

&lt;!--
uv run python cloze.py \
    --base-url http://localhost:8000 \
    --model openai/gpt-oss-20b \
    --cloze &quot;取引先の営業と_して名刺を交換した。&quot; \
    --cands 握手 拍手 \
    --with-right \
    --length-norm token
--&gt;

&lt;h4 id=&quot;英語のテスト&quot;&gt;英語のテスト&lt;/h4&gt;

&lt;p&gt;まぁこれは得意ですよね。&lt;/p&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;The machine can be very dangerous, especially when it _ in motion.&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; is moves goes has &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

&lt;span class=&quot;c&quot;&gt;# 英語だと &quot;The machine can be very dangerous, especially when it &quot;&lt;/span&gt;
&lt;span class=&quot;c&quot;&gt;# を入力していて最後の &quot; &quot; が1tokenになっている。&lt;/span&gt;
&lt;span class=&quot;c&quot;&gt;# そこに &quot;is&quot; がはいってもトークン数は変わらない&lt;/span&gt;
cand    score   P_rel   logP_cand_norm  logP_right      tok_len
is      &lt;span class=&quot;nt&quot;&gt;-5&lt;/span&gt;.059  0.886   0.000   &lt;span class=&quot;nt&quot;&gt;-5&lt;/span&gt;.059  0
has     &lt;span class=&quot;nt&quot;&gt;-7&lt;/span&gt;.688  0.064   0.000   &lt;span class=&quot;nt&quot;&gt;-7&lt;/span&gt;.688  0
goes    &lt;span class=&quot;nt&quot;&gt;-8&lt;/span&gt;.027  0.046   0.000   &lt;span class=&quot;nt&quot;&gt;-8&lt;/span&gt;.027  0
moves   &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.408 0.004   0.000   &lt;span class=&quot;nt&quot;&gt;-10&lt;/span&gt;.408 0
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-bash highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;uv run python cloze.py &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--base-url&lt;/span&gt; http://localhost:8000 &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--model&lt;/span&gt; openai/gpt-oss-20b &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cloze&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&quot;All parrots have one thing in _.&quot;&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--cands&lt;/span&gt; addition fact advance common &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--with-right&lt;/span&gt; &lt;span class=&quot;se&quot;&gt;\&lt;/span&gt;
    &lt;span class=&quot;nt&quot;&gt;--length-norm&lt;/span&gt; token

cand     score   P_rel   logP_cand_norm  logP_right      tok_len
common   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.004  0.324   0.000   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.004  0
fact     &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.172  0.274   0.000   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.172  0
addition &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.253  0.253   0.000   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.253  0
advance  &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.787  0.148   0.000   &lt;span class=&quot;nt&quot;&gt;-1&lt;/span&gt;.787  0
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;実験結果のまとめ&quot;&gt;実験結果のまとめ&lt;/h3&gt;

&lt;p&gt;期待通りに動いてくれるケースが多くありましたが、擬音語や擬態語に関しては想定と違う挙動をすることがありました。また単純な動詞に関しても、ジェネリックというか、文脈を絞り切らないケースで期待と違う挙動をすることがありました。ただ、気軽に試せるのは間違いないので今後も挙動を実験してみて理解する必要がありそうです。&lt;/p&gt;

&lt;h2 id=&quot;環境構築&quot;&gt;環境構築&lt;/h2&gt;

&lt;p&gt;最後に、環境に関しての補足です。&lt;/p&gt;

&lt;h3 id=&quot;ハードウェア要件&quot;&gt;ハードウェア要件&lt;/h3&gt;

&lt;p&gt;GPUの選択は細心の注意が必要です。対応していないものを導入すると、そもそも動かないなんてことになります。自分はハードウェアに関して素人なので、まずは一通りセットになっているものを購入しました。GPT-OSS-20Bは16GB VRAM必須です。自分が使っているのは&lt;strong&gt;RTX 5070 Ti&lt;/strong&gt;なのですが、理屈では4080でも動くはずで、5070だと動かないはずです。&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;GPU選択肢&lt;/th&gt;
      &lt;th&gt;VRAM&lt;/th&gt;
      &lt;th&gt;価格帯&lt;/th&gt;
      &lt;th&gt;適用性&lt;/th&gt;
      &lt;th&gt;推奨度&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;&lt;strong&gt;RTX 4070 Ti&lt;/strong&gt;&lt;/td&gt;
      &lt;td&gt;12GB&lt;/td&gt;
      &lt;td&gt;~12万円&lt;/td&gt;
      &lt;td&gt;❌ &lt;strong&gt;不足&lt;/strong&gt;&lt;/td&gt;
      &lt;td&gt;使用不可&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;&lt;strong&gt;RTX 4080&lt;/strong&gt;&lt;/td&gt;
      &lt;td&gt;16GB&lt;/td&gt;
      &lt;td&gt;~15万円&lt;/td&gt;
      &lt;td&gt;✅ 可能(?)&lt;/td&gt;
      &lt;td&gt;安定動作&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;&lt;strong&gt;RTX 5070&lt;/strong&gt;&lt;/td&gt;
      &lt;td&gt;12GB&lt;/td&gt;
      &lt;td&gt;~10万円&lt;/td&gt;
      &lt;td&gt;❌ &lt;strong&gt;不足&lt;/strong&gt;&lt;/td&gt;
      &lt;td&gt;使用不可&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;&lt;strong&gt;RTX 5070 Ti&lt;/strong&gt;&lt;/td&gt;
      &lt;td&gt;16GB&lt;/td&gt;
      &lt;td&gt;~13万円&lt;/td&gt;
      &lt;td&gt;✅ 最新&lt;/td&gt;
      &lt;td&gt;最適選択&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h3 id=&quot;ソフトウェア環境構築&quot;&gt;ソフトウェア環境構築&lt;/h3&gt;

&lt;p&gt;これに関してはREADMEに記述しています。&lt;/p&gt;

&lt;h2 id=&quot;まとめ&quot;&gt;まとめ&lt;/h2&gt;

&lt;p&gt;この記事では、Cloze Taskにおける候補集合 $X$ の各候補 $x$ にスコアを付与し、相対確率を得るまでの一連の手順を、実装と実験を交えて整理しました。目標は文脈 $C_{\mathrm{pre}}, C_{\mathrm{post}}$ に対して候補 $x$ の尤もらしさを比較することで、これは $s(x)=\log P(x\mid C_{\mathrm{pre}})$ と、必要に応じて $\log P(C_{\mathrm{post}}\mid C_{\mathrm{pre}}+x)$ を合算しました。そして、候補間の相対分布は $\mathrm{softmax}(s(x))$ で得る、という流れです。&lt;/p&gt;

&lt;p&gt;注意点としては、別表記の候補を増やすとsoftmax の分母が増えたり、同一概念内で確率が割れて他概念の見かけの確率まで変動したり、という問題があります。対策としては、代表する概念を探すか各概念において候補を羅列する方法がありますが、代表する概念を選択するほうが楽そうです。&lt;/p&gt;

&lt;p&gt;いくつか実験もしましたが、一般的なケースでは直感に合う順位づけが得られました。ただ、擬音語や擬態語などが出てくる場合では期待と違う挙動も見られました。今後の展望はハイパーパラメータの調整や人の感覚と近づく条件の調査などがタスクとしてあります。実装は公開していますので(https://github.com/kishiyamat/llm-proba)、バグ報告や改善提案、実験レポートの共有を歓迎します。&lt;/p&gt;

&lt;hr /&gt;
&lt;hr /&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:log&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;記事を書いたおかげで、実装や挙動の想定外だった部分に複数気づくことができました。 &lt;a href=&quot;#fnref:log&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:like&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;あえて適当さを出すために「それっぽい」と表現しています。 &lt;a href=&quot;#fnref:like&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:logprobs&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;工夫すればできるかもしれません。N個のトークンを出力させてマッチをとるとか。なお似た例としては、&lt;a href=&quot;https://cookbook.openai.com/examples/using_logprobs#1-using-logprobs-to-assess-confidence-for-classification-tasks&quot;&gt;分類タスクにLLMを用いる&lt;/a&gt;ケースがあります。コードを読み慣れている人はそちらを一読してもよいかもしれません。 &lt;a href=&quot;#fnref:logprobs&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;</content><author><name></name></author><category term="python" /><category term="llm" /><category term="cloze" /><summary type="html">はじめに: 動機とよくなさそうな方法</summary></entry><entry><title type="html">書籍『ITエンジニアと眺める言語学』が出版されました</title><link href="https://kishiyamat.work/2025/10/22/yaminabe-book.html" rel="alternate" type="text/html" title="書籍『ITエンジニアと眺める言語学』が出版されました" /><published>2025-10-22T10:00:00+00:00</published><updated>2025-10-22T10:00:00+00:00</updated><id>https://kishiyamat.work/2025/10/22/yaminabe-book</id><content type="html" xml:base="https://kishiyamat.work/2025/10/22/yaminabe-book.html">&lt;p&gt;以前、&lt;a href=&quot;https://la-kentei.com/kotoba_special&quot;&gt;リベラルアーツ検定クイズ&lt;/a&gt;というサイトで『言語学闇鍋エンジニアリング』という名前のブログを掲載させてもらっていました。内容は、居酒屋でちょっとネタになるような話題を少し時間をとってプログラミングを使いながら考察してみる、というものです。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/book/front.jpg&quot; alt=&quot;本がでました&quot; /&gt;&lt;/p&gt;

&lt;p&gt;プログラミング自体は書籍には載せない方針で、内容に興味を持った人はGitHubに掲載しているコードを使って遊べるようにしています。各章の内容のPythonコードをのっけています。&lt;/p&gt;

&lt;p&gt;https://github.com/kishiyamat/la-kentei-yaminabe/tree/main/notebooks&lt;/p&gt;

&lt;p&gt;少し言語に興味のある大学生とか友人とか、そこらへんの人を考えて書いたものです。ただ、言語学をしっかりやった人でも「へぇ、エンジニアは言語学をこういう目で見てるのね」と思うと面白く読めるのではと思います。&lt;/p&gt;

&lt;p&gt;個人的には、人文系の大学ではプログラミングを教える人材は不足しているので、ある程度は学生の自習に任せるしかないんじゃないかなと思ってます。言語に興味のある学生がプログラミングに触れたいと思ったときに、ちょうどよいネタを提供できればと思って書きました。&lt;/p&gt;

&lt;p&gt;僕が大学生のころに知りたかった話題は大体抑えていて、単語の表現方法とか音の扱いとか、構文木の処理の仕方とか、そこらへんまでが対象です。談話と意味のレベルは、わからなさ過ぎて言及すらできませんでした。&lt;/p&gt;

&lt;p&gt;言語学的なスコープはさておき、扱っているネタ的なトピックとしてはタヌキとムジナとか、ハリポタツアーとか、聞き間違えとか、カードゲームとか、それなりにオリジナリティのある内容になっているとは思います。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/book/last.jpg&quot; alt=&quot;後ろの文言&quot; /&gt;&lt;/p&gt;

&lt;p&gt;しかし、タイポはかなりの回数読み直したのですが残ってしまいました。出版したあとに生えてきてるんじゃないかと思いましたが、完全な力不足です。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/book/typo.jpg&quot; alt=&quot;後ろの文言&quot; /&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;p.5 下から6行目: 観察できます→観察できる&lt;/li&gt;
  &lt;li&gt;p.11 第二段落3行目: 図3上の→図２上の&lt;/li&gt;
  &lt;li&gt;p.23 第二段落: （傾きと読んでいた）→（傾きと呼んでいた）&lt;/li&gt;
  &lt;li&gt;p.25 5行目: さて、→　さて（段落始まりのスペースが落ちている）&lt;/li&gt;
  &lt;li&gt;p.36 「ウポポイという…」（図2のキャプションが本文になっている）&lt;/li&gt;
  &lt;li&gt;p.129 頭語構造→統語構造&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;その他、わかりづらい点などは以下です。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;p.42 同じ高さの声を出す、というのはいうほど簡単ではないことに気づきました。&lt;/li&gt;
  &lt;li&gt;p.120 写真の色の、と書いていますが白黒なので、”orange cat” を検索してみて、という旨のコメントをしたほうが良かったかもしれません。日本語母語話者の感覚としては茶色の猫が出てきます。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;出版まで、編集の方にはかなりご迷惑をかけてしまいました。もともとがブログだったので、脇道にそれる頻度がそれなりにあり、補修工事が大変だったと思います。あと、帯に採用させていただいたのは&lt;a href=&quot;https://x.com/ART_takahara&quot;&gt;高原さと&lt;/a&gt;様のイラストです。昔、イラストを描いていた時期があったのですがその時のご縁でお声がけさせていただきました。かわいいイラストで眼福でした。&lt;/p&gt;

&lt;p&gt;なお、内容は所属は関係なく個人のものです。念のため事務室に問い合わせて、今の所属の前に書いたものなので許可は不要との返事をいただいております。今後は、学会だけじゃなくて技術書典などの技術系の同人イベントに顔を出していけたらなと思います。あと、今の事業のしかただとスケールしないので、そこも考えていきます。&lt;/p&gt;</content><author><name></name></author><category term="book" /><category term="yaminabe" /><summary type="html">以前、リベラルアーツ検定クイズというサイトで『言語学闇鍋エンジニアリング』という名前のブログを掲載させてもらっていました。内容は、居酒屋でちょっとネタになるような話題を少し時間をとってプログラミングを使いながら考察してみる、というものです。 プログラミング自体は書籍には載せない方針で、内容に興味を持った人はGitHubに掲載しているコードを使って遊べるようにしています。各章の内容のPythonコードをのっけています。 https://github.com/kishiyamat/la-kentei-yaminabe/tree/main/notebooks 少し言語に興味のある大学生とか友人とか、そこらへんの人を考えて書いたものです。ただ、言語学をしっかりやった人でも「へぇ、エンジニアは言語学をこういう目で見てるのね」と思うと面白く読めるのではと思います。 個人的には、人文系の大学ではプログラミングを教える人材は不足しているので、ある程度は学生の自習に任せるしかないんじゃないかなと思ってます。言語に興味のある学生がプログラミングに触れたいと思ったときに、ちょうどよいネタを提供できればと思って書きました。 僕が大学生のころに知りたかった話題は大体抑えていて、単語の表現方法とか音の扱いとか、構文木の処理の仕方とか、そこらへんまでが対象です。談話と意味のレベルは、わからなさ過ぎて言及すらできませんでした。 言語学的なスコープはさておき、扱っているネタ的なトピックとしてはタヌキとムジナとか、ハリポタツアーとか、聞き間違えとか、カードゲームとか、それなりにオリジナリティのある内容になっているとは思います。 しかし、タイポはかなりの回数読み直したのですが残ってしまいました。出版したあとに生えてきてるんじゃないかと思いましたが、完全な力不足です。 p.5 下から6行目: 観察できます→観察できる p.11 第二段落3行目: 図3上の→図２上の p.23 第二段落: （傾きと読んでいた）→（傾きと呼んでいた） p.25 5行目: さて、→　さて（段落始まりのスペースが落ちている） p.36 「ウポポイという…」（図2のキャプションが本文になっている） p.129 頭語構造→統語構造 その他、わかりづらい点などは以下です。 p.42 同じ高さの声を出す、というのはいうほど簡単ではないことに気づきました。 p.120 写真の色の、と書いていますが白黒なので、”orange cat” を検索してみて、という旨のコメントをしたほうが良かったかもしれません。日本語母語話者の感覚としては茶色の猫が出てきます。 出版まで、編集の方にはかなりご迷惑をかけてしまいました。もともとがブログだったので、脇道にそれる頻度がそれなりにあり、補修工事が大変だったと思います。あと、帯に採用させていただいたのは高原さと様のイラストです。昔、イラストを描いていた時期があったのですがその時のご縁でお声がけさせていただきました。かわいいイラストで眼福でした。 なお、内容は所属は関係なく個人のものです。念のため事務室に問い合わせて、今の所属の前に書いたものなので許可は不要との返事をいただいております。今後は、学会だけじゃなくて技術書典などの技術系の同人イベントに顔を出していけたらなと思います。あと、今の事業のしかただとスケールしないので、そこも考えていきます。</summary></entry><entry><title type="html">第20回言語処理若手シンポジウム（YANS）で発表してきました</title><link href="https://kishiyamat.work/2025/10/22/yans2025.html" rel="alternate" type="text/html" title="第20回言語処理若手シンポジウム（YANS）で発表してきました" /><published>2025-10-22T09:00:00+00:00</published><updated>2025-10-22T09:00:00+00:00</updated><id>https://kishiyamat.work/2025/10/22/yans2025</id><content type="html" xml:base="https://kishiyamat.work/2025/10/22/yans2025.html">&lt;p&gt;第20回言語処理若手シンポジウム（YANS）で発表してきました。「聞き間違い事例に基づく日本語異聴コーパスの構築と事例の予測」というタイトルで、ネットや速記に見つかる聞き間違えのデータを4490件集めて整備した、という内容です。また、個人の音素弁別能力から、そうした事例を再現できるか、また別の聞き間違えが予測できるか、という予測のモデルを発表しました。&lt;/p&gt;

&lt;p&gt;また、ありがたいことに奨励賞をいただきました。おそらく、作成したコーパスを検索できるデモを作成したので研究の内容が伝わりやすかったのかなと思います。現在の&lt;a href=&quot;https://corpus.kikoepred.com/&quot;&gt;聞き間違いコーパスの検索ページ&lt;/a&gt;で、コーパスを検索できます。&lt;/p&gt;

&lt;p&gt;今後、このデータを使っていろいろと実験・分析していく予定です。発表を聞いてくださった方、遅ればせながら感謝いたします。なにより、データを提供してくださった&lt;a href=&quot;https://www.yamatosokki.co.jp/&quot;&gt;大和速記情報センター&lt;/a&gt;社長の津田様には感謝してもしきれません。社会実装がんばります。&lt;/p&gt;

&lt;p&gt;引き続きよろしくお願いいたします。&lt;/p&gt;</content><author><name></name></author><category term="yans" /><summary type="html">第20回言語処理若手シンポジウム（YANS）で発表してきました。「聞き間違い事例に基づく日本語異聴コーパスの構築と事例の予測」というタイトルで、ネットや速記に見つかる聞き間違えのデータを4490件集めて整備した、という内容です。また、個人の音素弁別能力から、そうした事例を再現できるか、また別の聞き間違えが予測できるか、という予測のモデルを発表しました。 また、ありがたいことに奨励賞をいただきました。おそらく、作成したコーパスを検索できるデモを作成したので研究の内容が伝わりやすかったのかなと思います。現在の聞き間違いコーパスの検索ページで、コーパスを検索できます。 今後、このデータを使っていろいろと実験・分析していく予定です。発表を聞いてくださった方、遅ればせながら感謝いたします。なにより、データを提供してくださった大和速記情報センター社長の津田様には感謝してもしきれません。社会実装がんばります。 引き続きよろしくお願いいたします。</summary></entry><entry><title type="html">日本音声学会2024で発表してきました</title><link href="https://kishiyamat.work/2024/09/29/psj2024.html" rel="alternate" type="text/html" title="日本音声学会2024で発表してきました" /><published>2024-09-29T03:00:00+00:00</published><updated>2024-09-29T03:00:00+00:00</updated><id>https://kishiyamat.work/2024/09/29/psj2024</id><content type="html" xml:base="https://kishiyamat.work/2024/09/29/psj2024.html">&lt;p&gt;たくさんの方に聞いていただき、発表後にもコメントをいただくことができて非常に有意義な時間となりました。&lt;/p&gt;

&lt;p&gt;健聴者の「空耳」とか研究できないかというコメントや、エンジニアリングの観点から今後の展望の視座を少し高くできるコメント、今後に活かせそうだなぁと感じました。ありがたい限りです。&lt;/p&gt;

&lt;p&gt;実験のベースとなったソースコードは以下から参照できます。&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://github.com/kishiyamat/kikoepred&quot;&gt;https://github.com/kishiyamat/kikoepred&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;デモは以下から遊べます。研究を動かせる形にしたいという気持ちは昔からあったので、今回は実現できて少し成長した感があります。&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://www.kikoepred.com&quot;&gt;https://www.kikoepred.com&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;まだまだ始めたばかりのプロジェクトですが、ゆっくり育てていきます。かなり難聴という現象に対する理解は浅いので、今後多方面に助けを求めながらブランチを生やしていきます。ありがとうございました！&lt;/p&gt;</content><author><name></name></author><category term="psj" /><summary type="html">たくさんの方に聞いていただき、発表後にもコメントをいただくことができて非常に有意義な時間となりました。</summary></entry><entry><title type="html">PCIbexでEmpty project から実験を作ると newController is not defined と怒られる場合</title><link href="https://kishiyamat.work/2023/10/13/error-pcibex-module.html" rel="alternate" type="text/html" title="PCIbexでEmpty project から実験を作ると newController is not defined と怒られる場合" /><published>2023-10-13T03:00:00+00:00</published><updated>2023-10-13T03:00:00+00:00</updated><id>https://kishiyamat.work/2023/10/13/error-pcibex-module</id><content type="html" xml:base="https://kishiyamat.work/2023/10/13/error-pcibex-module.html">&lt;p&gt;大学の授業準備の際にPCIbexを使おうとしたところ、エラーになって非常に困ったのでエラーの概要と解決方法、原因の考察のログを残しておきます。学期期間中かつToDoが鬼のように溜まっているので推敲なしの書きなぐりですがご容赦ください。&lt;/p&gt;

&lt;h2 id=&quot;エラーの概要&quot;&gt;エラーの概要&lt;/h2&gt;

&lt;p&gt;今回対象とするのは、PCIbexのEmpty projectから実験を示した場合に起こるエラーの一つです。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/01_empty.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;ミニマルな再現のためのケースとして、以下のような容認性判断課題のControllerを作成しています。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/02_paste.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;なお全体のスクリプトは以下です。&lt;/p&gt;

&lt;script src=&quot;https://gist.github.com/kishiyamat/cd62e2d58354338c753eab616c3ad930.js&quot;&gt;&lt;/script&gt;

&lt;p&gt;ただ、このスクリプトを実行させてもIbex部分が実行されることはありません。Ibex部分しかない場合はTrialがないというエラーになりますが、ある場合はただただスキップされてしまいます。このエラーを探るため開発者ツールを見てみると、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;newController is not defined&lt;/code&gt;というエラーが出ています。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/03_error.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;これがエラーの概要です。&lt;/p&gt;

&lt;h2 id=&quot;解決方法&quot;&gt;解決方法&lt;/h2&gt;

&lt;p&gt;解決方法はシンプルです。左下にModulesがあるので、そこのPennController.jsを機能するバージョンで置き換えます。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/04_penn.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;機能するファイルとしては、少なくとも2023/10/13の段階では、以下のURLにある PennController.js が有効に思えます。&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://github.com/PennController/penncontroller/blob/master/releases/2.0/PennController.js&quot;&gt;https://github.com/PennController/penncontroller/blob/master/releases/2.0/PennController.js&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;このURLにアクセスすると、以下のような画面に遷移すると思います。コードを表示しているペインの右上に Raw, Copy, Download を示すボタンがあるのが見えると思います。このダウンロードボタンを押すと、機能するバージョンをダウンロードできます。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/06_dl.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;ダウンロードしたファイルを、先ほど言及した左下のModulesにアップロードします。ダウンロードしたファイルをドラッグ・アンド・ドロップしても良いですし、アップロードボタンから選択しても良いでしょう。個人的にはブラウザのダウンロードしたファイルを確認する画面を表示させ、そこから引っ張ってドロップするのが一番簡単に思えます。&lt;/p&gt;

&lt;p&gt;さてドロップしたりアップロードすると、既存のファイルを置き換えても良いかと問われます。置き換えることが目的なので、Yesを選択しましょう。これで作業は終わりです。もし問われない場合は、ファイル名がPennController.jsになっていない可能性があるので注意しましょう。ファイル名はPennController.jsでなければなりません。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/07_replace.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;これで所望の挙動を得られました。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/08_success.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;原因の考察&quot;&gt;原因の考察&lt;/h2&gt;

&lt;p&gt;JavaScriptは詳しくないのでわからないのですが、上手く行くケースと上手く行かないケースのスクリプトをざっと眺めてみたところ、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;_AddElementType(&quot;Controller&quot;, ...)&lt;/code&gt;という記述の有無に差があることに気づきました。上手く行かないケースでは、この記述が無いようです。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/images/pcibex-error/05_add.png&quot; alt=&quot;キャプション&quot; /&gt;&lt;/p&gt;

&lt;p&gt;恐らくですが、これで”Controller”にまつわる機能を追加しているのでしょう。時間ができたらよく調べてみます。&lt;/p&gt;</content><author><name></name></author><category term="chatgpt" /><summary type="html">大学の授業準備の際にPCIbexを使おうとしたところ、エラーになって非常に困ったのでエラーの概要と解決方法、原因の考察のログを残しておきます。学期期間中かつToDoが鬼のように溜まっているので推敲なしの書きなぐりですがご容赦ください。</summary></entry><entry><title type="html">ChatGPTを英語の授業で使う方法</title><link href="https://kishiyamat.work/2023/01/27/chatgpt-for-efl.html" rel="alternate" type="text/html" title="ChatGPTを英語の授業で使う方法" /><published>2023-01-27T03:00:00+00:00</published><updated>2023-01-27T03:00:00+00:00</updated><id>https://kishiyamat.work/2023/01/27/chatgpt-for-efl</id><content type="html" xml:base="https://kishiyamat.work/2023/01/27/chatgpt-for-efl.html">&lt;p&gt;テレビ東京のワールドビジネスサテライトでﾊﾟｿｺﾝﾆﾁｮｯﾄｸﾜｼｲ英語講師枠でChatGPTの使い方を説明しました。知っていると時間が節約でき、また学生へのフィードバックの質を改善できたり、研究の効率も上がるので、Grammarly や DeepL と同等のレベルで必須のツールになるんじゃなかろうかと感じています。&lt;/p&gt;

&lt;p&gt;英語の教材作成に使えそうなプロンプト（つまり入力）を作るツールはすでに&lt;a href=&quot;https://chatgpt-prompt-generator.streamlit.app/&quot;&gt;こちら&lt;/a&gt;で公開しています。&lt;/p&gt;

&lt;p&gt;このアプリでは、題材(下の方で入力できます)に対する問題の種類(Vocab quizzes, Difficult words, Cloze tests, Comprehension tasks, Discussion topics)を選択したり、対象の学習者を選択することで、ChatGPTに投げるプロンプトの候補を作成してくれます。&lt;u&gt;さらに、ChatGPTの前身であるInstructGPTに投げることも可能です。&lt;/u&gt;結果を見ても、結構いい感じの問題を作成してくれることが多いです&lt;sup id=&quot;fnref:fee&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:fee&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;このアプリはまだ実験と評価の途中なので、何か気づいた点があればフィードバック貰えるとうれしいです。明らかなバグや機能のリクエストは&lt;a href=&quot;https://github.com/kishiyamat/chatgpt-prompt-generator/issues&quot;&gt;GitHubのIssues&lt;/a&gt;にしていただくか、下のDisqussに直接コメントくださっても助かります。他にも、アイデアレベルの「こんなことをしてみたい」のような話も歓迎です&lt;sup id=&quot;fnref:api&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:api&quot; class=&quot;footnote&quot; rel=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;もちろん使用上の注意としては、GrammarlyやDeepLと全く同じで、モデルによるアウトプットの正誤判断はユーザーができないとダメです。ここらへんは入力に対する最尤の系列を出力するという共通点があって、誰もが使う典型的にはタイピングの変換ツールがあるかと思います。漢字の「薔薇」は書けずとも、「ばら」に対して「薔微」や「ヴァラ」がおかしいかどうかの判定はできねばならんわけです。&lt;/p&gt;

&lt;p&gt;以下余談です。&lt;/p&gt;

&lt;p&gt;生成するプロンプトが全て英語ですが、将来的にはプロンプトを日本語でも作れるようにしたいです。なんとなくですが、英語の問題作成の場合は日本語のプロンプトのほうが意図と合うものが作れるような気もしなくもないので。仮に日本語の方が良い英語の問題が作れる場合、単純にそういうデータ（出題日本語、題材英語）が多いからからかもしれません。&lt;/p&gt;

&lt;p&gt;インタビューの中で「学生に使われたらどうする？」という当然の質問がありました。そこで「ChatGPTを使って問題を出す」と答えたのですが、これは冗談じゃなくて現実的にアリなんじゃないかと思ってます。特に英文のライティングなんてのは主張の展開をみたいので、そこで使われたら学習者の能力を測れなくなって致命的です。そうした自体を避けるためにも有効活用していきたいですね。&lt;/p&gt;

&lt;hr /&gt;
&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:fee&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;その場合、1リクエストあたり5円くらい岸山に請求が飛ぶのでお手柔らかにおねがいします。 &lt;a href=&quot;#fnref:fee&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:api&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;これを気軽にAPIとして使えるようになる将来、本当に色々なことができるようになると思います。というより、ChatGPTに限らず Grammatical error correction や 
Automatic speech recognition が気軽にリクエストで処理できるの、これまでの指導とは全く違う形成的な評価ができるようになるので非常に楽しみです。 &lt;a href=&quot;#fnref:api&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;</content><author><name></name></author><category term="chatgpt" /><summary type="html">テレビ東京のワールドビジネスサテライトでﾊﾟｿｺﾝﾆﾁｮｯﾄｸﾜｼｲ英語講師枠でChatGPTの使い方を説明しました。知っていると時間が節約でき、また学生へのフィードバックの質を改善できたり、研究の効率も上がるので、Grammarly や DeepL と同等のレベルで必須のツールになるんじゃなかろうかと感じています。</summary></entry><entry><title type="html">オンライン音声実験マニュアルの公開</title><link href="https://kishiyamat.work/2022/11/08/website-for-audio-exp.html" rel="alternate" type="text/html" title="オンライン音声実験マニュアルの公開" /><published>2022-11-08T03:00:00+00:00</published><updated>2022-11-08T03:00:00+00:00</updated><id>https://kishiyamat.work/2022/11/08/website-for-audio-exp</id><content type="html" xml:base="https://kishiyamat.work/2022/11/08/website-for-audio-exp.html">&lt;p&gt;音声研究のためのオンライン実験（ブラウザ上で実施できる実験）の作成をより簡単にするため、「オンライン音声実験マニュアル」というウェブサイトを作りました。リンクは以下になります。&lt;/p&gt;

&lt;p&gt;https://cool-atami.github.io/online-audio-experiment/&lt;/p&gt;

&lt;p&gt;コンテンツは以下の通りですが、&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;知覚実験の概要（AX実験、ABX＆AXB実験、自然度測定の説明）&lt;/li&gt;
  &lt;li&gt;ミニマルな知覚実験の作成（jsPsychの概要とミニマルな実験の作成）&lt;/li&gt;
  &lt;li&gt;jsPsych(基本)（jsPsychの基本機能であるtimelineやpreloadなど）&lt;/li&gt;
  &lt;li&gt;jsPsych(発展)（jsPsychの発展: リスト作成やランダマイズなど）&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;近々、以下のものも加えようと思っています。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;産出実験の概要（作成中）&lt;/li&gt;
  &lt;li&gt;産出実験の作成（作成中）&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;論文がアウトプットのメインになってしまい、最新の知見を独占してしまっているのってあるべき姿ではないよなぁという感じはしていて、&lt;a href=&quot;https://researchmap.jp/chuyu_huang&quot;&gt;Chuyu HUANG&lt;/a&gt; と作成しました。&lt;/p&gt;

&lt;p&gt;若干スクリプトを書かねばならないので見た目ハードル高めかもしれませんが、学部生の方も見ながら実験を無事に作れていたようです。jsPsychのバージョンはウェブサイトだとver.6ですが、近々7に変えねば…。&lt;/p&gt;</content><author><name></name></author><category term="audio" /><category term="experiment" /><summary type="html">音声研究のためのオンライン実験（ブラウザ上で実施できる実験）の作成をより簡単にするため、「オンライン音声実験マニュアル」というウェブサイトを作りました。リンクは以下になります。</summary></entry></feed>