ページ

2026年9月18日金曜日

選択肢の確率を1回読むだけ。LLMに文章を書かせない高速化を自宅GPUで試した

TypeSafe が9月15日に公開した Jev は、文章ではなく型のついた決定と確率を返す新しいモデルです。翌日 Browser Use がこれを使ったブラウザエージェントを公開し、「フライト検索7秒、0.0039ドル」とXで一気に広まりました。リポジトリの測定文書を読むと、改善前後をそろえた比較は3組だけで25%短縮、著者自身が統計的な主張には足りないと書いています。一方で命令回数は1,092回から101回へ約10分の1。速さの正体はここでした。Jev は外部APIでウェイトリスト制、重みも非公開なので、データを外に出さない方針の会社では使えません。ところが翌日 OpenJev が現れ、同じ方式を公開重みで再現していました。仕組みは単純で、選択肢に対応する文字の確率を1回の計算で直接読むだけ。文章は1文字も書きません。同じモデル同じ問題21個で、直接読むと1.023秒・出力0トークン、JSON生成だと5.332秒・111トークン。5.2倍の差です。そこで自宅の3090に OpenJev と Qwen3.5-4B を入れ、Browser Use のエージェントがそのまま繋がる応答を返すサービスを書きました。結果は判断1回73ミリ秒、簡単な4問は4問正解、ブラウザの要素20個から操作と対象を決めて往復0.378秒、外部通信ゼロ。途中2回つまずいた話も書いています。ひとつはテンプレートが末尾に思考の印を足すせいで答えではない位置の確率を読んでいたこと、もうひとつは選択肢の上限16が実装上の決め打ちで、実際は81個取れたことです。記事の公開操作自体もこの仕組みに判断させました。

この記事は要約版です。続きは元記事でどうぞ:

Jevは速いが外に出せない。だから自宅の3090で同じ設計を動かした(この記事の公開操作もそれにやらせた)