Aleph-Alphaは、780億(78B)のパラメータを備えた最新の言語モデル「Kolibri-1」の詳細を公開しました。このモデルは最大100万トークンという非常に長いコンテキストウィンドウに対応しており、膨大なデータの一括処理が可能になります。また、Apache 2.0ライセンスで提供されるため、幅広い用途での活用が期待されています。
この記事は要約版です。続き(残りの話題・実装の詳細)は元記事でどうぞ:
Aleph-Alphaが公開した「Kolibri-1」:最大100万トークンのコンテキストを誇る新モデルの衝撃 10-04