ページ

2025年12月11日木曜日

ノイズに対する抽象的な圧縮強化技術の開発

2025年12月11日




## 要約:
Retrieval-Augmented Language Modelsにおける情報を過不足なく適切に圧縮するための新技術ACoRNが開発され、正確な回答を生成できるように訓練されています。

---

## 翻訳:
アブストラクティブ圧縮は、検索補助型言語モデル(RAG)において関連情報を-condense-し、計算コストを削減します。しかし、取得されたドキュメントには関連性が低い情報や事実上の誤った内容があり、これらは得点が高いにもかかわらず誤導的な可能性があります。これを解決するために、取り出した文書をより細かい分類を行い、新しいトレーニングステップを導入することでノイズに対する強靭なアブストラクティブ圧縮ACoRNを開発しました。まず、トレーニングデータセットにオフラインデータ拡張を行い、二種類の異なる検索ノイズに対して圧縮器の堅牢性を向上させます。次に、言語モデルベースの圧縮器は複数の取り出した文書から十分な情報を利用できないため位置偏重が生じるため、その要素を中心に正確な回答を支持する重要な情報を中心とした要約を生成するために微調整を行います。実験結果はT5-largeがACoRNを使用して訓練されたときにEMとF1スコアが向上し、答えの文字列も維持できることを示しています。ACoRNは多くの正確性低下ドキュメントを持つデータセットにおいて優れたパフォーマンスを発揮し、実世界での応用に有用です。

[📰 原文はこちら](https://arxiv.org/abs/2512.08943)

---

※本記事はAI(Ollama)による自動翻訳・要約です。

BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/

AI時代の技術と知識のまとめ - AIDexx
https://exbridge.jp/aidexx/

頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct( https://exdirect.net )を、BittensorManは応援しています。

動画の最後にお得な情報がありますので、
最後までご覧ください。

小学生ギャル 経済誌で異例の評価

#aidexx #news 2026年01月22日 1/22(木) 18:58 オリコン 小学生ギャル・ゆなち、『Forbes JAPAN』の「2026年に注目すべき100人」に選出 次世代カルチャーの象徴に 小学生ギャルメディア『KOGYARU(コギャル)』のメンバーで...