AIエージェントに実務システムを任せていると、「動かない」という報告を受ける場面が必ず出てきます。そのとき最初にやるべきは、コードを直すことではなく、なぜ動かないのかをログとデータで確認することです。
株式会社エクスブリッジでは、Kurageプロジェクトの一環として、AIトレードボット「kfreqai」を紙上取引(実資金は動かさない検証運用)で動かしています。FreqAI(機械学習)による価格予測に、ローカルLLMとClaudeによる二重のリスク判断層を重ねた構成です。
先日、このボットが3日間まったく取引しないという状況になりました。ここで「バグだ」と決めつけて挙動を無理に変えるのではなく、まずログと市場データを確認しました。結果は単純で、監視銘柄15本のうち14本が同時に下落しており、ボットが持つ「市場全体が弱気なら新規の買いを止める」という安全装置が、設計どおりに働いていただけでした。
問題は別のところにありました。以前、この安全装置が過敏すぎるという指摘を受け、監視する銘柄の数を増やす対応をしていました。「市場全体が弱くても、一部の銘柄だけは強いことがある。母集団を増やせば拾える確率が上がる」という発想です。しかし今回、銘柄を増やしても状況は変わりませんでした。理由を調べると、暗号資産の銘柄同士は値動きの相関が強く、市場全体が連動して下げる日には、母集団をいくら増やしても意味がないことが分かりました。前の対策が効いているかどうかを、次に同じ状況が起きたときに検証し、効いていなければなぜかをデータで突き止める。この振り返りのサイクルが、実務でAIシステムを育てるうえで欠かせない部分だと感じています。
そこで、判断のロジックそのものを見直しました。「市場全体が弱気かどうか」という一律の判定だけでなく、「その銘柄が、監視している銘柄全体の平均と比べて、相対的にどれだけ強いか」を新たに計算し、市場全体が弱気でも相対的に強い銘柄だけは個別に取引を許可する仕組みに変更しました。一方で、より重い「今は市場全体が危険な状態にある」という判断については、例外を作らず従来どおり無条件で取引を止める設計を維持しています。安全装置に安易な抜け道を作らないための線引きです。
実装のあとは、単体テストと実データでの動作確認を済ませてから完了としました。正直に書くと、この記事を書いている時点でも、まだ取引が再開したわけではありません。派手な成果の報告ではなく、紙上取引で安全に検証しながら判断のロジックを一つずつ磨いていく、地道な開発プロセスの記録です。
この一連の作業の詳しい経緯は、VWork Blogの本編「「全然取引しない」AIトレードボットに、市場全体が下げる日でも機会を拾えるロジックを追加しました」にまとめています。AIエージェントとの対話を通じて実務システムのロジックを継続的に改善していく取り組みに関心のある方は、VWork Blogもあわせてご覧ください。
