🤖 Fableレベルの回答を1/3のコストで? Echoの動的ルーティングを覗く

毎月のAPI請求書、ちゃんと直視できているだろうか。最上位モデルを本番で叩き続ければ精度は出る。ただし請求も出る。

精度は落としたくない、でも請求は減らしたい。このわがままに正面から答えると言い切ったサービスが、Hacker Newsで467ポイント・219コメントを集めていた。

Tracerの「Echo」は何を約束しているのか

出しているのは Tracer。Y Combinator の支援を受ける研究ラボで、自称は「a research lab focused on intelligence allocation and compute efficiency」。知能の配分と計算効率に的を絞っている。 彼らが Show HN に出した Echo は、1本のエンドポイントにリクエストを投げるだけで、裏側で複数のオープンウェイトの専門モデルを動的に選び、Fableレベルの回答を約1/3のコストで返すという触れ込みだ。

ポイントは「モデルを1つに固定しない」ところ。 コードなのか推論なのか要約なのか、質問の性質を見てから振り分けるという発想自体は、Kaggleのコンペで鍛えられたアンサンブル学習の考え方に近い。 HNのコメント欄でも「アンサンブルは昔からKaggleで一番強かった」という擁護が出ていて、原理としては筋が通っている。

コストの見せ方も独特だ。 Echoは「内部で試したモデル呼び出しとガードレールのすべてを、各プロバイダーのレートカード価格のまま明細に出す」という透明性を売りにしている。 一見誠実に聞こえるが、裏を返せば「何度も試してから答えを選ぶなら、その分の呼び出しコストも積み上がる」ということでもある。 なお現時点では private alpha で、課金そのものが発生しない。表示されるのはあくまで見積もりだ。

HNで噴出した、わりと本質的な懸念

盛り上がった議論の中身は、単なる粗探しでは終わらなかった。

痛いところを突いていたのは、どのモデルが実際に答えたのかがルーティングごとに開示されない点だ。 「契約要件として、どのモデルが処理したか追跡できないと監査を通せない」というエンタープライズ側の指摘があり、開発者もこれを制約として認めている。 精度うんぬんの前に、説明責任が果たせないと使えない。

キャッシュ効率への疑問も刺さっていた。 「同じ会話を複数モデルにラウンドロビンさせたら、プロンプトキャッシュが壊れてコストがむしろ増えるのでは」という突っ込みだ。 モデルを跨ぐたびにコンテキストを再計算するなら、1/3という削減幅は会話の性質次第で簡単に崩れる。

デモ画面の「fake chatbox」も叩かれた。 サインアップ要件を隠したダークパターンだと複数人から指摘され、開発者本人が”removing it now”とその場で対応していたのは印象的だった。 プライバシーポリシーの文言があいまいで「プロンプトを学習に使わない」と明記し直す一幕もあったらしい。

ベンチマークの信頼性にも冷や水が浴びせられている。 GPQA Diamondは93%あたりで天井に近く、そこでの僅差は実力差を示さないという指摘だ。 そもそもコスト削減という動機自体を疑う声もあった。「Anthropicの月200ドルのプランで2500ドル相当のFableクレジットが使えるのでは」という指摘だ。定額プランで上位モデルを実質12倍分使えるなら、ルーティングの複雑さを抱えてまでオープンウェイトへ移す理由がない。

日本語圏ではまだ手つかずの話題

Zenn・Qiitaを見る限り、Echoそのものを扱った記事はまだ出ていない。 一方で「プロンプト単位でLLMを自動ルーティングして本番コストを4割下げる」といった OrcaRouter 系の実践記事や、中国製オープンモデルの値付けを扱った記事はすでに出回っている。 つまり「複数モデルを賢く配分してコストを削る」という発想自体は、日本のエンジニアの間でも実験され始めている段階だ。

Echoが新しいのは、その配分をプロダクトとして外に出し、内訳の見積もりまで晒したこと。 賢くなったわけではなく、コストの配分先を変えただけ——というHNの冷めた指摘は、たぶん正しい。 それでも、配分を工夫するだけでここまで議論が起きるということは、まだこの領域にやれることが残っている証拠なんじゃないか。

あなたのチームなら、モデルの選択をどこまで機械に委ねる?