本番環境で vision model を選ぶとき、「画像に対応しているか」だけでは不十分です。実際の開発者が必要としているのは、ユーザーの画像アップロード、スクリーンショット、UI デバッグ、ロゴ検出、文書プレビュー、サポートチケット、そして OpenAI-compatible API 経由で視覚情報を扱う agent workflow で安定して動くルートです。
この記事では gemini-2.5-flash-lite と qwen3-vl-plus を Crazyrouter OpenAI-compatible Base URL 経由で比較します。
リクエスト形式は chat/completions で、messages[].content[] にテキストと image_url を入れています。各モデルは Python logo と GitHub logo の 2 つの安定した公開画像でテストし、各画像につき 3 回実行しました。
テスト時刻：
2026-06-21T13:36:32Z。これは model card の転載ではなく、実際の API 測定結果です。
gemini-2.5-flash-lite を優先候補にできます。qwen3-vl-plus が有利です。| 判断軸 | gemini-2.5-flash-lite | qwen3-vl-plus | なぜ重要か |
|---|---|---|---|
| HTTP success | 6/6 | 6/6 | 通信成功を示すだけで、モデルが画像を見た証明にはならない。 |
| 正しい画像認識 | 6/6 | 6/6 | image_url routing の最重要 smoke-test 指標。 |
| No-image failure claims | 0 | 0 | リクエストは通ったが画像が渡っていない経路を検出できる。 |
| Average latency | 2.618s | 3.859s | ユーザーが通常どれくらい待つかに直結する。 |
| Median latency | 2.627s | 3.729s | 平均よりも典型的な体験を表しやすい。 |
| Slowest request | 4.195s | 4.821s | tail latency は「固まった」と感じる原因になる。 |
| Input price / 1M tokens | $0.055 | $0.1429 | image tagging、OCR pre-filtering、batch classification で重要。 |
| Output price / 1M tokens | $0.22 | $1.4286 | 長めの画像説明を出す場合に効く。 |
| Estimated cost / 10k test-style calls | $0.5466 | $0.3848 | raw token price より実践的。観測された usage を含めている。 |
| Usage / image signal | image tokens が 0 または欠落。HTTP status だけでなく vision smoke test が必要 | image tokens が 0 または欠落。HTTP status だけでなく vision smoke test が必要 | usage metadata は HTTP 200 でも壊れた vision path を示すことがある。 |
これは意図的に vision API smoke test として設計しています。判断できるのは次のような点です。
image_url が動くか一方で、これは OCR、chart reasoning、手書き文字、医療画像、密な文書抽出、multi-image reasoning の完全評価ではありません。そのような workflow では、このテストを最初の routing check として使い、別途 domain-specific evaluation を追加してください。
| 指標 | gemini-2.5-flash-lite | qwen3-vl-plus |
|---|---|---|
| HTTP success | 6/6 | 6/6 |
| Correct recognition | 6/6 | 6/6 |
| No-image replies | 0 | 0 |
| Average latency | 2.618s | 3.859s |
| Median latency | 2.627s | 3.729s |
| Fastest request | 1.302s | 3.423s |
| Slowest request | 4.195s | 4.821s |
| Avg prompt tokens observed | 970.5 | 176.0 |
| Avg completion tokens observed | 5.8 | 9.3 |
| タスク | モデル | 出力例 | レイテンシ | Prompt tokens |
|---|---|---|---|---|
logo_python | gemini-2.5-flash-lite | The Python programming language logo. | 2.616s | 1109 |
logo_python | qwen3-vl-plus | The main logo in the image is the Python programming language logo. | 3.842s | 176 |
logo_github | gemini-2.5-flash-lite | The GitHub logo. | 2.638s | 1109 |
logo_github | qwen3-vl-plus | The image shows the GitHub logo. | 4.821s | 176 |
チャットアプリ、カスタマーサポート、ユーザー画像アップロードでは latency と reliability が最重要です。安いモデルでも、ユーザーが再試行したり、毎回 fallback が発生したりするなら、結果的に安くありません。
大量分類では、成功画像あたりのコストが重要です。タスクが単純で、回答形式を検証できるなら低コストルートを使い、empty answer、no-image claim、low-confidence classification のときだけ fallback します。
この benchmark は OCR quality を証明するものではありません。請求書、表、フォーム、レシート、テキスト量の多いスクリーンショットでは、実データで別の評価が必要です。ロゴを認識できるモデルが layout extraction に強いとは限りません。
Agent は入力の安定性を必要とします。HTTP 200 でも image content が落ちるルートでは、agent が自信を持って間違った判断をする可能性があります。Agent 用途では answer correctness、usage signals、疑わしい image path で fail closed する設計が必要です。
image_url support には複数の意味があります。クライアントから URL を受け取れるだけなのか、gateway が media を取得して変換するのか、upstream provider に元の URL を渡すのか。これは bandwidth、privacy、SSRF controls、latency、billing に影響します。Media behavior は model routing の一部として扱うべきです。
有効な HTTP response は、API が何かを返したことを示すだけです。画像がモデルに届いた証明にはなりません。Vision API monitoring では、小さな deterministic test image を送り、答えが決まっている質問をして、テキスト回答と usage metadata の両方を確認してください。
特に usage 上で image tokens が見えない場合や、モデルが「画像が提供されていない」と答える場合は注意が必要です。それはモデル品質の問題ではなく、adapter、media-fetch、payload conversion、routing の問題かもしれません。
コード内の API endpoint に UTM パラメータは付けません。人がクリックするリンクには UTM を付けられます。例：Crazyrouter Pricing。
最適な Vision API route は workflow によって変わります。リアルタイム対話では正しい認識と低 latency。大量分類では cost per successful image。Agent や document workflow では reliability、usage signals、fallback design が重要です。
つまり、vision model は名前だけで選ぶべきではありません。タスク、failure mode、media path、latency、そして有用な結果あたりのコストで選ぶべきです。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。