要約：肺炎は、特に画像診断、検査、専門的な治療へのアクセスが限られている低資源環境において、世界的な病気の原因として依然として主要なものです。臨床的評価は、症状、呼吸パターン、口頭での記述、胸部画像を含む多様な証拠に依存しており、前線でのスクリーニングは本质上多モーダルです。しかし、多くの既存の計算的アプローチは単モーダルであり、主にX線写真に焦点を当てています。本工作中的には、肺炎向けのスクリーニングと分類支援のための多モーダル研究プロトタイプであるMultiSense-Pneumoを提示します。システムは構造化された症状記述、咳の音声、話し言葉、胸部X線写真を統合します。システムは決定論的な症状分類、LightGBMベースの音声分類、ResNet-18を使用したドメイン敵対的X線写真分析、transformerベースの音声認識、解釈可能な遅延融合オペレーターを組み合わせます。各モーダルは標準化された懸念信号に変換され、統一されたスクリーニング評価に集約されます。融合重みは手動で指定され、学習されたまたは臨床的に最適化された値ではなく、启发式的で解釈可能なパラメータとして扱われます。MultiSense-Pneumoは標準的なラップトップクラスのハードウェアでオフライン実行を想定して実装されていますが、デプロイメント検証されたまたは臨床検証された診断システムとして提示されていません。実験結果は、合成ドメインシフト下でX線パスのコンポーネントレベルの性能が強いことを示していますが、同時に重要な限界も強調しており、咳の音声の異常クラス再現率の低下と、ペアされたエンドツーエンドの多モーダル患者評価の欠如が含まれます。したがって、MultiSense-Pneumoはスクリーニングと分類研究のためのフレームワークおよびコンポーネントレベルのプロトタイプとして意図されています。
| 分野: | コンピュータビジョンとパターン認識 (cs.CV); 人工知能 (cs.AI); マシンラーニング (cs.LG) |
| 引用: | arXiv:2605.02207 [cs.CV] |
| (または arXiv:2605.02207v2 [cs.CV] このバージョン用) | |
| https://doi.org/10.48550/arXiv.2605.02207 DataCiteを通じてarXiv発行のDOI |
このコンテンツは慣性聚合(RSSリーダー)によって自動集約されています。参考としてご覧ください。 原文出典 — 著作権は原著者に帰属します。