7B打敗o3、GPT-5！醫(yī)學(xué)AI智能體讓模型學(xué)會(huì)“看哪里、怎么看”

上海創(chuàng)智學(xué)院 LeapQuest 團(tuán)隊(duì) 投稿量子位 | 公眾號(hào) QbitAI

醫(yī)學(xué)AI會(huì)寫(xiě)解釋，但不代表它真的“看到”了關(guān)鍵證據(jù)。

過(guò)去的醫(yī)學(xué)多模態(tài)模型，大多是把一張影像或一段視頻編碼成視覺(jué)特征，然后讓大模型生成答案與解釋。

但問(wèn)題在于——一個(gè)微小病灶、一個(gè)邊界變化、一段幾秒鐘的手術(shù)動(dòng)作，往往就決定了答案是否成立。

而模型“被動(dòng)接收”視覺(jué)上下文時(shí)，很容易看錯(cuò)區(qū)域、漏看病灶。

為應(yīng)對(duì)這一問(wèn)題，上海創(chuàng)智學(xué)院LeapQuest團(tuán)隊(duì)聯(lián)合浙江大學(xué)、上海交通大學(xué)、復(fù)旦大學(xué)，一口氣拿出了兩篇ICML 2026接收論文，首次把Think with Images/Think with Videos范式應(yīng)用在醫(yī)學(xué)AI領(lǐng)域：

模型不再只是看完圖像或視頻后生成解釋，而是在推理鏈中主動(dòng)調(diào)用視覺(jué)工具，重新觀察關(guān)鍵區(qū)域或關(guān)鍵時(shí)刻，并用新證據(jù)修正判斷。

這意味著，視覺(jué)不再只是輸入，視覺(jué)證據(jù)本身成了模型思考過(guò)程的一部分。

兩篇工作的核心關(guān)鍵詞如下：

兩篇工作不是孤立模型升級(jí)，而是共同提出醫(yī)學(xué)AI的新范式：

讓視覺(jué)證據(jù)進(jìn)入模型的中間思考過(guò)程，把“解釋”從事后語(yǔ)言生成推進(jìn)為推理過(guò)程中的證據(jù)查證。

Ophiuchus：面向醫(yī)學(xué)圖像的tool-augmented Think with Images

MedScope：面向臨床長(zhǎng)視頻的Think with Videos

不是更會(huì)“寫(xiě)解釋”，而是開(kāi)始會(huì)“用視覺(jué)證據(jù)思考”

醫(yī)學(xué)AI過(guò)去最常見(jiàn)的工作方式，是把一張影像或一段視頻編碼成視覺(jué)特征，然后讓大模型生成答案與解釋。

問(wèn)題在于，解釋看起來(lái)完整，并不代表模型真的看到了關(guān)鍵證據(jù)。尤其在醫(yī)學(xué)場(chǎng)景里，一個(gè)微小病灶、一個(gè)邊界變化、一段幾秒鐘的手術(shù)動(dòng)作，往往就決定了答案是否成立。

Ophiuchus和MedScope共同把這個(gè)問(wèn)題向前推進(jìn)了一步：多模態(tài)模型不再只是“被動(dòng)接收視覺(jué)上下文”，而是在推理過(guò)程中主動(dòng)決定是否需要更多證據(jù)應(yīng)該看哪里應(yīng)該回看哪一段，并把工具返回的觀察結(jié)果納入后續(xù)推理。

這就是醫(yī)學(xué)AI領(lǐng)域首次被系統(tǒng)化提出的 “think with images/think with videos” 范式：視覺(jué)不再只是輸入，視覺(jué)證據(jù)本身成為模型思考過(guò)程的一部分。

Think with Images

Think with Images：讓模型在圖像診斷中“重新看一眼”

Ophiuchus的切入點(diǎn)非常直接：現(xiàn)有醫(yī)學(xué)多模態(tài)大模型雖然能寫(xiě)出逐步推理，但遇到需要細(xì)粒度視覺(jué)證據(jù)的任務(wù)時(shí)，仍然容易“看錯(cuò)區(qū)域、漏看病灶、誤把正常結(jié)構(gòu)當(dāng)異常”。

這不是單純語(yǔ)言能力不足，而是視覺(jué)交互機(jī)制不足

因此，Ophiuchus將大模型改造成一個(gè)能與醫(yī)學(xué)圖像工具協(xié)同的視覺(jué)智能體。

它可以根據(jù)當(dāng)前推理狀態(tài)，決定是否調(diào)用外部視覺(jué)工具：用SAM2做精細(xì)分割，用BiomedParse根據(jù)文字提示定位醫(yī)學(xué)結(jié)構(gòu)，用Zoom-in放大關(guān)鍵區(qū)域。

工具調(diào)用后的輸出不是孤立結(jié)果，而會(huì)以observation的形式回到推理鏈，驅(qū)動(dòng)下一步判斷。

更關(guān)鍵的是，Ophiuchus并不是把工具“外掛”在模型外面，而是讓工具成為推理鏈的一部分

模型要學(xué)會(huì)何時(shí)調(diào)用工具、選擇哪個(gè)工具、如何解釋工具輸出，以及當(dāng)工具結(jié)果不可靠時(shí)如何修正策略。

這使得模型從“會(huì)調(diào)用工具”走向“會(huì)用工具思考”。

Ophiuchus 技術(shù)框架

Ophiuchus的價(jià)值不只是讓醫(yī)學(xué)大模型多了幾個(gè)視覺(jué)工具，而是讓模型學(xué)會(huì)在診斷過(guò)程中主動(dòng)“看哪里、怎么看、看完如何修正”。

從閉源SOTA到醫(yī)學(xué)Agent：Ophiuchus用結(jié)果證明“看得更細(xì)”才是關(guān)鍵

在同樣外部工具配置下，Ophiuchus-7B在8個(gè)VQA benchmark上取得68.0的平均分，高于OpenAI-o3的62.2Gemini 2.5 Pro的61.8GPT-5的59.9。

在工具使用準(zhǔn)確性評(píng)估中，Ophiuchus達(dá)到97.9%的平均工具調(diào)用準(zhǔn)確率。

這些結(jié)果背后的含義，比“某個(gè)榜單第一”更重要：

當(dāng)問(wèn)題真正依賴局部結(jié)構(gòu)、病灶邊界和細(xì)胞級(jí)證據(jù)時(shí)，模型大小或語(yǔ)言推理并不是唯一瓶頸。

醫(yī)學(xué)AI需要一種能讓視覺(jué)證據(jù)不斷進(jìn)入推理過(guò)程的機(jī)制

Think with Videos：從“看圖思考”走向“回看關(guān)鍵時(shí)刻”

如果說(shuō)Ophiuchus解決的是醫(yī)學(xué)圖像中的局部證據(jù)問(wèn)題，那么MedScope則把這一范式推進(jìn)到更難的長(zhǎng)視頻場(chǎng)景。

長(zhǎng)臨床視頻的挑戰(zhàn)在于：關(guān)鍵證據(jù)不僅細(xì)，而且稀疏；不僅要看對(duì)內(nèi)容，還要看對(duì)時(shí)間

一個(gè)手術(shù)動(dòng)作、一個(gè)內(nèi)鏡視野變化、一個(gè)器械進(jìn)入與離開(kāi)的瞬間，可能只持續(xù)幾秒，卻決定模型是否真的理解了臨床過(guò)程。

MedScope 提出的 “think with videos” 不是讓模型把整段視頻一次性壓縮成上下文，而是模擬臨床醫(yī)生的觀察方式：

先快速建立全局理解，再回到可疑時(shí)間窗，用crop_video截取片段，用get_frame獲取關(guān)鍵幀，最后把這些局部觀察結(jié)果整合進(jìn)答案。

Textual CoT與 Visual CoT的差別

這使MedScope的推理過(guò)程天然具備可審查性：模型為什么回答這個(gè)結(jié)果，不只看它“說(shuō)了什么”，還可以看它“回看了哪一段視頻、找到了哪些幀、這些證據(jù)是否支持結(jié)論”。

MedScope 框架

ClinVideoSuite與GA-GRPO：讓視頻模型學(xué)會(huì)“找證據(jù)”，而不只是“猜答案”

為了讓模型真正學(xué)會(huì)這種行為，MedScope構(gòu)建了ClinVideoSuite：包含635K時(shí)間戳密集 caption、254K證據(jù)關(guān)聯(lián)QA、34K視覺(jué)CoT軌跡，以及用于強(qiáng)化學(xué)習(xí)的交互式訓(xùn)練環(huán)境。

數(shù)據(jù)不是簡(jiǎn)單問(wèn)答，而是強(qiáng)調(diào)問(wèn)題必須依賴局部時(shí)間窗中的視覺(jué)證據(jù)

訓(xùn)練上，MedScope 采用三階段路線

第一階段進(jìn)行臨床推理warm-up，學(xué)習(xí)醫(yī)學(xué)語(yǔ)義和長(zhǎng)程視頻理解；

第二階段用visual-CoT cold-start SFT教會(huì)模型何時(shí)需要更多證據(jù)、如何調(diào)用工具；

第三階段用GA-GRPO強(qiáng)化時(shí)序?qū)R的工具使用，通過(guò)grounding-aware reward和evidence-modulated advantage，讓模型更偏向檢索真正支持結(jié)論的視覺(jué)片段。

ClinVideoSuite數(shù)據(jù)合成管線

在SVU-31K、ClinVideo-Eval等評(píng)測(cè)中，MedScope在多粒度視頻理解、細(xì)粒度時(shí)序推理和grounded VQA上取得開(kāi)源模型中的SOTA

論文還顯示，去掉evidence reward會(huì)顯著降低定位質(zhì)量，例如R@0.5從40.1下降到33.2mIoU從4.3下降到38.8，說(shuō)明答案級(jí)監(jiān)督不足以教會(huì)模型可靠地選擇證據(jù)。

真正的范式變化：視覺(jué)從“輸入”變成“思維過(guò)程”

把兩篇工作放在一起看，最重要的不是Ophiuchus處理圖像、MedScope處理視頻，而是它們共同定義了一種新的醫(yī)學(xué)多模態(tài)智能范式

模型的推理過(guò)程不再只是語(yǔ)言token的展開(kāi)，而是語(yǔ)言、工具、圖像區(qū)域、視頻片段和證據(jù)反饋之間的閉環(huán)交互

醫(yī)學(xué)AI的下一個(gè)關(guān)鍵能力，不是生成更長(zhǎng)的解釋，而是在給出解釋前主動(dòng)尋找、驗(yàn)證并引用視覺(jué)證據(jù)。

Ophiuchus和MedScope把這一點(diǎn)從方法論變成了可訓(xùn)練、可評(píng)測(cè)、可擴(kuò)展的技術(shù)路線。

為什么這可能成為醫(yī)學(xué)AI Agent的關(guān)鍵拐點(diǎn)

醫(yī)學(xué)任務(wù)與通用視覺(jué)問(wèn)答最大的不同，是每一個(gè)結(jié)論都需要證據(jù)鏈

放射科醫(yī)生會(huì)放大病灶邊緣，病理醫(yī)生會(huì)尋找細(xì)胞形態(tài)，外科醫(yī)生會(huì)回看關(guān)鍵操作，內(nèi)鏡醫(yī)生會(huì)追蹤病灶在時(shí)間中的出現(xiàn)與消失。

也就是說(shuō)，臨床視覺(jué)推理天然就是交互式、證據(jù)驅(qū)動(dòng)和可復(fù)核的。

“Think with Images/Videos”的意義，正是讓醫(yī)學(xué)AI向這種真實(shí)臨床認(rèn)知方式靠近。

它不再滿足于一次性預(yù)測(cè)，而是在模型內(nèi)部建立“假設(shè)-查證-修正-回答”的循環(huán)。

這為臨床可信AI提供了三類重要能力：更少幻覺(jué)、更強(qiáng)可解釋性、更適合復(fù)雜流程

醫(yī)學(xué)AI開(kāi)始真正“邊看邊想”

從Ophiuchus到MedScope，可以看到醫(yī)學(xué)多模態(tài)大模型正在發(fā)生一次底層范式轉(zhuǎn)向

從看圖、看視頻，到在推理過(guò)程中持續(xù)地看；從輸出答案，到主動(dòng)尋找證據(jù)；從語(yǔ)言鏈條，到視覺(jué)證據(jù)參與的多模態(tài)思維鏈

這也解釋了為什么“think with images/videos”值得被單獨(dú)提出。

它不是一個(gè)更花哨的工具調(diào)用框架，而是在醫(yī)學(xué)AI里重新定義了“推理”的邊界：推理不只是語(yǔ)言生成，而是圍繞證據(jù)進(jìn)行的動(dòng)態(tài)視覺(jué)探索

當(dāng)模型能夠在思考中主動(dòng)回看影像、放大病灶、截取視頻、驗(yàn)證證據(jù)，醫(yī)學(xué)AI才真正從“會(huì)回答問(wèn)題”走向“會(huì)進(jìn)行臨床視覺(jué)推理”。

LeapQuest［起躍界問(wèn)］是上海創(chuàng)智學(xué)院面向下一代醫(yī)學(xué)AI Agent、視覺(jué)推理與多模態(tài)大模型的青年交叉研究團(tuán)隊(duì)，聚焦Visual Reasoning、Agentic RL、Clinical Tools，推動(dòng)模型從“生成答案”走向基于證據(jù)的觀察、驗(yàn)證與行動(dòng)。

項(xiàng)目GitHub：
MedScope｜Think with Videos：https://github.com/SII-WenjieLisjtu/MedScope
Ophiuchus｜Think with Images：https://github.com/SII-zyj/Ophiuchus