從解剖結構到手術指導,香港試水醫療多模態大模型


從解剖結構到手術指導,香港試水醫療多模態大模型

人工智能及機器人技術風頭正盛,正在打造創科中心的香港,試圖從醫療垂直領域把握這一藍海。

亞馬遜加碼投資新創

3月28日,中國科學院香港創新院AI中心(簡稱“AI中心”)旗下聯合實驗室首次公開展示了三項成果:GI-SoftTech內窺鏡機器人、ESSENCE微創手術觸覺反饋技術,以及外科手術規劃軟件 EpiNav。

三項成果均與醫療多模態大模型相關。GI-SoftTech搭載了AI智能,實現內鏡檢查的數字化和智能化;ESSENCE能在微型手術工具的末端部署分佈式高密度觸點,首次實現人手級的觸覺感知能力。EpiNav則結合CARES Copilot手術大模型,在神經外科手術中爲醫生提供最佳的手術規劃方案,大幅減少手術規劃時間。

早在兩週前,AI中心發佈了醫療垂直領域的AI多模態大模型CARES Copilot 1.0,目前可以在手術階段自動識別病竈和解剖結構。

相比單模態,多模態大模型可以同時處理多個類型信息,從而實現更靈活地人機交互。

中國科學院香港創新院AI中心執行主任劉宏斌接受界面新聞採訪時表示,CARES Copilot 1.0實現了圖像、文本、語音、視頻、MRI、CT、超聲等多模態的手術數據理解,可以進行關鍵解剖結構的識別以及手術中危險區域的提示。

“很多神經科醫生手術時,也希望現場有人指導、做判斷,以往是不可能的。但是AI大模型跟機器人的操作結合起來可以打破這個壁壘。”劉宏斌說。

目前,該大模型已經與香港威爾士親王醫院神經外科合作,把系統應用於內窺鏡手術中,實時分析手術過程,並提示醫生現在手術的階段和下一步需要注意什麼,例如“清除腫瘤”、“硬腦膜修復”等。今年4月份,也會開始應用於北京協和醫院手術室進行技術臨牀實驗。

景氣復甦 國際工具機展業者有感

手術機器人擔任助手

腦手術是全球風險最高的手術。在香港,該手術的死亡率低於5%,需要腦手術的港人逐年按上升。據介紹,有兩種病人需要接受腦手術,第一種包括腦出血的新病例,第二種是大腦出現腫瘤,其中有一種癌症幹細胞病症主要出現於兒童,而該腫瘤的出現率在香港屬全球最高。劉宏斌提到,這也是其中一個驅使其研發新微創手術的原因。

魔幻精灵族第三册

清明掃墓六大禁忌要注意!踩雷恐將晦氣帶回家

“神經外科醫生最關心的首先就是安全性,在手術過程中,他需要這個技術能夠告訴他相關的解剖學,重要的神經、血管在什麼位置。”劉宏斌指,“同時會有一個助手進行輔助,幫忙拿器械、鏡頭,助手也在觀察主刀醫生,預判需要怎樣的協助。我覺得未來手術機器人,例如CARES Copilot,是可以擔任這個助手角色的。”

AI中心所使用的基礎大模型是由中國科學院自動化所開發的“紫東·太初”。劉宏斌告訴界面新聞,紫東·太初爲多模態的通用大模型,AI中心在這個基礎上進一步研發了一個垂直領域類模型,“我們聚焦醫療健康的研發,在這個原始架構上又搭了一層,這一層是一個可追溯和解釋的結構。另外,也給這個大模型研發了很多專屬的小模型。垂直領域的任務,必須是一個大模型配合一個小模型。”

CARES Copilot就採用了大模型加小模型的方式,將其識別的圖片和視頻進行語義提取,運用語言大模型的能力進行更高級的理解,最終形成手術報告工程、手術質量評估等面向臨牀專家的服務。按照設想,Copilot 2.0版本將延伸到手術指導,像教練一樣提醒和指導醫生哪個階段應該如何操作。

劉宏斌提到,中科院自動化所跟AI中心是一種互補的模式,包括研究領域和應用領域上各有互補:“我們聚焦在醫療器械,自動化所的應用領域就比較廣。一個健康問題,需要很多領域合作,既要有醫療器械,也要對數據進行分析,又涉及到AI技術。”

太保寿险董事长潘艳红:太保寿险转型方向会更加坚定

香港儘管整體產業生態上不及內地,但優勢在於科研實力。劉宏斌表示,不僅跟紫東·太初大模型團隊合作,也跟香港高校教授、海外AI團隊和開源公司有合作,“香港高校老師的研究能力其實是世界級的,但是香港缺少產業,他們的成果沒有一個出口,沒有商業模式輸出,研究也是不太可持續的。”

红球现踪台南 风神庙千人朝圣

隨着人工智能內容自動生成技術的發展,所需算力也水漲船高,特別是智能算力。2月28日,香港財政司司長陳茂波發表最新的財政預算案,表示將撥款30億元推行爲期三年的人工智能資助計劃,資助本地大學、研發機構及企業等運用算力。

朱学恒强吻判1年2月 钟沛君:性平上一课

3月27日,香港創新科技及工業局局長孫東表示,香港人工智能超算中心首階段設施最早在下半年啓用。這將填補香港無領先水平高性能計算平臺的空白。

尚未實現商用

不過,對比其他垂類大模型,如生產力工具、營銷類等,醫療類大模型的商用似乎仍遙遙無期。

2023年以來,有超過50個平臺公開發布了醫療大模型,但真正落地到臨牀診斷的寥寥無幾。以科大訊飛爲例,醫療板塊曾是其重點發力的兩個業務之一,但由於發展不及預期,營收佔比僅2.45%,科大訊飛在赴港上市時甚至分拆了醫療板塊。

劉宏斌分析道,垂直大模型難以落地臨牀的痛點在於,很多大模型研發過程中沒有醫院的參與,缺乏臨牀方面的因素,導致一些看上去很炫酷的技術,實際上並不能滿足醫生的需求。另一方面,醫生通常會使用大量文本、影像、視頻等數據,很多大模型還是僅以文本語言爲主。

7家A股股份制银行披露“成绩单”:归母净利合计4288.52亿元 6家营收增速放缓

即便是CARES Copilot,也只是1.0版本,主要以識別和輔助醫生的功能爲主,尚未進入商業化落地階段。劉宏斌表示,現在仍處於科研測試階段,技術已經有原型機,可供醫生使用,但還需要跟臨牀合作伙伴進行測試,進一步拓展新功能、提高參數精確度,“不過雖然是實驗室的產品階段,已經從研發中心的實驗室進入了醫生的實驗室。”

劉宏斌認爲,醫療大模型首先會在“醫生很容易判斷對錯”的環節上落地應用,例如手術路徑規劃,原本需要花兩個小時制定的手術方案,通過大模型可以縮減至半個小時,但最終決策權在醫生手上。這個環節中,AI擔任了一個提建議的角色。

北巿騎士被聞到酒味推給後座閨蜜 害她「連帶挨罰」

“另外,大模型下人機互動的能力會更強,體現在手術室裡的器械上。”手術室裡的無影燈對醫生來說就是一個痛點,醫生抓無影燈時會把手弄髒,而助手有時候夠不到無影燈的位置。“這種情況下,機器人能夠提供一些輔助工作,應該也是最快落地的應用。”

每天被家人闹钟吵醒气死了?不起床用这招就能隔空关掉

至於CARES Copilot的商用前景,目前有兩種可能性較大的轉化模式,一種是將大模型嵌入醫院的管理流程中,通過爲醫院降本增效獲得回報;另一種商業模式是與醫院的設備供應商合作,利用人工智能大爲醫療器械賦能,提升其醫療器械的附加值。

小兵傳奇 小說