Email:[email protected]
2022上交會——同濟大學篇
該系統(tǒng)包含多視角RGB攝像機、深度攝像機、激光雷達以及麥克風等多模態(tài)硬件,錄制程序、數(shù)據(jù)庫和系統(tǒng)設(shè)置三部分軟件。通過錄制帕金森病患者面部表情、聲音、步態(tài)、姿勢、手指拍打、握拳張開、輪替動作、腳趾拍地、抬腿跺地、椅中起立、后拉試驗、靜止性/動作性震顫等動作,可自動識別視頻中身體部位的關(guān)鍵節(jié)點,定量分析動作指標,對動作進行“量化”和“精細化”分析,實時獲取各檢測項的精確定量動作特征數(shù)據(jù)和運動曲線。同時,經(jīng)過基于決策樹的機器學習方法,該系統(tǒng)可實現(xiàn)對各檢測項異常程度的自動評分以及帕金森病整體嚴重程度的自動評分。目前,該系統(tǒng)利用人工智能算法得到的自動化評分已經(jīng)接近于醫(yī)生的評分水平,在多個檢測項中甚至超越了醫(yī)生的評分水平。
該系統(tǒng)建立了帕金森病運動癥狀的精細評估方法與體系,為醫(yī)生提供了運動量化數(shù)據(jù)以輔助診斷;通過量化數(shù)據(jù)的對比實現(xiàn)了帕金森病的準確分級,對患者病情進行評估和持續(xù)跟蹤,為帕金森病的臨床診斷及干預提供依據(jù);同時,該系統(tǒng)也可輔助醫(yī)生進行科學研究,促進醫(yī)學發(fā)展。
技術(shù)創(chuàng)新點:
1)研究方法改進:采用了2D圖像和深度數(shù)據(jù)的融合的方式,在2D空間和3D空間中提取人體關(guān)鍵點并互相修正,從而得到更為精確的人體關(guān)鍵點。同時,優(yōu)化了現(xiàn)有的跟蹤算法,使系統(tǒng)可以應用在場景更為復雜的科室和病區(qū)環(huán)境中。此外,在機器學習方法上進行了優(yōu)化,基于決策樹分類的基礎(chǔ)上,增加懲罰函數(shù)f,函數(shù)f分兩部分,第一部分為機器和醫(yī)生評分的偏差,第二部分為機器和醫(yī)生評分大于1的例數(shù),通過系數(shù)λ結(jié)合。即首先以Gini指數(shù)作為切分準則訓練得到一組次優(yōu)樹集合。然后,在次優(yōu)樹中搜索,尋找機器和醫(yī)生評分相差最小的決策樹且盡可能讓機器和醫(yī)生評分相差不大于1,從而提高人機一致性。最后,通過打通微信小程序端和PC端的系統(tǒng),可以在檢測大幅度動作的同時,捕捉小幅度的震顫動作,從而檢測范圍更加完整,具有更強的實用性。
2)設(shè)計思想先進,國內(nèi)領(lǐng)先:采用UPDRS第III部分評估帕金森患者的運動功能存在主觀評價偏倚、不能分辨較小的功能變化、評估維度單一等問題。通過視頻評估患者的運動功能,確保了評估結(jié)果的精確性、提升了運動功能變化的識別能力,豐富了運動功能評估的指標,建立了客觀、量化的運動功能評估方法。且評估依據(jù)的視頻真實地記錄了評估過程,任何時間都可以回溯原始檔案,任何醫(yī)生都可以復核評估結(jié)果,是一種臨床信息可復現(xiàn)的評估方法。