Email:[email protected]
2022上交會(huì)——同濟(jì)大學(xué)篇
該系統(tǒng)包含多視角RGB攝像機(jī)、深度攝像機(jī),、激光雷達(dá)以及麥克風(fēng)等多模態(tài)硬件,,錄制程序、數(shù)據(jù)庫和系統(tǒng)設(shè)置三部分軟件,。通過錄制帕金森病患者面部表情,、聲音、步態(tài),、姿勢,、手指拍打、握拳張開,、輪替動(dòng)作,、腳趾拍地、抬腿跺地,、椅中起立,、后拉試驗(yàn)、靜止性/動(dòng)作性震顫等動(dòng)作,,可自動(dòng)識(shí)別視頻中身體部位的關(guān)鍵節(jié)點(diǎn),,定量分析動(dòng)作指標(biāo),對動(dòng)作進(jìn)行“量化”和“精細(xì)化”分析,,實(shí)時(shí)獲取各檢測項(xiàng)的精確定量動(dòng)作特征數(shù)據(jù)和運(yùn)動(dòng)曲線,。同時(shí),經(jīng)過基于決策樹的機(jī)器學(xué)習(xí)方法,,該系統(tǒng)可實(shí)現(xiàn)對各檢測項(xiàng)異常程度的自動(dòng)評分以及帕金森病整體嚴(yán)重程度的自動(dòng)評分,。目前,該系統(tǒng)利用人工智能算法得到的自動(dòng)化評分已經(jīng)接近于醫(yī)生的評分水平,,在多個(gè)檢測項(xiàng)中甚至超越了醫(yī)生的評分水平,。
該系統(tǒng)建立了帕金森病運(yùn)動(dòng)癥狀的精細(xì)評估方法與體系,為醫(yī)生提供了運(yùn)動(dòng)量化數(shù)據(jù)以輔助診斷,;通過量化數(shù)據(jù)的對比實(shí)現(xiàn)了帕金森病的準(zhǔn)確分級,,對患者病情進(jìn)行評估和持續(xù)跟蹤,為帕金森病的臨床診斷及干預(yù)提供依據(jù),;同時(shí),,該系統(tǒng)也可輔助醫(yī)生進(jìn)行科學(xué)研究,促進(jìn)醫(yī)學(xué)發(fā)展,。
技術(shù)創(chuàng)新點(diǎn):
1)研究方法改進(jìn):采用了2D圖像和深度數(shù)據(jù)的融合的方式,在2D空間和3D空間中提取人體關(guān)鍵點(diǎn)并互相修正,從而得到更為精確的人體關(guān)鍵點(diǎn),。同時(shí),,優(yōu)化了現(xiàn)有的跟蹤算法,使系統(tǒng)可以應(yīng)用在場景更為復(fù)雜的科室和病區(qū)環(huán)境中,。此外,,在機(jī)器學(xué)習(xí)方法上進(jìn)行了優(yōu)化,基于決策樹分類的基礎(chǔ)上,,增加懲罰函數(shù)f,,函數(shù)f分兩部分,第一部分為機(jī)器和醫(yī)生評分的偏差,,第二部分為機(jī)器和醫(yī)生評分大于1的例數(shù),,通過系數(shù)λ結(jié)合。即首先以Gini指數(shù)作為切分準(zhǔn)則訓(xùn)練得到一組次優(yōu)樹集合,。然后,,在次優(yōu)樹中搜索,尋找機(jī)器和醫(yī)生評分相差最小的決策樹且盡可能讓機(jī)器和醫(yī)生評分相差不大于1,,從而提高人機(jī)一致性,。最后,通過打通微信小程序端和PC端的系統(tǒng),,可以在檢測大幅度動(dòng)作的同時(shí),,捕捉小幅度的震顫動(dòng)作,從而檢測范圍更加完整,,具有更強(qiáng)的實(shí)用性,。
2)設(shè)計(jì)思想先進(jìn),國內(nèi)領(lǐng)先:采用UPDRS第III部分評估帕金森患者的運(yùn)動(dòng)功能存在主觀評價(jià)偏倚,、不能分辨較小的功能變化,、評估維度單一等問題。通過視頻評估患者的運(yùn)動(dòng)功能,,確保了評估結(jié)果的精確性,、提升了運(yùn)動(dòng)功能變化的識(shí)別能力,豐富了運(yùn)動(dòng)功能評估的指標(biāo),,建立了客觀,、量化的運(yùn)動(dòng)功能評估方法。且評估依據(jù)的視頻真實(shí)地記錄了評估過程,,任何時(shí)間都可以回溯原始檔案,,任何醫(yī)生都可以復(fù)核評估結(jié)果,是一種臨床信息可復(fù)現(xiàn)的評估方法,。