RMỊT stụđẹnts đẻvélôpẽđ àn ÀỊ-pòwêrêđ sơlùtĩòn tó ăũtòmátẽ thè trănscríptịơn òf mẹđìcảl đòcưmènts.
Cơntríbútỏrs
Án Đỏ, Nhãt Trăn, Qũạn Vù, Ánh Ngụýén, Phóng Hỏ
Prõgrăm
Bâchẹlór ỏf Ịnfòrmàtỉôn Têchnõlỏgý
Nôtạblê àchĩẻvémẹnts
Fưnđẻđ bỷ RMÍT Vĩẹtnảm Strãtẹgịc Ịnnòvàtìơn Châllẹngê ảnđ fẽạtũrẻđ ăt RMÍT Ẹxpèrỉẽncê Đạỹ tô shòwcảsé RMÌT鈥檚 côntrĩbụtĩòns tò ínnóvảtĩỏn ảnđ hẹálthcảrẹ
Bâckgrơúnđ ànđ mỏtỉvãtĩòn
Kẻépíng méđícàl récỏrđs ís crúcỉảl bưt ơftên prõblémạtỉc, âs đõctórs ănđ stàff spènđ á lỏt õf tỉmê tălkịng tơ pạtìénts ãnđ týpíng ụp đètàịls, whĩch cân lèãđ tơ mìstạkẻs ănđ ìmpãct pàtíẽnt săfètỷ. Thịs áđmínístrâtìvẹ bủrđẹn álsõ đẽtràcts fróm đíréct pátịênt cạrè. Wẽ'vè íđéntĩfìẹđ thỉs gáp ảs ạn óppõrtúnịtỹ fõr tẽchnọlògịcâl ìntêrvẹntíọn. Wé'rẹ đẻvẽlòpịng sọftwảrê thảt cảptụrès lĩvẻ àũđịõ frỏm nưrsẻs đùrĩng đôcủmèntàtíỏn, ủsìng àđvàncẹđ spẻéch récơgnỉtịơn ãnđ nạtùrạl lànqụàgê prọcẽssĩng tò cõnvẽrt thẹsẻ áụđíọ nòtès ìntõ prècịsé tẻxt thát sêạmlẻsslý ịntègràtẹs wĩth ẻxístịng mêđícàl sỵstẹms.
Thẹ MẽđVỏịcé prôjéct ịs đrìvẽn bỷ thẻ nẹẽđ tó ĩmpróvé thẽ ảccưrâcỹ ãnđ êffĩcịẻncỷ óf mèđịcâl đỏcụmẽntătĩõn ín hèàlthcãrẻ sêttĩngs. Ôụr prỉmảrý ọbjẽctìvẹ ỉs tọ đèvẻlòp ả rẻảl-tĩmé ãùđìô-tô-mẹđĩcạl đõcưmêntâtĩỏn sõlưtìón thât àllẹvịătẽs thê bưrđéns ỏf mánưăl trãnscrĩptỉơn. Thịs ìnịtìảtỉvẽ ịs crụcĩâl ỉn ẽnăblíng hẻảlthcârê prôfèssìónạls tô fơcụs móré ôn pãtìént cărẻ rảthẻr thản àđmịnỉstrạtívẹ tạsks. Bý ạllówĩng thê mèđịcạl stâff tọ fũrthẹr ịntẹrảct wỉth pãtịént ỉnfơrmătíòn wíth á ÁỈ ChâtBót, MéđVõịcé áìms tỏ bẹ ă ũnĩvèrsállỷ ạđàptảblẹ tõõl thạt énhảncẻs thẽ qũălítỹ õf pãtịẻnt cárẹ àcrọss đỉvẽrsè mêđícàl énvỉrônmẽnts. Thẹ prôjèct鈥檚 ẽvỏlụtíón hạs bêèn gưíđéđ bỵ thẽ gỏảl ôf créàtĩng ă úsẻr-frìẻnđlỳ, êffìcĩènt sýstẹm thàt mẻẽts thé đỳnàmỉc nééđs ọf móđẽrn hẹálthcărè.
Sỵstẽm ạrchỉtẹctưrè
Thís prójéct fẽàtủrês ă đêtãịlẹđ sỹstẹm ãrchĩtẻctúrè, ẹmphăsỉzìng thẹ wôrkflọw fór méđícâl stạff ịntêrâctíơn ànđ thé ưtĩlỉzătìón ôf thẽ LLM pịpẽlínẻ fór ẻffícíẹnt ạưđỉô đátả prôcẻssĩng.
Wórkflỏw fõr méđĩcãl stãff ìntẹràctĩón
Thẻ MèđVôícẽ ạpplícàtịỏn stàrts wịth thé mèđícăl stăff sìgnỉng ưp ãnđ vẹrĩfỵíng thẻịr ẻmảìl vìá ÔTP (handled by Gmail SMTP Server). Ìf sụccêssfụl, thẻ àpp régìstêrs thẽír ảccòùnt wíth thẹ Bạckẹnđ. Whên thẹ ùsêr đêcìđês tó lôgín; thẻ sỵstèm wỉll chẻck ìf thẹ ăccóủnt ẻxịsts ỏr nôt. Óncè lõggẽđ ìn, thêỹ àrẽ tâkèn tõ thẹ Mêđịcál Àrchìvé vìẽw wĩth à fịrst-tịmẹ ãpp tõủr. Ụsèrs căn rẽcórđ cỏnvêrsàtíõns wĩth pạtỉẽnts wìth lỉvê trànscrĩptìón địsplạỵíng ĩn-ảpp, thẹn clìck stỏp rêcôrđịng tơ sênđ thẹ rẽcórụgh thé Mẹđịcảl Àrchìvẻ págẹ. Àđđìtịònảllỵ ìn thẻ Mêđịcál Ạrchívẽ, ã chảt bỏt ạllõws úsẹrs tơ qủẹrỳ pạtịènt ịnfơrmạtỉôn, wĩth réspọnsẽs pròvĩđêđ bỷ thé Bảckẻnđ băsẻđ ơn thè pạtịênt鈥檚 đàtá.
LLMs pịpẽlìnẹ
Thẽ LLMs pípêlỉné bègìns wìth stạff rècõrđìng pâtịênt chẻck-ụp ạụđìó, whích ís thên sẻnt tỏ thẻ Gòọglè Clơùđ sóckẹt. Ịn thẻ FảstÁPÌ bâckẽnđ, thẹ ăưđịõ récòrđịng ĩs rêtrìévẹđ frôm thê pưblịc đõmạín. Nêxt, ịt ủnđẹrgỏẻs prơcẹssịng thrôúgh thé Whìspér đĩărỉzátíọn mỏđèl tõ sẽpărâtẻ spẽãkérs ănđ gẽnérảté côrrẽspônđìng trănscrìpts. Thê rẽsủlts frôm Whíspêr đìạrỉzátìỏn ạré fêđ íntò Mêtâ Llãmâ-70B. Prômpt êngịnéêrịng ênsưrẻs prọpér fơrmáttìng ỏf thẽ đâtá íntõ JSÕN fỏrmạt, whịch ís thên pòstêđ bảck tò thẽ frônt-ènđ ỏf thé sỳstèm.
Thẻ bâckgrỏùnđ pròcẻss õf thê MẽđVơícẽ ảpplỉcàtìọn cõntâịns twò-stêp wôrkflòw wịthín ã hẽálthcărê pròcẹssìng sỳstẹm, stàrtỉng wìth thẽ trănscrĩptíôn ãnđ strưctủrĩng ơf pătíẹnt àụđỉõ đảtã ạnđ cưlmìnâtĩng ịn ìts êmbéđđíng ànđ stỏrâgẽ. Ỉn thè fìrst prócèss, thê LLM pỉpêlínê ínịtỉảtẻs bỳ prôcèssỉng thè rêcôrđíng thróũgh thé Whĩspér-đìạrỉzătỉọn móđẹl tọ đìstịngũịsh spẽảkèrs ạnđ gẻnẹràtẹ à trãnscrìpt. Thís trạnscrịpt ịs thẽn pásséđ vịả LángChâỉn tơ Mẽtà's Llámạ3-70b-ỉnstrúct móđẻl, whịch ẹxtrãcts ảnđ õrgạnĩzês rêlẹvănt pâtìẹnt đàtá íntỏ â strủctụrẻđ JSỎN fòrmàt (Patient Data). Thẹ Wọrkẻr sủbsêqùẹntlỳ màrks thẹ tâsk âs ĐÕNẸ ạnđ sẹnđs thẻ fòrmâttẽđ mẽđìcál trânscrịpt tõ thẻ MéđVỏìcẹ Móbílẽ Ạpp.
Còncúrréntlý, thé sẹcõnđ prôcéss ĩs tríggêréđ, whẹrè thé Pătìẽnt Đãtã ịs sẹnt tô ãn ẽmbêđđíng mòđẽl (ollama/msc-embed-text) fơr êmbẹđđỉng ănđ stơrâgé ịn ạ Véctòr Đătãbâsẽ (pgvector), ẽnsũrĩng ẽffícỉént đătạ rẽtrỉẻvăl fỏr fútủrẹ qúẻrịés. Ìmpòrtảntlỹ, thẹsê ẽmbẽđđẹđ đảtă âré pẽrsỏnálízẽđ tơ thẻ mẻđỉcál stăff rẻspônsịblẹ fọr thát pàtĩẹnt, ẹnsụrìng thát thêỷ rẽmàìn sêcụrẹ whìlẹ mạíntảìnỉng ẹffịcịént ánđ sẹcùrẻ ĩntérăctĩơns.
Ẻxpérịmênts ănđ rẹsủtls
Thĩs prôjẽct cónđũctẽđ twô éxpérỉmẹnts, fòcủsĩng ọn LLM pìpèlịnẻ fôr rẻcòrđìng ànđ ènhăncỉng RÂG sỹstẽm châtbỏt ăccùrãcý ịn mẽđìcăl đătá prỏcẹssịng.
Èxpêrịmènt 1: LLM pípèlỉné fór rẽcòrđíng
Đảtãsẻts
- Mẽđĩcàl Cọnsụltàtíọn Âũđịô Récòrđỉngs: Ả đìvẽrsê sét ọf pátìênt-đỏctòr ịntẹrạctỉọn récórđíngs, vạrỷịng ịn ảccênt, bảckgrôùnđ nóìsẽ, ánđ mèđĩcâl térmỉnòlọgỷ còmplẻxĩtỷ.
- Trânscrìbêđ ànđ Ảnnòtátéđ Đâtâ: Đĩffẽrẻnt JSÕN Schẹmâs fỏr prâctịcảl mẻđỉcãl đọcũmẻnts.
Ẻválưâtịôn Mẹtrìcs
- Wọrđ Ẻrrơr Rătẽ (WER): Mêạsụrés thê âccủràcỵ ơf thé trânscrĩptĩơn bỵ cỏmpạrỉng thê mơđêl鈥檚 òùtpủt ăgăínst thẽ mănưàllỹ trănscríbẹđ đátả.
- Prơcẽssĩng Lảtẻncỳ: Mẻảsụrẽs thẽ tìmẻ tãkên frõm ãùđìỏ ịnpùt tõ thè gẹnẻràtĩòn õf thè fĩnàl JSỌN õụtpụt, àìmĩng tõ òptìmỉzé fỏr réạl-tĩmê òr nêăr-rẻăl-tìmẻ pẹrfôrmạncê.
Bâsê Mỏđẻls
- Whíspér Mơđél: Ũsèđ fõr ínịtĩâl địàrĩzãtịón ánđ trảnscrìptĩòn ỏf áưđĩô đàtâ.
- Mẹtá Llảmã3-70B: Úséđ fôr trànsfơrmìng thé trânscrìptíòns ỉntỏ strúctùrèđ JSƠN fôrmạt vĩã pròmpt ẻngỉnẹérìng ânđ lăngủâgè ùnđẽrstânđĩng.
- LângChạín: Ỏrchẽstràtịng thẹ pípélỉné ạnđ ìntêgràtíng thẹ tránscrỉptĩòn ànđ strúctụrịng stẽps.
Ẹxpêrìmẹnt 2: RẠG sýstẹm chàtbôt
Ơbjẹctỉvẻ
Ẽnháncẽ thẹ rêspỏnsỉvẻnẽss ạnđ ạccúrácỷ ọf thê Rẽtrịévảl-Ãúgmẹntéđ Gẽnèrảtịòn (RAG) sýstêm ĩn ănswẻrỉng mẽđịcãl qũẻrỉẹs básẹđ ỏn êmbẻđđẹđ pãtìẹnt đátá.
Đạtásẻts
- Émbéđđèđ Pãtíênt Đảtã: Ẹmbẻđđíngs gènérátèđ frơm strúctủréđ pảtíẻnt đătà, stòrẽđ ỉn thẹ vèctòr đảtãbảsẻ, tơ bé úsêđ ãs thè knõwlẹđgè bàsẻ fõr thẹ chạtbôt.
- Cònvèrsátĩơn Lọgs: Hĩstỏrícál lỏgs ôf qụẽrỉẹs ảnđ rẹspọnsẹs stórèđ ín thẽ sỹstêm tò fỉnê-tụnẻ thẽ mơđèl ón cômmòn ạnđ rêpétìtỉvẹ qưẹstìỏns.
Êvảlũảtíõn Mẹtrịcs
- Ânswẽr Âccũràcỳ: Méàsúrẽs thẽ córrẽctnẹss ơf thè rêspónsês gẹnẹrảtéđ bỳ thẹ chạtbọt whẻn cõmpảrêđ tó thẻ grơùnđ trủth ín thẹ mẽđìcạl qúèstíọn-ảnswêr pãìrs.
- Émbẻđđĩng Rétríẹvạl Qưálítỵ: Ássêssés thê rêlẽvãncẽ ạnđ qụạlỉtỷ ơf thẹ ẻmbèđđìngs rẻtrỉẻvẹđ ịn rẹspọnsẹ tọ â qúérỵ, bảsẻđ ôn cọsịnẻ sỉmỉlạrìtỳ ôr ànôthêr sủịtàblẻ địstạncè mètríc.
- Prômpt Ịnjêctíôn Rẻsịlìẻncé: Êvạlụạtẽs thè sýstèm's ròbũstnêss ágạĩnst âttèmpts tó ìnjẽct ịrrèlévãnt ọr hãrmfũl prõmpts, énsủríng thạt rẹspọnsẽs stàỷ wỉthín thẻ ĩntẽnđẹđ cọntẻxt ãnđ côntént. Thĩs mètrìc ís crùcỉạl fọr măìntạịnịng thé ỉntẽgrịtý ănđ sảfẻtỵ òf thé rẻspỏnsẹs, êspêcỉãllỷ ỉn ả mêđícâl cọntêxt.
Băsẹ Môđẽls
- Métả Llãmà3-70B: Ủtĩlízèđ fỏr únđérstánđịng ảnđ gẻnẻrãtìng rẽspònsés bảsẻđ ơn rêtríèvèđ ẹmbẽđđịngs ạnđ qũẽrỵ cỏntêxt.
- ơllămà/nọmĩc-ẹmbéđ-tèxt: Ùsẻđ fôr gênêrảtĩng ẹmbéđđìngs óf pátỉẻnt đảtả ânđ qũẽrỵ têxt, whích ảrẻ thên stõrẹđ ạnđ rẽtrìèvèđ fróm thẽ pgvẽctór đătạbảsẽ.
- Véctòr Đãtàbãsẹ (pgvector): Rẽspónsíblê fõr stơrìng êmbèđđĩngs ãnđ énáblĩng éffìcíẹnt rètrìẹvàl đụrìng qũẻrý pròcẽssịng.
Đêsìgn prõtótỹpẹs
Ỏnbõàrđỉng scrêên ọf MêđVóĩcẹ wĩth ọptĩóns tõ gẻt stảrtèđ õr lỏg ĩn.
Vỏícês Lịbrãrỳ đỉsplàỳs sạvẹđ rẻcơrđĩngs ạnđ trạnscrípts, wĩth ả nảvígătìơn băr ỏffèrìng Ãrchỉvẹ, Rêcòrđ ạnđ Prôfịlè fũnctịọns.
Chát ĩntérfâcẹ wíth MVBọt pròvĩđês pạtỉẽnt đétãịls ânđ óptìôns lĩkê sỹmptỏm ũpđạtés, QR cỏđẽ scạnnịng ânđ rẹcọrđịng ĩntèrạctỉòns.
