Korekce exponenciální analýzy při posuzování vhodnosti modelu morbidity Radim Briš, Pavel Jahoda

1. Vysoká škola báňská – Technická univerzita OstravaFakulta elektrotechniky a informatiky, Katedra aplikované matematiky Korekce exponenciální analýzy při posuzování vhodnosti modelu morbidity Radim Briš, Pavel Jahoda REQUEST'06

2. Osnova • Model POSSUM • Účel modelu POSSUM • Konstrukce modelu POSSUM • Exponenciální analýza pro verifikaci modelu POSSUM • Původní algoritmus exponenciální analýzy • Modifikovaný algoritmus exponenciální analýzy • Aplikace exponenciální analýzy REQUEST'06

3. 1. Model POSSUM 1.1 Účel modelu POSSUM Motivační úlohou pro vytvoření modelu POSSUM bylo srovnání kvality lékařské péče na různých lékařských pracovištích [3]. Byl proto vytvořen matematický model, který odhaduje pravděpodobnost pooperačních komplikací v závislosti na parametrech fyziologického stavu pacienta a parametrech operačního zákroku jenž podstoupil. REQUEST'06

4. 1. Model POSSUM 1.2. Konstrukce modelu POSSUM Lineární multivariantní diskriminanční analýzou bylo v [3] stanoveno 12 nezávislých faktorů závažnosti fysiologického stavu a 6 nezávislých faktorů závažnosti operačního výkonu, které se signifikantně podílí na pooperační mortalitě a morbiditě. Na základe zjištěných hodnot těchto faktorů je možno každému pacientovi přiřadit hodnoty tzv. fyziologického skóre PS a operačního skóre OS. Pokud známe tyto hodnoty a výsledky operačních zákroků u dostatečného počtu pacientů (tj. zda po operaci došlo, či nedošlo ke komplikacím – morbiditě), pak jsme schopni pomocí logistické regrese [1] vytvořit model stanovující riziko morbidity. Stačí znát PS a OS daného pacienta a pomocí vytvořeného modelu určíme pravděpodobnost, že u tohoto pacienta dojde po operaci ke komplikacím. REQUEST'06

5. 1. Model POSSUM 1.2. Konstrukce modelu POSSUM Logistickou regresi používáme pro závisle proměnnou veličinu Y , která muže nabývat hodnot y = 0, nebo y = 1 ([1]). Hodnota Y je rovna 1 v případe, že sledovaná událost (situace) nastala a v opačném případe Y nabývá hodnoty 0. Předpokládejme, že hodnota Y závisí na hodnotách x1, . . . , xp nezávislých proměnných X1, · · · ,Xp. Označme x = (x1, · · · , xp), (x) = E(Y | x) (tj. (x) představuje střední hodnotu veličiny Y pro libovolné, pevně zvolené x). Potom (x) můžeme považovat za pravděpodobnost jevu Y = 1. V našem případě je hodnota y = 1 v případě, že u daného pacienta nastaly po operaci komplikace a y = 0 v opačném případě. X1 = PS = fyziologické skóre a X2 = OS = operační skóre. REQUEST'06

6. 1. Model POSSUM 1.2. Konstrukce modelu POSSUM Závislost (x) (pravděpodobnosti pooperačních komplikací) na hodnotách X1 = PS a X2 = OS předpokládáme ve tvaru kde g(x) = 0+ 1x1 + 2x2, 0, 1, 2  R jsou regresní koeficienty. REQUEST'06

7. 1. Model POSSUM 1.2. Konstrukce modelu POSSUM Hodnotu pravděpodobnosti pi, že daný, i-tý, pacient bude mít po operaci komplikace, potom určíme ze vztahu (1) kde PSi a OSi je fyziologické a operační skórei-tého pacienta. REQUEST'06

8. 1. Model POSSUM 1.2. Konstrukce modelu POSSUM Hodnoty regresních koeficientů 0, 1, 2  R seurčují metodou maximální věrohodnosti. Pro dané hodnoty PSi a OSi, i = 1, … , n, hledáme hodnoty 0, 1, 2  R tak, aby funkce nabyla svého maxima. (yi = 1 v případě, že i-tý pacient měl po operaci komplikace a yi = 0 v opačném případě) REQUEST'06

9. 2. Exponenciální analýza 2.1. Původní algoritmus exponenciální analýzy Exponenciální analýzu používáme (spolu s dalšími metodami) k ověření vhodnosti vytvořeného modelu. Snažíme se zjistit, zda matematický model dobře popisuje reálnou situaci. Myšlenka exponenciální analýzy je jednoduchá. Z množiny všech pacientů vybereme některé její podmnožiny a porovnáme, zda v těchto podmnožinách odpovídají počty předpovídaných komplikací počtům komplikací ke kterým skutečně došlo. REQUEST'06

10. 2. Exponenciální analýza 2.1. Původní algoritmus exponenciální analýzy V článku [5] byla exponenciální analýza použita pro srovnání modelem predikovaných a reálných počtů komplikací po cévních operacích. Algoritmus této analýzy můžeme popsat následovně. REQUEST'06

11. 2. Exponenciální analýza • 2.1. Původní algoritmus exponenciální analýzy • Máme-li výsledky operací celkem n pacientů, pak každému pacientovi můžeme přiřadit pořadové císlo i  {1, . . . , n} a ztotožnit jej s tímto pořadovým číslem. Máme tedy množinu pacientů {1, . . . , n} a zavedeme následující označení • pi … pravděpodobnost pooperačních komplikací přiřazená pacientovi i. • A(a;b)= i  N  pi  (a,b  • nr(A) … počet pacientů z množiny A, u nichž se po operaci vyskytly • komplikace • np(A) … počet modelem predikovaných pooperačních komplikací u pacientů • z množiny A. REQUEST'06

12. 2. Exponenciální analýza 2.1. Původní algoritmus exponenciální analýzy 2) Vytvoříme množiny pacientů podle vypočtených hodnot pi, a to tak, že začneme od množiny A1 = A(0,9;1)a určíme hodnotu nr(A1), np(A1) a nakonec vypočteme hodnotu F1 = nr(A1)/np(A1). Poté zvětšíme interval na 80%-100% a vytvoříme tak množinu pacientů A2 = A(0,8;1), jejichž pi  (0, 8; 1, určíme hodnoty nr(A2), np(A2) a hodnotu F2 = nr(A2)/np(A2). Obdobně budeme zvětšovat interval dále (samozřejmě maximálně na 0% - 100%), až po k-tou množinu pacientů Ak = A(1-k.0,1;1), dokud je splněna podmínka np(A1) ≤ np(A2) ≤ · · · ≤ np(Ak). (2) Tj. se zvětšováním množiny pacientů nesmí klesat počet predikovaných komplikací. Určíme hodnoty nr(Aj), np(Aj) a Fj = nr(Aj)/np(Aj), j = 1, … ,k. REQUEST'06

13. 2. Exponenciální analýza 2.1. Původní algoritmus exponenciální analýzy 3) Pokud by byla porušena výše uvedená podmínka, tzn. nastala by situace np(A1) ≤ np(A2) ≤ · · · ≤np(Ak-1) > np(Ak), pak zvětšování intervalu u k - 1. množiny pacientů Ak-1 = A(1-(k-1).0,1;1) zastavíme a k-tou skupinu pacientů budou tvořit pacienti z množiny Ak = A(0;1-(k-1)0,1), k+1 množina bude Ak+1 = A(0,1;1-(k-1)0,1), ... , až dojdeme k poslední, s-té, množině As =A(1-k.0,1;1-(k-1)0,1). Také u těchto množin určíme hodnoty nr(Aj), np(Aj) a Fj = nr(Aj)/np(Aj), kde j= k, … ,s. REQUEST'06

14. 2. Exponenciální analýza 2.1. Původní algoritmus exponenciální analýzy 4) Vytvořili jsme tak s množin pacientů a u každé j-té množiny, j = 1, · · · , s určíme hodnoty nr(Aj), np(Aj), Fj = nr(Aj )/np(Aj ) a seřadíme je do tabulky (hodnoty np(Aj) se zaokrouhlují na celá čísla a pro výpočet Fj se používá zaokrouhlená hodnota np(Aj)). V prvním sloupci , „Group,” jsou uvedeny množiny pacientů, konkrétně intervaly v nichž se nachází jejich pi. V druhém sloupci, „Počet pacientů,” můžeme nalézt, kolik pacientů patří do dané množiny a ve zbývajících sloupcích jsou hodnoty np(Aj), nr(Aj) a Fj. 5) Je evidentní, že model je vhodný k popisu výskytu morbidity, jestliže hodnoty Fj , kde j  {1, . . . , s} jsou statisticky blízké hodnotě 1 (a v ideálním případě rovny 1). REQUEST'06

15. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy Myšlenka exponenciální analýzy představuje jednoduchý způsob, jak ověřit vhodnost modelu. Pokud se však zamyslíme nad výše uvedeným algoritmem exponenciální analýzy (jak byl popsán v [5]), narazíme na zarážející skutečnost. Jedná se o to, že je třeba při posloupnosti zvětšování množiny pacientů sledovat, zda také odpovídající posloupnost předpovídaných počtů komplikací v těchto množinách je neklesající. Jde o kontrolu platnosti podmínky (2), np(A1) ≤ np(A2) ≤ · · · ≤ np(Ak) (a k porušení této podmínky opravdu někdy docházelo). Ale dobrý model by měl tuto podmínku automaticky splňovat! A opravdu, v modelu vytvořeném pomocí logistické regrese problém není. Je jím poměrně hrubý odhad, používaný v [5] ke stanovení hodnot np(Aj), j = 1, · · · , s, tj. modelem predikovaných počtů pacientů s komplikacemi v množině Aj . REQUEST'06

16. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy Jestliže uvažujeme množinu pacientů Aj, jejichž pi  (a, b, kde a  0 a patří do ní celkem nj pacientů, potom np(Aj) = a.nj(3) Se zmenšující se délkou intervalu (a, b sice roste přesnost tohoto odhadu hodnoty np(Aj), ale musíme si uvědomit, že v našem případě je b - a  0, 1. Interval (a, b je tak pořád ještě dost široký na to, aby při odhadu hodnoty np(Aj) pomocí vztahu (3) mohlo dojít ke značným nepřesnostem. (V případě a = 0, b < 100 je hodnota np(Aj) dána jako medián hodnot pi  (0, b krát sto a v případě (a, b = (0, 100 určujeme hodnotu np(Aj) jako součet všech predikovaných komplikací z jednotlivých množin pacientů, ale tak, aby nebyla jedna a táž predikovaná komplikace započítána vícekrát.) REQUEST'06

17. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy Jestliže uvažujeme množinu pacientů Aj, jejichž pi  (a, b, kde a  0 a patří do ní celkem nj pacientů, potom np(Aj) = a.nj(3) Příklad:Nevhodnost vztahu (3) demonstrujeme na jednoduchém příkladě. Předpokládejme, že množina Aj = A(0,3;1) obsahuje celkem n = 11 pacientů, kde jednomu byla stanovena pravděpodobnost komplikací p1 = 50% a zbývajícím desíti pravděpodobnost p2 = 90%. Podle výše uvedeného algoritmu exponenciální analýzy a vztahu (3) odhadujeme, že model předpovídá np(Aj) = a.nj = 0, 3.11 = 3, 3 komplikací, tzn. po zaokrouhlení celkem 3 komplikace po těchto 11 operacích. REQUEST'06

18. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy Podle výše uvedeného algoritmu exponenciální analýzy a vztahu (3) odhadujeme, že model předpovídá np(Aj) = a.nj = 0, 3.11 = 3, 3 komplikací, tzn. po zaokrouhlení celkem 3 komplikace po těchto 11 operacích. To je ale zjevně hrubá chyba při interpretaci výsledku modelu!Vždyť jen u 10 pacientů model předpověděl pravděpodobnost komplikace 0, 9, a tak model předpokládá, že z těchto 10 pacientů bude cca 9 mít po operaci komplikace! REQUEST'06

19. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy Počet komplikací, které model skutečně předpovídá, určíme jednoduše pomocí věty o úplné pravděpodobnosti pro libovolnou množinu pacientu A. Jestliže v množině A je n pacientů a P(A) je pravděpodobnost, že náhodně vybraný pacient z množiny A bude mít komplikace, potom np(A) = n.P (A). Jestliže se v této množině A o n pacientech vyskytlo r různých pravděpodobností komplikací p1, · · · , pr a nj je počet pacientů z A s pravděpodobností komplikace pj , pak můžeme psát REQUEST'06

20. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy Pokud provedeme přeznačení a každému pacientovi i (pacienty jsme ztotožnili s jejich pořadovými čísly) z množiny A přiřadíme pravděpodobnost komplikace pi, pak je zřejmé, že (4) Počet predikovaných komplikací v dané množině pacientů tedy určíme jako součet pravděpodobností komplikací jednotlivých pacientů této množiny. V takovém případě je již zřejmé, že když pro množiny pacientů platí Ai Aj , potom np(Ai)  np(Aj). Pokud budeme pro stanovení počtu modelem predikovaných komplikací np(A) používat vztah (4) místo vztahu (3), můžeme zjednodušit algoritmus exponenciální analýzy následovně. REQUEST'06

21. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy 1) Máme-li výsledky operací celkem n pacientů, a modelem stanovené pravděpodobnosti komplikací pi, i = 1, . . . , n pro každého i-tého pacienta, pak vytvoříme množiny pacientů (které ztotožníme s jejich pořadovým číslem) Aj = A(0;j.0,1) = { i N | pi (0; j.0, 1}, kde j = 1, · · · , 10. REQUEST'06

22. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy 2) Určíme hodnoty nj = (Aj) modelem predikovaný počet pacientů množiny Aj s pooperačními komplikacemi (viz. (4)). Pokud nj = 0, volíme np(Aj) = 0. skutečný počet pacientů ze skupiny Aj s pooperačními komplikacemi. Fj = 1 v případě, že nj = 0. Fj = nr(Aj )/np(Aj ) v případe, že nj 0, nr(Aj)  0 Fj = 1 - np(Aj )/njv případě, že nj 0, nr(Aj) = 0 REQUEST'06

23. 2. Exponenciální analýza 2.2. Modifikovaný algoritmus exponenciální analýzy 3) Zjištěné hodnoty seřadíme do tabulky. Model je vhodný k popisu výskytu morbidity, jestliže hodnoty Fj , j = 1, · · · , 10 jsou statisticky blízké hodnotě 1 (a v ideálním případě rovny 1). REQUEST'06

24. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Pro potřeby FN Ostrava-Poruba byl vytvořen model POSSUM popisující pravděpodobnost komplikací po otevřených operacích kolorekta. Pro pravděpodobnost pooperační morbidity i-tého pacienta byl logistickou regresí určen vztah kde REQUEST'06

25. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Pomocí exponenciální analýzy modifikované výše uvedeným způsobem (a dalších testů, viz. [1], [6], [7]) byla ověřována vhodnost tohoto modelu morbidity. Pro srovnání uvedeme výsledky exponenciální analýzy provedené původním způsobem (tj. s využitím vztahu (3)) a výsledky modifikované exponenciální analýzy (tj. s využitím vztahu (4)). REQUEST'06

26. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Tabulka 1: Tabulka vytvořená podle původního algoritmu exponenciální analýzy (hodnoty np(Aj) určeny podle vztahu (3)). Z Tabulky 1 vidíme, že algoritmus exponenciální analýzy popsaný v [5] vyhodnocuje model morbidity jako nepříliš přesný (hodnoty Fj jsou v často relativně vzdálené od jedničky). REQUEST'06

27. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Tabulka 2: Tabulka vytvořená podle modifikovanéhoalgoritmuexponenciálníanalýzy Pro ilustraci uvedeme Tabulku 2, která je provedena postupem popsanýmv předchozím odstavci. Je vidět, že pokud použijeme vztah (4) pro výpočet np(Aj), pak výsledkem exponenciální analýzy je, že model morbidity poměrně přesně popisuje reálnou situaci. REQUEST'06

28. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Exponenciální analýzu je také možné použít pro srovnání použitých operačních metod. Je otázkou, zda laparoskopické operace jsou z hlediska pooperační morbidity srovnatelné s otevřenými operacemi. Odpovědět se pokusíme následujícím způsobem. Z Tabulky 2 je jasné, že model pravděpodobnosti pooperačních komplikací (7) je poměrně přesný. Dále víme, že tento model byl vytvořen použitím dat z otevřených operací kolorekta. Aplikujeme proto model (7) na data obdržená při laparoskopických operacích kolorekta (tj. určíme pravděpodobnosti komplikací pro pacienty, kteří podstoupili laparoskopickou operaci) a provedeme poté exponenciální analýzu. Stačí si uvědomit, že hodnoty Fj představují poměr mezi skutečnými a předpovídanými počty komplikací. Ale model předpovídá (a to poměrně přesně) pocty komplikací po otevřených operacích. REQUEST'06

29. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Hodnoty Fj tak můžeme chápat jako odhad poměru mezi počty komplikací po laparoskopických operacích a počty komplikací, které by nastaly, pokud by se stejní pacienti operovali otevřeným způsobem. Pokud exponenciální analýza zřetelně ukáže, že hodnoty Fj jsou (statisticky) menší, než 1, pak můžeme tento výsledek interpretovat tak, že po laparoskopických operacích dochází u pacientů ke komplikacím méně často, než po operacích otevřených. REQUEST'06

30. 2. Exponenciální analýza 2.3. Aplikace exponenciální analýzy Tabulka 3: Tabulka modifikované exponenciální analýzy pro laparoskopické operace. Predikované a reálné pocty kom-plikací jsou stejné pouze u prázd-ných množin pacientů. Jinak jsou hodnoty Fj významně menší než 1. To znamená, že po laparoskopic-kých operacích nastalo méně komplikací, než kdyby stejní paci-enti podstoupili otevřenou ope-raci. REQUEST'06

31. Literatura [1] Hosmer, D.W., Lemeshow, S.:Applied Logistic Regression, Wiley 2000, ISBN 0-471-35632-8. [2] Senagore, A.J., Delaney, C.P., Duepree, H.J., Brady, K.M., Fazio, V.W.: Evaluation of POSSUM and P-POSSUM scoring systems in assissing outcome after laparoscopic colectomy. Br. J. Surg.,2003, 90, s.1280-1284. [3] Copeland, G.P., Jones, D., Walters, M.:POSSUM: a scoring system for surgical audit. Br. J.Surg., 1991, 78, s.356-360. [4] Prytherch, D.R., Whiteley, M.S., Higgins, B., Weaver, P.C., Prout, W.G., Powell, S.J.:POSSUM and Portsmouth POSSUM for predicting mortality. Physiological and operative severity score for the enumeration of mortality and morbidity.Br. J. Surg.,1998, 85, s.1217-1220. [5] Wijesinghe, L.D., Mahmood, T., Scott, D.J.A., Berridge, D.C., Kent, P.J., Kester, R.C.: Comparison of POSSUM and the Portsmouth predictor equation for predicting death following vascular surgery. Br. J. Surg., 1998,85, s.209-212. [6] Briš, R., Jahoda, P. : Modeling of risk of morbidity after laparoscopic surgeriesusing logistic regression., ENBIS 06, talk no. 70, 2006 [7] Martínek, L.: Aplikace specializovaných skórovacích systému pro objektivizaci rizik laparoskopických operací kolorekta.Doktorská disertacní práce 2006. REQUEST'06

32. Děkuji za pozornost. REQUEST'06