Clinical Reasoning Assessment

1. Clinical Reasoning Assessment Alireza Monajemi, MD-PhD

2. Workshop sessions

3. Agenda • Introduction to clinical reasoning assessment A- Theoretical framework B- concepts and methods C-discussion • Designing the CR section of Olympiad A- The structure of the test B-Samples C-discussion

4. Who is a medical expert?

5. Clinical Reasoning • What is clinical reasoning? • What is the differences between doctors and medical students?

6. The doctors think differently in contrast to the medical students. • There are some general problem solving skills that doctors possess.

7. Medical Expertise Studies Medical student Expert doctor

8. No difference!

9. Clinical Rasoning • Clinical Reasoning is the heart of the medicine • The evaluation of Clinical Reasoning becomes central to medical education

10. Who is medical expert? • Someone who knows more • Someone who has more experiences • Someone who has better problem solving skills

11. Look at the similar studies in other fields • Expert 100% • Novice 20% Meaningful mid game position

12. Look at the similar studies in other fields • Expert 20% • Novice 20% Randomized mid game position

13. Expert superiority • Knowledge organization • Chunking • Pattern recognition

14. Expertise is not Knowledge expansion But It is Knowledge restructuring

15. لطفاً متن زیر را بخوانید و تشخیص بیمار را پیدا کنید. • تعريق فراوان بر روي صورت و پيشاني دارد. سابقه فشار خون بالا و ليپيد بالا را متذکر است .آقاي 60 ساله با درد قفسه سينه در ناحيه رترواسترنال مراجعه کرده است. ECGST V4تاV1در. مصرف سيگار روزانه يک پاکت به مدت 20 سال داشته است. . TG=220بيمار به شدت مضطرب به نظر مي رسد. اندام هاي بيمار سرد و Pale مي باشد. LDL=272 /HDL=30 همراه با درد تعريق سرد فراوان و تهوع و 2 بار استفراغ دارد.

16. لطفاً هر چه از case بالا به خاطر می آورید بنویسید.

17. Clinical case paradigm Organized=recalled organized Scrambled=recalled scrambled Organized=recalled organized Scrambled=recalled organized Medical student Expert doctor

18. The concept of the script

19. The structure of script

20. کار گروهی اول • لطفاً illness scriptیک بیماری را بنویسید. • به نظر شما چه انواعی از illness script وجود دارد.

21. Illness scripts • Approach to a sign or symptom( Dx or Mx) • Approach to a clinical state( Dx or Mx) • Approach for Dx a specific disease

22. Illness script

23. Alternative assessment • Synonyms: Authentic =performance-based asses • Emphasis on doing • Close to real context • No correct and objective answer • Extended period of time • Assesses higher level of thinking

24. همکاران محترم دو نمونه از آزمونهای استدلال بالینی در اختیار شما قرار دارد. لطفاً قسمت های مختلف آزمونها را در آنها بازشناسید. ارتباط هر کدام از آنها را با تئوری شرحنامه مشخص کنید.

25. Clinical Reasoning test : Overview • Each test regardless of its structure consist of these elements:

26. Clinical Reasoning Assessment • Novice-Expert discrimination • Natural task • Feasible • Problem specificity • Content validity

27. Scenario • short scenarios, present challenging clinical situations in a few sentences. • Patient Hx, physical examination, etc • Ambiguous, not straight forward • always incorporate uncertainty • Not only one answer • Based on the instruction including one sentence( e.g. extended matching) to several paragraphs( e.g. CRP) • Not too extended

28. Types of scenarios • An undifferentiated problem • A typical problem • Multisystem involvement • Life threatening situations • Preventive or health promotion

29. Frequencies based on life span period

30. Instruction • Very very important: • Should ask for an action or decision • Explicit • About Dx or Mx

31. Items • Extended matching in order to avoid cueing effect • More than one correct answer • Uncertainty context • Weighting items( Likert scale) • Sorting or priorizing • Because of feasibility open ended questions are not recommended

32. کارگروهی • همکاران محترم دو نمونه از آزمونهای استدلال بالینی در اختیار شما قرار دارد. لطفاً در این مورد بحث کنید که چه راهی برای تهیه کلید از انها وجود دارد و سپس آنها را در جمع ارائه دهید.

33. نمره دهی • نمره‌دهی به هر نمونه • نمره‌دهی به کل آزمون

34. Scoring system • Summative system • Averaging system • Dichotomous • Partial credit • Efficiency score

35. Scoring system • Consensus • Experts panel • Summative scoring system with partial credit • scoring involves comparing answers provided by examinees with those of a reference panel composed of physicians with experience in the field being assessed. • Panel members are asked to complete the test individually, and their answers are used to develop the scoring key. • Credits for each question are derived from the answers given by the reference panel.

36. آزمون ویژگی‌های کلیدی KF • در اين آزمون ابتدا يک سناریو مطرح مي شود. در ادامه تعدادي گزينه وجود دارد(معمولاً 20 ) که اطلاعات مربوط به آنها در متن سناریو نيامده است. دانشجويان مجاز هستند از ميان 20 گزينه حداکثر 5 مورد را انتخاب کنند و الويت ها را نيز با دادن اعداد 1 تا 5 به گزينه مشخص نمايند. لازم نيست فقط 5 تا از گزينه ها درست باشد و تعداد بیشتري مي‌تواند جواب درست داشته باشد. معمولاً تعداد گزینه‌ها 4به طور معمول برابر حداکثر تعداد انتخاب مجاز است.

37. Key Feature(KF) • A scenario can be about a disease entity or approach ( approach to chronic cough vs. approach to MI) • Some questions about the essential and critical decisions for the patient not knowledge • Extended matching: choose limited number and sort them

38. KF • For an adult patient complaining of a painful, swollen leg the physician should : • Include DVT in his differential Dx • Elicit risk factors of DVT in patient’s history • Order a venogarm for DVT confirmation

39. KF • A 56 yea worse old man consults you because of pain in his left leg began 2 days ago and has been getting progressively worse. He states his leg is tender below the knee and swollen around the ankle. He has never had similar problems. His other leg is OK.

40. With respect to your Dx, what element of his Hx would you want to elicit. Select up to 5. • Allergies • Angina pectoris • Smoking • Color of stool • Cough • Headache • Hematemasis • Hormone therapy • PND • Recent surgery • Recent sore throat • Recent immobilization • Previous knee problems • Previous neoplasia • Paresthesia • Wounds on foot • Wounds on hand • Nocturia • Palpitation • Low back pain

41. نکات کلیدی • مثلاً فرض کنید با یک مسئلۀ بالینی مانند پای متورم و دردناک روبرو هستیم. سه نکتۀ کلیدی در حل این مسئلۀ بالینی چنین است: • به تشخیص DVT را در بین تشخیص‌های افتراقی حتماً فکر کنیم. • به دنبال ریسک فاکتورهای DVT در شرح حال بیمار بگردیم. • ونوگرام به عنوان تست قطعی DVT را در تدبیر بالینی بیمار بگنجانیم.

42. روش طراحی • . بنابراین یک تابلوی بالینی را در نظر می گیریم. مثلا تابلوی سرفه مزمن در یک مرد. • چه نکات کلیدی‌ای وجود دارد که باید روشن شود. • بر اساس این رویکرد گزینه‌هایی را در قسمت‌های مختلف از جمله شرح حال، معاینه و پاراکلینیک می گذاریم. • نکتۀ بسیار مهم در نوشتن گزینه‌ها این است که گزینه‌هایی که کاملاً غلط هستند را در سوال نگنجانید، مثل سن حاملگی یا تست بارداری در مردی که با سرفۀ مزمن مراجعه کرده است چرا که بدون نیاز به خواندن شرح حال نادرست بودن آن مشخص است. • CBC • Task

43. روش طراحی • گزینه‌ها تمام پرسش‌هایی هستند که می‌توان به صورت بالقوه از این بیمار پرسید. • در ضمن به خاطر داشته باشید که هر گزینه فقط در مورد یک داده باشد مثلا ننویسید معاینات قلب و ریه و شکم و اندام‌ها، بلکه باید آنها را به گزینه‌هایی تقسیم کرد یعنی معاینه قلب، ریه، شکم و اندام‌ها را از هم جدا کرد. • مسئلۀ مهم دیگر در انتخاب آیتم‌ها کلی یا جزئی بودن آنهاست، مثلاً می‌توانیم آزمایش کامل خون را به عنوان گزینه انتخاب کنیم یا هموگلوبین را. • در نوشتن دستورالعمل باید یک وظیفۀ مشخص از داوطلب خواست یعنی اینکه اگر بخواهیم مشکل بیمار را تشخیص دهیم به چه اطلاعاتی نیاز داریم یا اینکه اگر بخواهیم به تدبیر بالینی بیمار فکر کنیم چه داده‌هایی را احتیاج داریم.

44. کار گروهی • همکاران محترم • لطفاً یک آزمون ویژگی های کلیدی بر اساس دستورالعمل طرح نمائید.

45. نحوه نمره دهی به آزمون KF • لطفاً سوال زیر را بخوانید. • خانم 28 ساله‌اي در هفته 33 حاملگي با ادم 2+ مراجعه كرده است. در معاينات ايكتر دارد، سمع قلب تاكيكارد است. شما به كدام يك از موارد ذيل براي تشخيص اين بيمار نياز داريد؟ 5 مورد را انتخاب كنيد.

46. آناليز ادرار • □ اسيد اوريك سرم • □ آنزيم‌هاي كبدي • □ آزمايش كامل خون • □ چك تست‌هاي انعقادي • □ اسپلنومكالي • □ آلبومين سرم • □ تعيين سطح هوشياري بيمار • □ فشار خون • □ آندوسكوپي فوقاني • □ اندازه‌گيري پلاكت خون • □ الكتروليت‌هاي خوني • □ رال • □ سابقه پراكلاپسي • □ اندازه‌گيري كراتينين

47. لطفاً هر کدام جداگانه به آن پاسخ دهید و طبق دستورالعمل کلید آن را استخراج کنید.

48. CRP Clinical Reasoning Problem

49. Clinical Reasoning Problem(CRP) • Design an ambiguous case that doesn’t have only one answer • List the D.Dx for the case • Put between 6 to 10 of diagnoses including highly correct, semi correct and totally wrong • Break the case into findings and then weight each findings based on each Dx from -3 to 3 • Some items are not related to a specific Dx so there is no need to score all findings • It is not necessary to list all findings • More than 2 Dx s can be acceptable • 7- 10 cases for

50. طراحی • در نوشتن سناریو باید این نکته توجه کرد که اندازۀ سناریو نه به اندازه‌ای کوتاه باشد که نتوان هیچ تشخیصی مطرح کرد و نه آن قدر اطلاعات وجود داشته باشد که فقط به یک تشخیص اشاره داشته باشد، • این مسئله مستلزم آن است که سناریو تا حدی مبهم باشد ولی این ابهام به معنای پیچیده بودن یا نادر بودن نیست، بلکه ابهام به واسطۀ آن است که اطلاعات برای تشخیص نهایی کافی نیست( دقیقاً شبیه همان اتفاقی که شرایط واقعیِ ویزیت بیمار می‌افتد).