1 / 81

Objective Evaluation

Objective Evaluation. MCQs. M.R Shoja (MD) Professor of Ophthalmology Shahid Sadoghi University. Purpose of Evaluation. To certify individual competence To assure successful completion of goals/objectives To provide feedback To students To faculty, course and clerkship directors

josiah
Télécharger la présentation

Objective Evaluation

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Objective Evaluation MCQs M.R Shoja(MD) Professor of Ophthalmology ShahidSadoghi University

  2. Purpose of Evaluation • To certify individual competence • To assure successful completion of goals/objectives • To provide feedback • To students • To faculty, course and clerkship directors • As a statement of values (what is most critical to learn) • For Program Evaluation- evaluation of an aggregate, not an individual (ex. average ability of students to perform a focused history and physical)

  3. DOES Longitudinal Clinical Observation OSCE SHOWS HOW SP Practical Oral Application Essay Note review KNOWS HOW MEQ MCQ KNOWS Written Observed FORMATIVE SUMMATIVE

  4. Validity • The ability to measure what was intended , • Face • Content • Predictive Reliability The consistency of a measurement over time or by different observers- ( ex. a thermometer always reads 98 degrees C when placed in boiling, distilled water at sea level)

  5. Relating MCQs to Bloom’s Taxonomy HIGH HIGH Level of difficulty in designing questions Level of learning LOW LOW

  6. The Basic Rules for One-Best-Answer Items Each item should focus on an important concept • Common, serious or potentially catastrophic clinical problem • Avoid : • Tricky • Trivial • Overly complex

  7. MCQ ‘Items’ • Should test important information – either common or life-threatening • Should be well-structured What Should Be Tested? Exam content should match course objectives Important topics should be weighted more heavily than less important topics

  8. كتبي Type of Assessment ساخته- پاسخ (Constructed - Response) سئوالات صحيح-غلط (True/False) گزيده- پاسخ (Selected Response) سئوالات تك پاسخ Multiple Choice Question ( MCQ s) Simple Matching Extended Matching M.R.SHOJA.

  9. Multiple Choice Questions (MCQ) 1-Text of Question (Stem) تنه سئوال 2-Lead in Question عبارت راهنما گزینهدرست Key: 3- Options: گزينه ها Distracters: گزینههایغلط M.R.SHOJA.

  10. Anatomy of an MCQ Item • Stem • Lead-in • Options • One correct answer • Distractors

  11. عبارتراهنما بهترينتشخيصكدامگلوكماست (1 ثانوي به يووئيت (2 زاويه بسته اوليه (3 بدخيم اوليه (4 زاويهباز اوليه گزينه ها(Options ) stem خانم 55 ساله اي باRed Eye ودرد چشم راست مراجعه كرده است. مردمك كوچك و نامنظم - پرخوني عروق اطرافLimbus ديده مي شود - روي آندوتليومKP وجود دارد - زاويه هر دو چشم باز است - فشار چشم راست 45 و چشم چپ 15 ميليمتر جيوه است. M.R.SHOJA.

  12. A 36-year old man a 4-week history of a generalized, intensely pruritic papular rash. His 9-year-old son also has itching. On examination, there is a generalized rash consisting of excoriated papules and vesicles on wrists, sides of fingers, arms, and buttocks. No other abnormalities are noted.  Which one of the following is the most likely diagnosis?   1-  Neurodermatitis
    2- Impetigo (poderma)
    3- Pityriasis rosea
    
4-    Scabies M.R.SHOJA.

  13. Steps in Constructing a Well MCQ • Choose a topic for the question • Choose appropriate context for question • Create a stem • Create the correct answer $ distracters M.R.SHOJA.

  14. Choose a topic for the question • The topic is the theme for a specific question.When choosing a topic for a question, focus on one important concept, typically a common clinical problem from your speciality. M.R.SHOJA.

  15. B. Choose appropriateContext Context will test the topic Topic: Turner's Syndrome Contest : Treatment: : Diagnosis M.R.SHOJA.

  16. Example • Topic: Turner's Syndrome • Context: Diagnosis • An 18-year-old woman presents with primary amenorrhea. On exam she is 148 cm tall. Her external genitals are immature and there is no breast development. • What is your most likely diagnosis? • Turner's Syndrome • Mixed Gonadal Dysgenisis • Pure Gonadal Dysgenisis • Hermaphroditism M.R.SHOJA.

  17. General Guidelines for Item Construction • Include as much of the item as possible in the stems: Long stems, short options • Avoid negatively phrased items • Avoid writing question of the form: • Which of the following statements is correct? • Each of the following statements is correct EXCEPT If the stem requires the use of words such as 'nor' or 'except', these words should be made very obvious by the use of bold, capital or underlined text,

  18. MCQ ‘Items’ • Should test important information – either common or life-threatening • Should be well-structured • MCQs is to test knowledge, rather than ability co read or translate

  19. Stem* • Usually a clinical scenario • Clear, • Should be long relative to options • Includes all pertinent information • Patient’s age/gender • Clinical setting • Complaint • Other important info – history, physical findings, test results

  20. Writing stem • Main content of question should be in stem • Stem must measure one important goal . • Much information in stem as little in options • Eliminate extra information from stem . • Avoid negative statements in the stem • Avoid words which confuse student 7) Avoid irrelevant clues to correct option . 8) Use clinical cases M.R.SHOJA.

  21. Lead-in* • Follows stem • In the form of a question • Should relate to the stem • Should be answerable without looking at options • “Cover the Options test”

  22. Writing options • Options should be as short as possible . • Options complete stem grammatically correctly . • Distracters same in length & grammar with key . • Avoid mutually exclusive options . • Do not repeat wording from stem in key . • Vary the location of answer randomly . • Distracters must be incorrect but plausible. • All of the above" is often a correct response. • None of the above" is an incorrect response. M.R.SHOJA.

  23. For distracters use words that attract unsure student. • Distracters & correct answer homogenous in content. • Don’t use “ all , none , or two of the above . • Avoid words : always , never , all (wrong answer). • Vague word like “usually ,may be (correct answer). • Avoid negative term in lead in question. i.e. ,all of the following are true except. 14. Avoid lifting phrases directly from text for key • Correct and incorrect options should fall into the same category (all diagnois, tests, treatments, etc) M.R.SHOJA.

  24. Distractors • Homogeneous in content to the correct answer • Should be in same category as correct answer– diagnosis, treatment, diagnostic test • Clearly incorrect or inferior to the correct answer • Plausible and attractive to the uninformed • Similar to the correct answer in construction and length • Grammatically consistent and logically compatible with the stem

  25. Stem:A 68 year old lifelong smoker complains of gradual onset of progressive hoarseness. He then develops unilateral throat and ear pain and subsequently complains of breathing and swallowing problems. Lead in Question : What is likeliest cause of hoarseness? Options :a - Recurrent laryngeal palsy b - Laryngeal cancer c - Hypopharyngeal cancer d - Oesophageal cancer M.R.SHOJA.

  26. Advantages of Objective Questions Readily administered and easy to handle . Self administration and self assessment . * Can focus on detailed parts of the course. Measures, knowledge, comprehension , application . Quick and simple to mark ( electronic marking )  Statistical analysis of results provide rapid feedback M.R.SHOJA.

  27. قواعد طراحي سئوالات چهار گزينه اي باليني -1 هر سئوال بايد مطلب مهمي را بسنجد (کاربرد بالینی داشته باشد) كودكي كه يك داستان را تعريف مي كند ، تنهائي توالت مي رود و شمارش تا4 را انجام مي دهدچند ساله است ؟ الف- 3 ب-4 ج-5 د-6 اتولوگوس ترانسفوزيون اولين بار در چه سالي بكار رفت ؟ا لف – 1930ب-1818 ج-1905د-1890 … M.R.SHOJA.

  28. خانم 50 ساله اي بطور ناگهاني دچار درد شديد شكم شده ، بيمار بعلت ريتم AF قلب هفته قبل از سي سي يو مرخص شده است در حال حاضر فشار خون بيمـار 80/50 و به شدت اسهال خوني دارد ، WBC = 2500 ، ميباشد و درABG اسيدوز متابوليك دارد آميلاز بالا است . محتمل ترين تشخيص كدام است ؟ الف- آنوريسم آئورت پاره شده است ب- پانكراتيت ج- ايسكمي حاد مزانتر د- كله سيتيت حاد M.R.SHOJA.

  29. سئوال بايد بكارگيري دانش را بسنجد نه يادآوري ساده اطلاعات .2 كداميك از داروهاي ذيل تشنج ايجاد نمي كنند ؟ الف- Acyclovir ب-lithium ج- Amphethamin د- Alcohol قسمت خلفی فوقانی مجرای گوش خارجی عصب می گیرد از ؟ الف- زوج پنجم ب- زوج هفتم ج- زوج نهم د- زوج دهم M.R.SHOJA.

  30. -3 تنه سئوال بايد حاوي يك سئوال واضح و مشخص باشد (Cover the options rule ) Premitive analgesia : الف- فقط در موارد درد حاد كار برد دارد. ب- فقط در موارد درد مزمن كاربرد دارد . ج- در هر دو مورد درد حاد و مزمن كاربرد دارد . د- بهترين كار آيي آن استفاده از ضد درد پس از شروع درد است . در افتراق برونشيت از آمفيزم خالص همه مطالب زير صحيح است به جز الف)… ب)…ج)…د)… M.R.SHOJA.

  31. پرهيز از طرح گزينه هاي طولاني و پيچيده - 1 هدف سنجیدن دانش است نه سرعت قاعده کلی نوزاد پرترمي ( با وزن 1800 گرم ) متولد شده است وضعيت HBSAg مادر نامعلوم است براي پيشگيري از هپاتيت B كداميك از اقدامات زير براي نوزاد مناسب است ؟ الف-نوزاد را با 3 دوز واكسن هپاتيت B در زمانهاي 2-1 و 4-2 و 18-6 ماهگي واكسينه مي كنيم ب- به نوزاد واكسن هپاتيت B تا 12 ساعت پس از تولد و جمعا 3 دوز ( در زمانهاي 0و1و6 ماهگي ) داده و بلافاصله مادر را از نظر HBSAg تست نموده و HBIG را ظرف هفت روز چنانچه مادر HBSAg مثبت بود ميدهيمنظر H ج-واكسن هپاتيت B(4دوز) در زمانهاي صفر و 1و 3-2 و 7-6 ماهگي داده شود و بلافاصله مادر را از BSAg تست نموده واگر نتيجه ظرف 12 ساعت از تولد در دسترس نبود HBIG نيز تزريق مي كنيم د- نوزاد را با 3 دوز واكسن هپاتيت B در زمانهاي 2-0 و 4-1 و 18-6 ماهگي واكسينه كرده و در 15-9 ماهگي وي را از نظر anti-HBS و HBSAg چك مي كنيم و اگر شيرخوار از هر دو اينها منفي بود مجددا با 3 دوز به فواصل 2 ماه واكسينه و سپس تست مجدد انجام مي دهيم

  32. 2)پرهيز از تكرار كامات غيرضروري در گزينه ها و تنه سئوا ل در مورد باكتريوري در حاملگي گزينه صحيح را انتخاب كنيد الف-باكتريوري‏ بدون علامت در 7-2درصد حاملگي ها وجود دارد و عواملي چون نژاد و پاريتي در آن نقش ندارد ب- درمان باكتريوري بدون علامت بصورت تجربي است و نيتروفورانتوئين 100. مننژيت چركي را چگونه درمان مي كنید؟ الف ) با شرايط استريل براي بيمار پونكسيون مايع نخاعي انجام ميدهيد( پونكسيون مايع نخاعي ) ( ترزيق وريدي 2 گرم سفالوتين )ب) براي بيمار 2 گرم سفالوتين بطور وريدي تجويز مي كنيد قاعده کلی M.R.SHOJA.

  33. 3)استفاده از عبارات كوتاه و روشن در جمله راهنما( Lead in Statement) مرد 70 ساله با تنگي نفس كوشش مراجعه كرده است . درمعاينه وي ، فشار خون 90/110 دارد در سمع قلب ، S4واضح و يك سوفل سيستولي III/VI در كناره چپ استرلوم و كانون آئورت ، با انتشار به گردن دارد . در ECG ، علائم هيپرتروني بطن چپ دارد . كدام يك ازجملات زير در مورد اين بيمار صحيح نيست كداميك از بيماريهاي زير براي بيمار از احتمال بيشتري برخوردار است ؟ ) محتمل ترين تشخيص شما كدام است؟) قاعده کلی M.R.SHOJA.

  34. گزينه هاي انحرافي و گزينه پاسخ بايد هموژن باشند در مورد درمان گلوكم زاويه بسته كدام صحيح است ؟ الف) بيمار را پريفرال ايريدكتومي مي كنيم ب) براي بيمار perimetry انجام مي دهيم ج) گلوكم در خانم ها شايع تر است د) اين گلوكم اكثرا" دو طرفه است M.R.SHOJA.

  35. از طرح سئوالاتي كه تنها صحيح يا غلط بودن گزينه ها را مورد پرسش قرار مي دهندخودداري كنند كداميك عبارات زير در مورد …………. صحيح است ؟ تمام عبارات زير در مورد ………….صحيح است بجز ؟ كداميك از عبارات زير در مورد …………غلط است ؟ كداميك از عبارات زير در مورد………..صحيح نيست ؟ Not Cover the options M.R.SHOJA.

  36. تمام موارد زير صحيح است بجز ؟ الف- در 0/25% خانم هاي بارور ، درجاتي از آنومالي سيستم مولرين ديده مي شود. ب- امكان مهاجرت اسپرم از طريق ترانس ابدومينال بطرف رودي منشوري هورن ( Rudi .Horne ) و لوله و تخمدان آن سمت و ايجاد باروري در آن وجود دارد . ج- معمولاً پارگي هورن مسدود در سه ماهه اول حاملگي رخ مي دهد . د- احتمال ادامه حاملگي تا ترم نيز وجود دارد. M.R.SHOJA.

  37. Irrelevant Difficulty Numeric Data not stated consistently Following a second episode of salpingitis, what is the likelihood that a woman is infertile? • Less than 20% • 20 – 30 % • Greater than 50 % • 90% • 75%

  38. از طراحی سوالات منفی خودداری کنید كداميك از تركيبات زير در شير مادر موجود نيست؟ الف Fe - ب- ويتامين K ج- لاكتوز د- همه موارد درگيري كدام يك از اين مفاصل در استئوآرتريت نادر است ؟ الف- مچ دست ب- مفاصل متاكارپرفالانژيال ج- شانه د- الف و ب M.R.SHOJA.

  39. سئوالاتی وجود دارند که علی رغم ظاهر منفی ، سئوالات مطلوبیتلقی میشوند . • بیماری مبتلا به سیروز پیشرفته که دچار سل شده است قرار است تحت نظارت کامل مرکز بهداشت مربوطه تحت درمان قرار گیرد . شما به عنوان پزشک مسئول درمانگاه کدامیکاز داروهای زیر را به هیچ وجه توصیه نمی کنید ؟ 1- پیرازینامید 2- استرپتومایسین 3- اتامبوتول 4-ایزونیازید

  40. اشكالات طراحي MCQs A )عوامل كمكي در دانش تست زدن 1)سر نخ هاي گرامري : مواجهه با كداميك از فلزات زير سبب بروز آنمي مي شود ؟ الف) سرب ب) CLNAج)CLH د)اسيد سولفوريك Test Wiseness M.R.SHOJA.

  41. 2) تكرار كلمات در تنه سئوال و گزينه صحيح: كداميك از بيماريهاي زير ناشي از شغل مي باشد . الف) سرطان معدهب)آسم شغليج)كوررنگي د)درماتيت آتوپيك Test Wiseness M.R.SHOJA.

  42. Item Flaws: Test-wiseness Word repeats A 24 year old with a previous history of chronic PID presents with primary infertility. Select the procedure that would be most appropriate to evaluate the status of her tubes and pelvic anatomy • Post-coital test • Endometrial biopsy • Laparoscopy with dye insufflation of the fallopian tubes • Hysterosalpingogram

  43. Test Wiseness تكرار كلمات در تنه سئوال و گزينه صحيح :2 Which one of the following publication is considered to be a prime source for research articles on achievement testing ? a. Journal of Educational Psychology b. Journal of Educational Measurement c. Journal of Clinical Pschology d. Review of Educational Research M.R.SHOJA.

  44. 3) بلند تر بودن گزينه صحيح : احتمال وجود شكم حاد در كدام موارد زير بيشتر است : الف) درد RLQ ب Tenderness ج) درد LUQ د)درد و حساسيت لوكاليزه.tenderness درRLQ Test Wiseness M.R.SHOJA.

  45. Test Wiseness 4) واژه هاي داراي معاني مطلق : به مثل همواره- هميشه – هرگز در كودك 4 ساله مبتلا به Amblyopia : کدام غلط است الف) ديد چشم مبتلا كاهش داردب) با دارو درمان مي شود ج) تحت نظر گرفته مي شود د)انحراف چشمي همواره ثابت است M.R.SHOJA.

  46. B ـ عوامل مربوط به دشواري بي‌دليل سؤال • 1 ـ طولاني و پيچيده بودن گزينه‌ها • 2 ـ ناهمساني داده‌هاي عددي • 3 ـ مبهم بودن واژ‌ه ها (اغلب ـ معمولاً ـ اكثراً) • 4 ـ گزينه هيچكدام يا همه موارد فوق • 5 ـ وابسته بودن سؤالات به يكديگر M.R.SHOJA.

  47. - ♥ اگر كلمه اي مشخص در پاسخ صحيح بود بايد در تمام پاسخ هاي تكرار شود . - ♥ كلمات هميشه يا هرگز پاسخ غلط, كلمه معمولاً پاسخ درست را مشخص مي كند -.- ♥ جمله تمام موارد يكي از گزينه هاي انحرافي را حذف مي كند . ♥ سئوالات مستقل از يكديگر و پاسخ دادن به يك سئوال نبايد شرط لازم به پاسخ دادن سئوال ديگري باشد . - ♥بعد از هر كلاس درس 1 تا 2 سئوال و بطور كلي روزي 3-4 سئوال نوشته شود . ♥ از اشتباهات افراد تحت آزمون در طول دوران تحصيل براي نوشتن گزينه هاي انحرافي استفاده شود . M.R.SHOJA.

  48. مرد 52 ساله اي با حملات راجعه پلي آرتريت مهاجر زانوها و مچ پاها با درد شديد و شروع ناگهاني از حدود يك هفته پيش مراجعه كرده است . در معاينه فعلاً آرتريت حاد زانوي راست همراه باقرمزي اطراف مفصل و شواهدي از تاندنيت آشيل چپ دارد . در آزمايشات ASO=450 ,RF= - , ESR=35 ، اوريك اسيد=3.7 ، آناليز مايع مفصل:WBC=1600/mm3 بدون شواهدي از كريستال مي باشد. (محتملترين تشخيص چيست) الف- نقرس ب-ديس ليپيدمي ج-تب روماتيسمي د-ارتریت روماتویید M.R.SHOJA.

  49. مراحل طراحی آزمون 1- مشخص کردن هدف آزمون ( Validityوابسته به هدف سنجش است ) 2- تعیین حیطه آزمون 3- تصمیم گیری راجع به تعداد سؤالات 4- طراحی سؤالات 5- تعیین حد نصاب قبول / رد ( در آزمون های ملاکی ) تعیین حیطه آزمون باید معرف ( Representive) باشد 200 سؤال ترکیب واقعی دانشی باشد که داوطلب بعنوان متخصص به آن نیاز دارد تضمین content validity و predictive آزمون از هر مبحث به چه نسبتی باید سوال طرح گردد

  50. طراحیBlue printآزمون برای مشخص کردن حیطه آزمون یک روش کلاسیک وجود دارد و آن تهیه جدول ویژگیها table of specifications است که طراحان سؤال سرفصلها و درصدی از سؤالات آزمون را که باید به هر سرفصل اختصاص یابد مشخص می کنند . در پزشکی نیز با اصول مشابهی content outline یا Blueprint آزمونها تهیه می شود برای تهیه Blue print آزمون چند راه وجود دارد . 1- Expert panel 2- ایده گیری از کتابهای مرجع 3- مراجعه به اهداف آموزشی

More Related