مولفهی اساسی در روش ریکیسی، ایجاد مجموعهای از bin ها برای جمع کردن و شمردن سؤالات است. این کار، در مورد مدل یک پارامتری لوجستیک (IRT) نسبتاً ساده و سرراست است، چون در این مدل، تنها فاصلهی بین پارامتر b و بررسی میشود. از لحاظ نظری، در مدل تک پارامتری لوجستیک، سؤالی با مقدار b کاملاً برابر با برآورد جدید توانایی، میتواند بالاترین میزان آگاهی سؤال را ایجاد کند. بهعبارت دیگر، مقدار b بهینه، باید کاملاً برابر با برآورد توانایی جدید باشد. با این وجود، همچنانکه نمودار ۲-۷ نشان میدهد، کاهش آگاهی سؤال ناشی از تفاوت ناچیز بین مقدار b و میتواند ناچیز در نظر گرفته شود. برای مثال، یک پهنای bin مساوی با ۴/۰ یعنی، فاصلهی بین پارامتر b و ، تنها، تقریباً ۴% کاهش در بیشینهی آگاهی سؤال در مقایسه با مقدار b و که کاملاً با یکدیگر برابرند، ایجاد میکند.
نمودار ۲-۷: درصد بیشینهی آگاهی سؤال در مقابل فاصلهی بین مقدار b و
تعیین یک bin در مورد مدلهای دو و سه پارامتری، تا حدودی پیچیدهتر است، و دلیل آن، این است که، آگاهی سؤال به میزان زیادی بوسیلهی قدرت تشخیص سؤال تعیین میشود (یعنی، مقدار پارامتر a؛ و بهطورکلی، آگاهی سؤال زمانیکه a بزرگتر میشود، بیشتر میشود)؛ درحالیکه دشواری سؤال (یعنی، پارامتر b) جایگاهی که در آن آگاهی سؤال ایجاد میشود را مشخص میکند. بنابراین، زمانیکه، ایدهی bin برای طراحی خزانهی سؤال بهینه برای یک برنامهی CAT که از طریق مدل سه پارامتری مدرج شده، بهکار میرود، میزان آگاهی از طریق مقادیر متفاوت a در مقابل، دامنهی معینی از b تعیین میشود. برنبام[۱۷۲] ( ۱۹۶۸)، نشان داد که، بیشینهی آگاهی یک سؤال در ایجاد میشود. معادلهی (۲-۱۶) این مقدار را محاسبه میکند:
(۲-۱۶)
شرح مفهوم “bin” در مدل سه پارامتری
تحت مدل سه پارامتری لوجستیک، مقدار بیشینهی آگاهی یک سؤال از طریق سه پارامتر تعیین میشود. یک سؤال با ضریب تشخیص بالا (مقدار a بالا) آگاهی بیشتری نسبت به سؤالی با ضریب تشخیص پایین ایجاد میکند. با این وجود، چانگ و یینگ[۱۷۳] (۱۹۹۹)، نشان دادند که، زمانیکه برآورد ( ) از توانایی واقعی آزمودنی ( ) فاصله دارد، میزان آگاهی کمتری در سطح ایجاد میشود. یک سؤال با پارامتر c کوچکتر، آگاهی بیشتری در سطح بیشینهاش ایجاد میکند. امّا معمولاً در خزانهی سؤالی که خوب طراحی شده، پارامترهای c سؤالات تغییرپذیری خیلی کمی دارند، بهطوریکه، عامل پارامتر c تاثیر کمی روی میزان آگاهی بدست آمده از سؤالات میگذارد. بنابراین پارامتر a و b دو عامل اولیهای هستند که روی میزان آگاهی یک سؤال تاثیر میگذارد. سؤالاتی که توابع آگاهی مشابهی دارند، دارای پارامترهای a و b مشابهی هستند. این قاعده به ایجاد مفهوم “bin” در شبیهسازی خزانهی سؤال منتهی میشود. مفهوم “bin” در مدل یک پارامتری به عنوان فواصلی از مقادیر پارامتر b که در آن فواصل، سؤالات مقادیر مشابهی آگاهی در طول دامنهای از سطوح ایجاد میکند. ولی در مدل سه پارامتری، محدودهی “bin” از طریق پارامتر a و b تعیین میشود. این “bin” ها از یک طرح پارتیشنبندی شدهی مشبک بر اساس مقادیر a و b تشکیل میشود. همانطور که در نمودار ۲-۸ نشان دادهشده است، هر خانهی مشبک بر اساس دامنهای از پارامترهای a و b مشخص میشود، و به عنوان ab-bin نشان داده میشود. کل کناری در سرتاسر هر ردیف به صورت a-bin و کل کناری در سرتاسر هر ستون به صورت b-bin مشخص میشود. سؤالاتی که درون هر خانه قرار میگیرند، بوسیلهی پارامترهای a و b مشخص میشوند و آگاهی مشابهی در کل دامنهی دارند و بیشینهی آگاهی آن در اطراف سطح محدودهی bin میباشد که سؤالات در آن قرار میگیرند.
نمودار ۲-۸:bin های تعیین شده بر اساس پارامترهای a و b
درصورتیکه، محدودههای b-bin از طریق تقسیم محور (یا محور پارامتر b)، به فواصل برابر، بهدست میآید، پهنای محدودههای a-bin بهگونهی متفاوتی تقسیمبندی میشود، زیرا مقدار بیشینهی آگاهی یک سؤال با فرض اینکه پارامتر c ثابت است، متناسب با تابع درجه دوم پارامترهای a میباشد.
به عبارت دیگر، لرد (۱۹۸۰)، اثبات کرد که، بالاترین میزان آگاهی که یک سؤال لوجستیک با و میتواند ایجاد کند، با فرض اینکه پارامتر c ثابت باشد، تابع درجه دومی از پارامتر a میباشد. بنابراین، رابطهی بین بیشینهی آگاهی که یک سؤال میتواند فراهم کند و پارامتر a، در معادلهی (۲-۱۷) نشان داده میشود؛ در اصل، معادلهی (۲-۱۷) رابطهی بین پارامتر a و بیشینهی آگاهیای که یک سؤال ایجاد میکند، را نشان میدهد (لرد، ۱۹۸۰).
(۲-۱۷)
معادلهی (۲-۱۸) میتواند تغییرات بین تابع بیشینهی آگاهی برای سؤالاتی با پارامترهای a متفاوت را بیشتر نشان دهد:
(۲-۱۸)
با بهره گرفتن از میانگین پارامتر c سؤالات موجود، که حدود ۲/۰ میباشد، قسمت ثابت اول فرمول برابر با ۵/۰ بدست میآید، بنابراین بر اساس معادلهی (۲-۱۹) خواهیم داشت:
(۲-۱۹)
بنابراین، حدود a-bin را که در آن تغییرات پارامترهای a باعث تغییر اندکی در میزان آگاهی میشود را میتوان محاسبه کرد. البته از آنجا که، پارامتر a، بهطور قراردادی، از صفر بیشتر است، با توجه به مقدار مورد انتظار تغییر آگاهی، میتوانیم حدود پارامتر a را گام به گام محاسبه کنیم.
نمودار ۲-۹، طرح یا نقشهی bin که براساس یک تغییر ۴/۰ در میزان آگاهی سؤال، زمانیکه دامنهی b برابر با ۴/۰ و c برابر با ۲۰/۰ است را نشان میدهد. هر خانه براساس فواصل پارامتر a و b، حدود ab-bin را مشخص میکند. اگر ۴/۰ تغییر کوچکی در میزان آگاهی باشد، بنابراین، ۲۸/۰ نیز تغییر کمی در میزان پارامتر b میباشد، bin هایی که بوسیلهی هم پارامتر a و هم پارامتر b مشخص میشوند، در نمودار ۲-۱۰نشان دادهشده است.
نمودار ۲-۹: نمونهای از تصویر ab-bin یا ab-block
به زبان سادهتر، یک ab-bin از طریق حدود پارامتر b و a به صورت روبرو نشان دادهمیشود: . برای مثال، سؤالاتی با پارامترهای a بین ۸۹/۰ و ۲۶/۱ و پارامترهای b بین ۰ و ۲۸/۰ در ab-bin برابر با میباشند. هنگام انتخاب سؤالاتی که داخل یک bin مانند bin بالا قرار میگیرند، میتوان آنها را به جای یکدیگر انتخاب کرد.
با این وجود، با توجه به توابع b-bins و a-bins تمایزها ایجاد میشود. همچنانکه در بالا خاطر نشان شد، نزدیکتر شدن پارامترهای b به سطح ، حداکثر آگاهی که ایجاد میکند و مشخص میکند که یک سؤال به چه میزان بهترین عملکرد را دارد. بهعبارت دیگر، مقدار پارامتر a، میزان آگاهی که یک سؤال در حدود سطح ایی که خوب عمل میکند را تعیین میکند. با رویکرد انتخاب سؤال MI، اگر یک سؤال با آگاهی بالا در یک سطح دردسترس باشد، احتمال انتخاب آن بیش از سؤالاتی با آگاهی پایین خواهد بود. خزانهی سؤالی که بهطور بهینه طراحی شده است، باید دارای تعداد کافی سؤال در هر b-bin باشد، و این اطمینان را ایجاد کند سؤالاتی با پارامترهای a به اندازه کافی بالا، دردسترس میباشد. بهعبارتدیگر، b-bin ها تعداد سؤالات مورد نیاز که در طول سطوح در محدودهی b-bin خوب عمل میکند را محاسبه کند. درون هر b-bin ، a-bins حداکثر تعداد سؤالات با ضریب تشخیص بالا را محاسبه میکند. شبیهسازی خزانهی سؤال، آرایهای از اعداد صحیح که به ما میگوید چه تعداد سؤال در هر b-bin مورد نیاز است و ماتریس که هر عنصر ، بردار صحیح میباشد که نشان میدهد حداکثر چه تعداد سؤال در هر ab-bin درون یک b-bin مورد نیاز است. در هر دو مورد B تعداد b-bin و A تعداد ab-bin درون هر b-bin میباشد. دلیل اینکه چرا آنها در دو ماتریس متفاوت نوشته میشوند این است که معمولاً مشابه با مجموع در مرحلهی اولیهی طراحی خزانهی سؤال نیست. بعد از شبیهسازی CAT، ها در اثر ab-bin هایی با پایین ترین ضریب تشخیص، برابر با صفر قرار میگیرند. تا جایی که میشود و تنها سؤالاتی با بالاترین ضریب تشخیص مورد نیاز برای شبیهسازی، در الگو و طرح خزانهی سؤال بهینه قرار میگیرند. نمودار تصویری دو ماتریس در نمودار ۱۰-۲ نشان دادهشدهاست. قسمت a نمودار ۱۰-۲ نشان میدهد که چه تعداد سؤال در هر b-bin برای خزانهی سؤال بهینه مورد نیاز است و قسمت b نمودار ۱۰-۲ ab-bin های متفاوت را با رنگ خاکستری متمایز میکند و تعداد سؤالات مورد نیاز برای هر ab-bin درون یک b-bin را نشان میدهد (گو و ریکیسی، ۲۰۰۷).
نمودار ۲-۱۰: توزیع سؤال براساس b-bins و ab-bins
ایجاد سؤالات بهینه[۱۷۴]:
کیفیت سؤالاتی که در یک خزانهی سؤال قرار دارد، تعیین کنندهی مهمی برای موفقیت برنامهی سنجش انطباقی کامپیوتری (CAT) میباشد. برای ایجاد سؤالات بهینه در رویکرد اکتشافی باید از مدلهایی برای شبیهسازی پارامترهای سؤال استفاده شود. چهار رویکرد براساس ایدههای گو (۲۰۰۷)، مک برید و وایس[۱۷۵] (۱۹۷۷)، برای ایجاد خصوصیات بهینهی سؤال وجود دارد. رویکرد اول، روش تصادفی[۱۷۶] ®، نامیده میشود، رویکرد دوم، روش پیشبینی[۱۷۷] (PM)، رویکرد سوم، روش آمیختهی تصادفی و پیشبینی[۱۷۸] (MRP) نامیده میشود، درحالیکه، رویکرد چهارم، روش کمینهی آگاهی تست[۱۷۹] (MTI) میباشد. ایجاد سؤالات بهینه در مدل تک پارامتری با مدل دو و سه پارامتری متفاوت است و نیاز به کاربرد این مدلها ندارد. از اینرو، این مدلها تنها برای مدل دو و سه پارامتری کاربرد دارند. در زیر ابتدا مفهوم سؤال بهینه در مدل سه پارامتری (که مدل دو پارامتری را نیز در خود جای میدهد) شرح داده میشود، سپس این سه رویکرد بررسی میشود.
روشهایی برای ساخت سؤالات در شبیهسازی خزانهی سؤال با مدل سه پارامتری لوجستیک ۳PLM
در خلال شبیهسازی خزانهی سؤال، این فرض وجود دارد که، هر سؤالی که برای برآورد جدید ایجاد میشود، میزان حداکثر آگاهیاش در آن سطح میباشد. بنابراین ab-bin سؤالی که شبیهسازی میشود، از طریق پارامترهای a و b آن شناخته میشود. این مسیر مشابه ایجاد سؤال در شبیهسازی مدل ۱PLM میباشد، که در آن سؤالی بهینه است که پارامتر b آن به برآورد جدید نزدیک باشد و در آن سطح بیشترین میزان آگاهی را ایجاد کند. ولی توجه کنید که در مدل سه پارامتری لوجستیک، چنین سؤالی لزوماً سؤالی نیست که نسبت به سؤالات دیگر، حداکثر آگاهی در برآورد جدید ایجاد کند. این روش شبیهسازی سؤال، فرایند شبیهسازی را ساده میکند، این ساده کردن با درنظر نگرفتن این واقعیت که سؤالاتی که به یک bin تعلق دارند میتوانند میزان آگاهی بیشتری نسبت به سؤالاتی که به bin دیگری که به سطح مورد نظر نزدیک است، ایجاد کنند، صورت میگیرد. با اینوجود، با فرض اینکه سؤالات بهینه، سؤالاتی هستند که حداکثر میزان آگاهی در برآورد ایجاد میکند، محاسبهی ab-bin مربوط به سؤالات، معادل با محاسبهی میزان آگاهیایی است که بهطور تقریبی برای برآورد جدید مورد نیاز است. واقعیت این است که سؤالات در یک bin، ممکن است میزان آگاهی بیشتری نسبت به سؤالات در bin دیگری ایجاد کنند، این مورد نشان خواهد داد که، پس از شبیهسازی خزانهی سؤال تعدیل[۱۸۰] باید انجام گیرد(گو و ریکیسی، ۲۰۰۷).
ایجاد پارامترهای سؤال در طول فرایند شبیهسازی خزانهی سؤال
بهمنظور اینکه، ویژگیهای بهینهی سؤال، برای یک برنامهی CAT عملیاتی هدف از لحاظ کاربردی مفید و واقعبینانه باشد، اطلاعات پیشین برای شبیهسازی، تجزیه و تحلیل میشوند. اطلاعات پیشین شامل، توزیعهای پارامترهای سؤالات عملیاتی، رابطهی بین پارامترهای سؤال، اعتبار[۱۸۱] تست، و برآوردهای توانایی آزمودنیها میباشد. روشهای ایجاد پارامتر سؤال عبارتند از:
روش تصادفی ®
در موقعیتی از آزمون CAT عملیاتی که در آن پارامترهای a و b از لحاظ آماری با یکدیگر همبستگی ندارند و مستقل از یکدیگرند، بهکار میرود. برای ایجاد یک سؤال بهینه، با بهره گرفتن از روش R، گامهای زیر دنبال میشود:
برای یک سؤال خاص،
پارامتر و از طریق توزیعهای هدف مخصوصشان ایجاد میشوند.
باتوجه به اینکه هم وهم درحال حاضر معلوم بودند، با بهره گرفتن از معادله (۲-۲۱) محاسبه میشود، درصورتی که برآورد جدید توانایی میباشد، که در معادلهی (۲-۲۰) نشان داده شده است:.
(۲-۲۰)
در نتیجه
(۲-۲۱)
روش مدل پیش بینی[۱۸۲](PM)
روش PM براین واقعیت استوار است که، پارامترهای a و b بهطور معناداری بایکدیگر همبستهاند (چانگ و وندرلیندن، ۲۰۰۳؛ وندرلیندن، اسکرامز[۱۸۳] و اسچنیپکا[۱۸۴]، ۱۹۹۹). بهعلاوه، واریانس پارامتر a با افزایش پارامتر b، افزایش مییابد، که این مشخص میکند که با بهره گرفتن از تبدیلات لگاریتمی، پارامترهای a بهطور خطی با پارامترهای b مرتبط میشوند (گو و ریکیسی، ۲۰۰۷). برای مدل یابی کردن این روابط، پارامتر a برای یک سؤال شبیهسازی شده برابر با تابع رگرسیونی تبدیل لگاریتمی پارامتر a روی پارامتر b میباشد (ریکیسی، ۲۰۰۴)، که در معادلهی (۲-۲۲) و (۲-۲۳) نشان داده شده است:
(۲-۲۲)
(۲-۲۳)
که دارای توزیع نرمال میباشد. با اضافهکردن یک عبارت خطا در تابع رگرسیونی، پراکندگی در پارامترهای a در روش برآورد خزانهی سؤال، بوجود میآید. از آنجا که پارامتر c، بهطور معناداری با پارامتر b همبسته نیست، فرض میشود که از توزیع هدف در خزانهی عملیاتی پیروی میکند. تابع رگرسیون و پراکندگی پارمترهای c، از طریق پارامترهای که از سؤالات عملیاتی بدست میآید، برآورد میشود، این پارامترها، برآوردهای واقعی پارامترهای سؤال از یک برنامهی سنجش خاص هستند. در این روش، در طول شبیهسازی خزانهی سؤال، سؤالات در سه مرحله ایجاد میشوند:
بعد از هر پاسخ، برآورد ، بدست میآید، و این برآورد به عنوان تقریبی از پارامتر b برای سؤال بهینهی بعدی بهکار میرود.
از روی پارامتر b از طریق تابع رگرسیون برآورد شده از روی سؤالات عملیاتی، پیش بینی میشود. به منظور محاسبهی پراکندگی در پارامتر a، عدد تصادفی پیش بینی شده از توزیع به مقدار پیش بینیشده اضافه میشود، که تابع نمایی طبیعی ، پارامتر a شبیهسازی شده میباشد.
پارامتر را از طریق توزیع هدف ایجاد میشود.
پارامتر b دوباره بر اساس معادلهی (۲-۲۱) محاسبه میشود، تا جایی که، سؤال حداکثر میزان آگاهی در ایجاد کند.
در روش PM، معمولاً پارامترهای سؤال در دامنهای مشابه با سؤالات عملیاتی قرار میگیرند. به احتمال زیادی الگو یا طرح خزانهی سؤال بهینهی بدست آمده، شامل ایجادکنندهگان سؤالات میباشد، که به آسانی میتواند ایجاد شود. با این وجود، این طرح، ابتدا روی تطابق پارامترهای b با برآوردهای ، آزمودنی، توجه دارد. پارامترهای a بهصورت تصادفی البته، درون یک دامنهی واقعی یا عملی، ایجاد میشوند. در این روش، نه میزان آگاهی که یک سؤال میتواند ایجاد کند، و نه میزان آگاهی که یک آزمون شبیهسازی شده، احتمالاً میتواند برای یک آزمودنی فراهم کند، محاسبه نمیشود (ریکیسی، ۲۰۰۴، گو و ریکیسی، ۲۰۰۷).
روش آمیختهی تصادفی و پیشبینی (MRP)
همانطور که نام این روش نیز اشاره میکند، MRP، یک روش آمیخته است. قسمت روش تصادفی R آن که در بالا توصیف شد. قسمت روش پیشبینی (P)، در اصل، عقیدهی مکبرید و وایس (۱۹۷۶)، را دنبال میکند، که در این شیوه، خزانهی سؤال “کاملی” به همراه پارامترهای سؤال بهینه براساس رگرسیون پارامترهای روی پارامترهای ، شبیهسازی میشود.
در این روش برای ایجاد معادلهی رگرسیون، ابتدا، همهی سؤالات عملیاتی براساس مقادیر پارامتر شان به سه گروه تقسیم میشوند. سپس، همبستگی بین پارامترهای و برای هر سه گروه محاسبه میشود؛ اگر نتایج نشان دهد که تنها در یکی از گروههای پارامترهای یا دو گروه از پارامترهای b، از لحاظ آماری همبستگی معناداری بین پارامترهای و وجود دارد، در آن گروهها، یک رگرسیون خطی ساده برای پیشبینی توسط اجرا میشود. معادلهی رگرسیون میتواند به صورت روبرو نوشته شود، ، که یک عنصر تصادفی است که از توزیع نرمال ( ) پیروی میکند، و بوسیلهی معادلهی (۲-۲۴)، که بر اساس ایدهی مکبرید و وایس (۱۹۷۶) میباشد، بدست میآید:
(۲-۲۴)
برای ایجاد یک سؤال بهینه با بهره گرفتن از رویکرد MRP مراحل زیر دنبال میشود:
برای هر سؤال، اگر مقدار آن، که میتواند بوسیلهی در هر مرحله از اجرای آزمون تقریب زده میشود، جزء گروهی که در آن همبستگی معناداری بین پارامتر a و b وجود ندارد، بود، برای ایجاد ویژگیهای سؤال بهینه از روش R که در بالا توصیف شد، استفاده میشود. در غیر اینصورت، برای گروه یا گروههایی که همبستگی معناداری بین پارامتر a و b وجود دارد، روشهای زیر بهکار میرود: