اعتبارسنجی معیارنمره‌دهی مهارت صحبت ‌کردن در آزمون جامع زبان فارسی فردوسی

مهارت صحبت کردن بخش بسیار مهمی از توانایی زبانی افراد را دربر می گیرد. بهره مندی از این مهارت در محیط دانشگاه نیز اهمیت بسزایی دارد؛ اما سنجش صحبت کردن کار چندان ساده ای نیست و با مشکلاتی مانند دشواری در نمره دهی روبه رو است. در این پژوهش تلاش شده است تا میزان اعتبارِ معیار نمره دهی مهارت صحبت کردن در آزمون جامع زبان فارسی مرکز بین المللی دانشگاه فردوسی مشهد مطالعه شود. به همین منظور، نتایج به دست آمده از یکی از آزمون های برگزار شده در این مرکز به وسیله مدل های آماری راش و تحلیل عاملی بررسی شد. نتایج نشان داد که پایایی آزمون گیرنده 97 درصد است. این عدد بیانگر درک نسبتاً یکسان آزمون گیرندگان از معیار نمره دهی است. همچنین، در این آزمون، آزمون گیرندگان توانسته اند به شکل مناسبی مقیاس نمره دهی را برای آزمون دهندگان با توانایی های مختلف به کار گیرند؛ زیرا آستانه های به دست آمده بر اساس مدل راش، سیر صعودی منظمی داشته اند. نقشه آزمون دهنده پرسش نیز نشان می دهد که معیار نمره دهی توانایی تمییز زبان آموزان ضعیف، متوسط و قوی از یکدیگر را داشته است. با این حال، در بالای طیف توانمندی آزمون دهندگان، هشت آزمون دهنده قرار گرفته است که هیچ نمره ای متناسب با سطح توانمندی شان دیده نمی شود؛ یعنی معیار نمره دهی در تمییز آن ها کارآمد نبوده است. از سوی دیگر، بار عاملی به دست آمده برای سه سازه شیوه بیان، کیفیت زبان و بسط موضوع به ترتیب 76، 78 و 74 درصد بوده است. این امر نشان می دهد تقسیم توانایی صحبت کردن به سه عامل یاد شده متناسب و دقیق است و هر کدام از این سازه ها توانمندی متفاوتی را سنجش می کنند. از این میان کیفیت زبان بیشترین و سازۀ بسط موضوع، کم ترین میزان بار عاملی را داشته اند.

The validity of speaking scoring rubric in Ferdowsi Persian Proficiency test

The ability to speak is an important part of every body rsquo;s language proficiency. This ability plays an important role in the academic life of students. But scoring and assessing speaking is not easy. In this research, we try to study the validity of Ferdowsi University rsquo;s Persian proficiency test. We know that every test has a certain amount of error; but in scoring speaking ability if the scoring rubric is designed in a scientific way, the score attributed to the speakerschr('39') speech ability is likely to be very similar to their actual language ability. In other words, the appropriate scoring rubric can have a significant effect on reducing the error rate of the test. In normreference tests, this can be achieved only when test designers can say what scoring constructs they intend to measure and how successful they are in achieving that goal. Also, it should be clear whether the scoring scale can distinguish weak, medium, and strong test takers. On the other hand, in applying the scoring rubric , the level of consensus of the scorers should be clear. In order to see how successful is the scoring rubric in Ferdowsi Persian proficiency test, in measuring the test taker rsquo;s speaking ability, the authors analyzed the result of one of the proficiency tests administered at Ferdowsi University with Rasch model and factor analysis. The result showed that scorer reliability is 0.97 which is so high. It showed that scorers have the same understanding of the scoring rubric. This means that the scorers have given the test takers a relatively stable score, which is a strong point for the test. Also, the scores have used the scoring rubric properly because the cut score goes up in an organized way as the ability of testtakers increase. Each of the four thresholds obtained by the Rash statistical model differs by approximately 5 degrees, respectively. A regular increase in thresholds is commensurate with the ability of the test takers. This indicates a correct understanding of the scorers of the 5 grades specified in the scoring rubric; in other words, scorers have a good understanding of the level of competence of test takers and its relationship with the grades in the scoring rubric. The Wright map shoes that the scoring rubric can differentiate basic, intermediate and advanced testtakers well. Although on the top of the map there are 8 testtakers which there is no score for them that means the needs some higher scores for them. On the other hand, factor load for three constructs, delivery, language use and topic development are 0.74, 0.78 and 0.76. This shows that dividing speaking ability into these three constructs is proper while language use has the highest factor load and topic development has the lowest factor load.