سطح خوانایی مدرک و پیچیدگی عینی وظایف کاری: آیا در قضاوت ربط و رتبه‌بندی تاثیر دارد؟

هدف: شناخت نقش سطح خوانایی مدرک و پیچیدگی عینی وظیفۀ کاری در قضاوت ربط و رتبه‌بندی دانشجویان از مدارک است.روش: پژوهش حاضر کاربردی است و از تحلیل محتوای کمّی به‌منظور تعیین سطح خوانایی متون استفاده شده است. جامعه آماری پژوهش را 2825 نفر از دانشجویان تحصیلات تکمیلی حوزۀ علوم انسانی دانشگاه شیراز تشکیل داده‌اند. برای تعیین حجم نمونه با توجه به زمان‌بربودن فرایند قضاوت ربط مدارک و محدودیت وقت آزمودنی‌ها و حجم نمونه در سایر مطالعات رفتار اطلاع‌جویی، از روش نمونه‌گیری غیراحتمالی از نوع داوطلبانه به تعداد 60 نفر استفاده شد. برای تعیین پیچیدگی عینی، دو وظیفه کاری براساس چارچوب طراحی وظیفه کاری بورلند (2000)، مخزن وظیفه جست‌وجو و نظرات متخصصان طراحی شد. پس از اینکه متخصصان وظایف کاری را تایید روایی کردند، پنج نفر از متخصصان با جست‌وجو در پایگاه‌های مقالات فارسی شامل مرکز اطلاعات علمی جهاد دانشگاهی، مگ‌ایران و نورمگز چهار مقاله مرتبط، چهار مقاله‌ تاحدی مرتبط و دو مقاله نامرتبط از نظر میزان ربط را انتخاب کردند. همچنین با تعیین سطح خوانایی این مقالات با استفاده از فرمول‌ خوانایی فلش دیانی، مقالات در دو سطح دشوار و خیلی‌دشوار دسته‌بندی شدند. در مرحله بعد، کاربران ده مقاله مربوط به دو وظیفه کاری را در طیف شش‌درجه‌ای (از کاملاً نامرتبط تا کاملاً مرتبط) نمره‌دهی و در مرحلۀ بعد براساس درجه‌ ربط رتبه‌بندی (رتبه 1 تا 10) کردند. داده‌ها با نرم‌افزار آماری علوم اجتماعی نسخه‌ اس‌پی‌اس‌اس 23 تحلیل و برای پاسخ به پرسش‌ها از آزمون‌های تی‌تست و یو من‌ویتنی استفاده شد.نتیجه‌گیری: نقش سطح خوانایی مدارک و پیچیدگی عینی وظیفه بر قضاوت ربط و رتبه‌بندی مدارک اثرگذار است. بنابراین، بررسی اثر این شاخص‌ها در حوزۀ قضاوت ربط در بهبود طراحی سامانه‌های بازیابی اطلاعات و افزایش کیفیت طراحی الگوریتم‌های ربط و رتبه‌بندی موثر است.

document readability level and objective complexity of work tasks: any impact on relevance judgment and ranking?

purpose: aims to identify the role of document readability level and the objective complexity of the work task on students’ relevance judgment and document ranking.methods: quantitative content analysis was utilized to determine the readability level of texts. the statistical population of the research included 2825 graduate students of shiraz university of humanities. to determine the sample size, due to time-consuming process of relevance judgment, students’ time constraint, and sample size of similar studies, a non-probability sampling method of voluntary type was used. two work tasks were designed based on borland’s (2000) repository of assigned search tasks and experts’ opinions. after confirming the validity of the work tasks by the experts, searching through the persian article databases, including sid, magiran, and noormags, four relevant, four partially relevant, and two irrelevant articles were selected by five experts the articles were divided into difficult and very difficult levels by determining their readability levels using flash-diani readability formula. in the next step, ten articles related to two work tasks were scored by users in a six-level spectrum (from entirely irrelevant to entirely relevant) then ranked based on the relevance degree (from 1 to 10). data was analyzed using social science statistical software version 23 (spss), and t-tests and mann-whitney u tests were conducted.findings: the results showed significant difference between students’ relevance judgment with different readability levels. students rated documents with difficult readability levels more relevant than documents with very difficult readability levels. in addition, considering the role of readability level on the ranking, there was a significant difference between the rankings of relevance in the documents with different readability levels according to the students. documents with difficult readability levels were ranked lower in terms of relevance. therefore, students performed finer on rating documents with difficult readability levels.  findings about the role of complexity level of work showed that objective complexity of the work task affected the students’ relevance judgment. the retrieved documents related to the simple work task were found to be more relevant than the complex work task. regarding the role of complexity level of work tasks on ranking, findings  revealed that the level of objective complexity of the work task affected the ranking of documents, and the simple work task ranked lower in terms of relevance ranking. therefore, students performed finer on the simple work task than on the complex work task regarding relevance rating.conclusion: the role of level of readability of documents and objective complexity of the task affected relevance, judgment, and ranking. further research on the effect of these indicators on relevance judgment  can improve the design of information retrieval systems and increase the quality of the relevance and ranking algorithms.