ارزیابی قابلیت استفاده نرم افزار: بررسی مقایسهای پرسشنامه و عملکرد کاربران

قابلیت استفاده یکی از معیارهای مهم کیفیت نرم افزار است که می‌‌تواند در بهبود تجربیات کاربری نقش بسزایی داشته باشد. روش‌های مختلفی برای ارزیابی قابلیت استفاده نرم‌افزار ارائه شده است. با توجه به تنوع روش‌ها و زمان و هزینه مورد نیاز برای اجرای آن‌ها، روش مناسب جمع‌آوری اطلاعات و ارزیابی قابلیت استفاده نرم‌افزار یکی از چالش‌های موجود در این حوزه است.‌‌در این پژوهش، سهولت استفاده به‌عنوان زیرمجموعه‌ای از قابلیت استفاده که در آن تلاش مورد نیاز کاربر برای انجام یک کار در نرم‌افزار ارزیابی می‌شود، بر اساس دو روش نظرسنجی از طریق پرسشنامه و ارزیابی بر اساس عملکرد کاربران در یک آزمایش تجربی ارزیابی و نتایج این دو روش مقایسه شده است. بدین‌منظور، دو نسخه مختلف از یک نرم‌‌افزار فروشگاه اینترنتی با کارکرد‌های یکسان تولید شده است. از کاربران خواسته شده عملیات مشخصی را در نرم‌افزار انجام دهند و به سوالات یک پرسشنامه در ارتباط با سهولت استفاده از کارکرد‌های مختلف نرم‌افزار پاسخ دهند. حین انجام کارکرد‌های مورد نظر و از طریق ثبت وقایع، عملکرد کاربران در استفاده از نرم‌افزار ثبت و معیار‌های انجام موفقیت‌آمیز عملیات، زمان انجام کار، تعداد گام‌‌ها در انجام کار، تعداد خطا و زمان صرف‌شده در برطرف کردن خطا اندازه‌گیری شده است. این معیارها بر اساس معیارهای قابل مشاهده و اندازه‌گیری سهولت استفاده در پژوهش‌های مرتبط انتخاب شده‌اند. نتایج این پژوهش، بر اساس داده‌های 48 کاربر به دست آمده و در مورد یک کارکرد تعداد شرکت‌کنندگان در آزمایش، به‌علت عدم کفایت داده برای دستیابی به سطح اطمینان مطلوب، به 70 کاربر گسترش یافته است. این نتایج نشان می‌‌دهد که ارزیابی حاصل از پرسشنامه با عملکرد کاربران در معیار‌های مورد سنجش همبستگی ندارد. در برخی کارکرد‌ها، عملکرد کاربران در دو نسخه اختلاف معناداری نداشته، اما نظرات آن‌ها در پرسشنامه به‌صورت معناداری متفاوت بوده است. از سوی دیگر، در برخی دیگر از کارکرد‌ها، معیار عملکرد کاربران در دو نسخه دارای اختلاف معناداری است، در صورتی که نتایج نظرسنجی اختلاف قابل توجهی را بیان نمی‌‌‌کند. بررسی عملکرد هر کاربر با نتایج پرسشنامه نیز همبستگی میان این اطلاعات را نشان نمی‌‌دهد. همچنین، طبق بررسی‌های انجام‌شده در این آزمایش، صداقت کاربران در ارزیابی از طریق پرسشنامه می‌‌تواند مورد تردید باشد. زیرا کاربرانی که موفق به انجام کارکرد نشده‌‌اند، در بالاتر از 80 درصد از مواقع، سهولت استفاده را بالاتر از خوب ارزیابی کرده‌اند.

Software Usability Assessment: Comparison of the Questionnaire Versus User Performance

: Usability is an important attribute for software quality that can play a significant role in improving user experience. Various methods have been proposed for evaluating the usability of software systems. Selecting a proper method for collecting information and evaluating the usability of a software application is a challenge due to the variety of methods, and consequently the time and cost required for their implementation. In this paper, ease of use is considered as a subset of usability and it is defined as the user rsquo;s effort to perform a task in the software application. We evaluate ease of use based on two methods; questionnaire and users rsquo; performance in an empirical study and compare the results of these two methods. In this way, two different versions of an online store application with similar functionalities are produced and the users are asked to perform specific operations in the application and then answer questions regarding the ease of use of various software functionalities. During the experience, the interactions between user and the software are logged and consequently the user rsquo;s performance is measured based on the successful completion of the operation, the time of the task completion, the number of steps taken by the user, the number of errors, and the time taken to fix the error. These criteria have been selected based on observable criteria and ease of use measurement in relevant research.The results of this study is based on the data of 48 applicants except one of the functionalities which has been expanded to 70 applicantsin order to achieve adequate level of confidence. Our results indicate that the evaluation of the questionnaire does not correlate with the performance of users in the measured criteria. In some functions, the performance of the users in two versions of the application do not have a significant difference, but their views are significantly different in the questionnaire. On the other hand, in some other functions, the performance of the users in two versions has a significant difference but the results of the questionnaire does not show a significant difference. Verifying the performance of each user with the results of his/her questionnaire does not indicate correlation between these two methods results. Also, according to the results of this study, the honesty of users in the questionnaire evaluation can be questioned, since 80% of the users who have not performed a functionality rated it higher than good in the questionnaire.