تاثیر عناصر روش‌شناختی مقالات کارآزمایی بالینی در اثربخشی رتبه‌بندی نتایج بر اساس ربط آنها

مقدمه: اعتبار روش شناختی از جمله عوامل تاثیرگذار بر قضاوت ربط است. هدف این مطالعه، تعیین سهم و نوع تاثیر عناصر روش شناختی در تبیین ربط میان مدرک بوده و پرسش و تنها جنبه اثربخشی نظام بازیابی بدون ارزیابی کارایی بررسی شده است. روش ها: روش پژوهش نیمه تجربی (پیش آزمون-پس آزمون تک گروهی) و جامعه پژوهش مقالات کارآزمایی بالینی موجود در فراتحلیل مقالات مرور نظام مند نمایه شده در کاکرین و نمونه گیری هدفمند بود. مقالات کارآزمایی بالینی موجود در فراتحلیل دارای شماره پابمد موجود در مقالات مرور نظام مند دسترسی آزاد پایگاه کاکرین از ابتدا تا پایان سال 2018 (به عنوان پرسش نظام بازیابی) با حداقل 50 مقالات کارآزمایی بالینی دانلود شد. پیش پردازش متن و تعیین نمره فراوانی اصطلاح- معکوس فراوانی متن و شباهت سرعنوان های موضوعی پزشکی بین این مقادیر با نرم افزار نایم انجام شده و میانگین نمره سودمندی ;تجمعی ;نزولی نرمالیزه در گروه های با رتبه بندی مدارک در سطح چکیده به تنهایی مقایسه شد. یافته ها: نتایج آزمون تی زوجی نشان داد تفاوت میانگین ان دی سی جی چکیده در هر چهار گروه در تمامی نقاط دقت مدرک منفی است. بیشترین تفاوت میانگین مربوط به عناصر روش شناختی پایه و استاندارد در چکیده (064/ 0-) در نقطه دقت 10 (دهمین مدرک در نتایج بازیابی شده)، و کمترین تفاوت میانگین مربوط عناصر روش شناختی پایه در چکیده (0/021-) در نقطه دقت 50 و 70 بود. نتیجه گیری: یافته های این پژوهش نشان داد که رویداد عناصر روش شناختی در متن یا وزن دهی به آن ها می تواند نتایج مرتبط را کاهش دهد و می تواند بر اثربخشی نظام بازیابی بر پایه ربط و اعتبار تاثیر منفی داشته باشد.

the effectiveness of methodological elements in ranking results by relevance

introduction: methodological validity is one of the aspects of quality. methodological elements are parts of the text of articles that deal with research methodology. the purpose of this study was to determine the contribution and role of methodological elements in explaining the relationship between evidence and questions. methods: this semi-experimental study employed a one-group pretest–posttest design. the research population consisted of clinical trial articles included in the meta-analysis of cochrane systematic review articles. the sampling method employed was purposeful, whereby systematic review articles containing at least 50 related clinical trial articles retrieved by the retrieval system were selected as the research sample. results: the results of the paired t-test showed that the difference in the average ndcg score across all four groups was negative at all points of accuracy. the highest average difference (−0.064) was observed for the basic and standard methodological elements in the abstract at accuracy point 10 (the tenth document in the retrieved results), while the lowest average difference (−0.021) was observed for the basic methodological elements in the abstract at the 50th and 70th accuracy points. conclusion: the findings of this research showed that methodological elements, whether independently or to expand the abstract, do not affect the ranking of relevance results or may even have a negative effect. in other words, the occurrence of methodological elements in the text or their weighting can reduce relevant results.