شناسایی و دسته بندی معیارهای ارزیابی برون دادهای علمی در زیست بوم نشر علمی

هدف: وجود یک سامانه ارزیابی علمی قدرتمند و قابل ‌اطمینان، برای دریافت بازخورد دقیق و پیوسته از نتایج، پیامدها و آثار برون ‌دادهای علمی، ضروری است. چنین نظامی از گوناگون، ارزش یک برون‌داد علمی را به تصویر می‌کشد. از این رو هدف اصلی پژوهش حاضر شناسایی و دسته‌بندی معیارهای ارزیابی برون‌دادهای علمی در حوزة زیست‌بوم نشر علمی با در نظر گرفتن متون، شبکه‌های نشر علمی و دیدگاه خبرگان نشر علمی است تا به طراحی نظام ارزیابی برون‌دادهای علمی کمک نماید.روش‌شناسی: برای ارائه چارچوب مفهومی از شاخص‌های ارزیابی در زیست‌بوم نشر علمی از روش آمیخته و رویکرد سه‌سویه‌سازی استفاده شده‌است. ابتدا معیارهای استفاده شده در حوزة نشر علمی با به‌کارگیری مرور نظام‌مند از 331 منبع استخراج شد. سپس برای تعیین اعتبار معیارهای استخراج‌شده و تکمیل چارچوب اولیه، معیارهای شناسایی‌شده در 12 پایگاه علمی مورد بررسی قرارگرفت و در پایان به تایید 30 نفر از خبرگان داخلی و خارجی رسید.یافته‌ها: روی‌هم‌رفته 331 مدرک برای مطالعات مرور نظام‌مند معیارهای ارزیابی در زیست‌بوم نشر علمی مورد تایید قرارگرفت. داده‌های استخراج‌شده از مرور نظام‌مند در حوزة ارزیابی در 3 گروه دسته‌بندی شد و شامل شکل، نوع و قالب ارزیابی است. براساس دو مطالعه دیگر، شاخص جدیدی به معیارهای شناسایی‌شده اضافه نشد؛ اما یافته‌ها نشان از تاکید و توجه متخصصان به نوع خاصی از شاخص‌های شناسایی‌شده در حوزة ارزیابی برون‌دادهای علمی داشت.نتیجه‌گیری: درمجموع 3 شاخص اصلی و 9 شاخص فرعی برای ارزیابی زیست‌بوم نشر علمی شناسایی شد. در شکل ارزیابی، 4 شاخص فرعی (ارزیابی‌های محتوایی، باز، دگرسنجی و کتاب‌شناختی) در نوع ارزیابی، 3 شاخص فرعی (ارزیابی کمی، ارزیابی کیفی، ارزیابی آمیخته) و در قالب ارزیابی، 2 شاخص فرعی (ارزیابی فنی و غیر فنی) شناسایی‌شد. همچنین، نتایج نشان از هم‌راستایی هر سه مطالعه (مرور نظام‌مند، مشاهده شبکه‌های نشر علمی و نظرسنجی از خبرگان) دارد. هرچند در هر یک از سه مطالعه، بر شاخص‌های خاصی از مولفه ارزیابی تاکید دارند. خروجی هر سه مطالعه نشان‌می‌دهد، آنچه در ارزیابی زیست‌بوم نشر علمی در اولویت است شکل و نوع ارزیابی است. در قالب ارزیابی نیز بیشتر بر روش‌های معمول و شناخته‌شده تاکید شده است. پژوهش حاضر می‌تواند الگوی مناسبی برای طراحی نظام ارزیابی برون ‌دادهای علمی قرار گیرد.

identifying and categorizing the indicators used to evaluate scientific outputs in the scholarly publication ecosystem.

purpose: science and technology are the most critical infrastructures for the country’s progress and essential tools for competition in various fields. evaluation is at the core of all scientific efforts, which has become increasingly important with the proliferation of scientific publications. evaluation is not a simple and transparent process; it is considered a delicate activity. the presence of multiple evaluation indicators to assess the value of scientific outputs in texts, databases, and scientific centers or publications has prompted a study of these three sources (texts, scientific networks, and experts) to establish integrated criteria for evaluating outputs in the scholarly publication ecosystem. some scientific outputs, such as lectures, workshops, and scientific meetings, are often overlooked due to the absence of an integrated framework in the scholarly publication ecosystem. additionally, only a few specific quantitative aspects, such as the impact factor, the number of citations, or the number of uses, are typically considered in the evaluation of scientific works. moreover, evaluations are usually confined to a short timeframe. identifying and categorizing these indicators within a framework can positively impact addressing these issues and establishing a continuous evaluation process for both pre and post-publication of scientific works. therefore, the current research aims to identify comprehensive evaluation criteria in the scholarly publication ecosystem by taking into account texts, scholarly publication networks, and the perspectives of scientific publication experts.methodology: results from all three methods indicate that there are three key indicators and nine sub-indicators crucial for evaluating research outcomes within the scientific publishing system.