科研工作实际影响的评估方法
科研工作的实际影响是一个复杂且具有争议的概念。评估时需要避免使用过于笼统的指标和过于通用的标准。此外,由于研究在现实环境中的汲取、利用和再利用方式的复杂性,将研究过程或产出与更广泛的社会变化联系起来是具有挑战性的,时间窗口也往往是难以预测的。
科研工作的实际影响可以通过多种方式进行评估。以下是几种常见的评估方法:
英国REF是一个国家层面的评估体系,旨在指导与研究质量相关的资助分配。它将研究影响力定义为“对学术界以外的经济、社会、文化、公共政策或服务、健康、环境或生活质量的影响、改变或益处”。影响力评估采用同行评议方法,在36个以学科为基础的评估单元中进行。在REF2021中,研究根据三个加权维度进行评估,包括研究产出(60%)、影响(25%)和研究环境(15%)。
荷兰SEP旨在展现和评估研究的质量和相关性,并在必要时提出改进意见。它包含了大量的学术质量和社会相关指标,从SSH的角度来看,它强调与教学和培训相关的指标,这些指标对学术界和社会都做出了重要的科学贡献,但容易被忽视。IMPACTEV旨在将定量指标与定性分析相结合,开发一个新的可持续系统,用于监测、筛选和评估影响力。它区分了研究的学术、政治和社会影响力,以及对ERA(欧洲研究领域)的影响力。IMPACTEV由欧洲委员会资助,旨在评估由委员会资助的跨国研究项目的影响力,试图创造一个多维度的SSH研究描述,弥补了用纯计量方法评估影响力的不足。
这是一个以问题导向和政策驱动为特点的模型,具有对知识转移和影响力的线性表达,关注研究的成果、效益和回报。它最初侧重于健康科学,是最早将学术成果和社会影响力作为评估标准的模型之一,也是跨学科领域中使用最广泛的评估模型之一。该模型已进行了调整,以通过未来的工作计划评估社会科学研究,从而判断研究人员如何向政策制定者提供信息。
这是一个重点关注研究影响力实际产生过程的交互式评估模型。这些过程被表示为研究人员和用户之间的非线性互动和联系。SIAMPI通过富有成效的互动(productive
interactions)进行研究和资助工具的社会影响力评估。该模型围绕对社会影响力的非线性理解而建立,是学界内外参与者之间共同努力的结果。研究通常只是复杂的社会和政治过程中的一个组成部分,难以在这些过程中直接发现效果。SSH项目通常具有非正式和分散的特征,并展示社会参与者的独特活动和接触范围,因此SIAMPI对于SSH领域的项目具有较高的适用性。
RCF最初用于评估公共部门的规划变革,认为有多个相互关联的因素对行为和变化产生影响,现在被用于帮助管理人员、研究人员和政策制定者跟踪研究项目的贡献和成果。RCF是一种以过程为导向的方法,旨在捕捉在影响力创造的不同阶段中研究的吸收和使用情况。
除了上述理论性的评估方法外,还可以通过实证评估来衡量科研工作的实际影响。例如,可以通过实验评估、问卷调查评估、案例分析评估或用户反馈评估等方法,对科研成果的实际应用效果进行评估。
文献计量学方法是一种通过分析文献的数量和质量来评价科研工作影响力的方法。例如,可以通过论文、专利和专著的产出数量来揭示学术研究活跃度,通过论文、专利和专著的被引或者转载等情况来体现学术研究影响力。
科研工作的实际影响也可以通过综合多种评估方法来进行评价。例如,可以结合定量评估(如进度、质量、成本、效益等)和定性评估(如访谈、观察、问卷调查等方式),以及同行评审、专家评议和社会评价等多种评价类型,来全面地评价科研工作的实际影响。
以上就是科研工作实际影响的一些常见评估方法。在选择适合的评估方法时,需要考虑到科研项目的类型、规模和目标,并根据具体情况来进行权衡和取舍。