
(资料图)
论文作者指出,虽然openscholar后续仍需进一步优化,但该ai工具有望帮助科学家处理复杂且日益繁重的科学文献综述任务。
据介绍,科学文献综述对于支持循证决策、微调科学过程和引导新发现都很重要。然而,文献发表数量的增长使研究人员很难掌握全部资讯。大语言模型可以提供协助,但却很容易出错,如归因能力有限和引文幻觉。
为了生成准确、全面、透明的科学文献综述,美国华盛顿大学akari asai、hannaneh hajishirzi和同事及合作者一起,研发推出了开源语言模型openscholar。该模型是专为科研任务设计的检索增强语言模型,其他系统也用过这个框架,但论文作者将其与一个包含4500万篇最新开放获取科研论文的专业数据库以及一个自我评估机制相结合,从而优化其输出。
论文作者还创建了名为scholarqabench的基准工具来评估文献综述的自动化。研究显示,openscholar的准确率比gpt4o和paperqa2(一个文献综述工具)这类现有系统分别高出6.1%和5.5%。此外,openscholar生成的答案在50%到70%的情况下比专家注释器的答案更有用。
这些研究结果和引文幻觉大幅下降,证明了openscholar有望支持和推动进一步研究工作。论文作者也提醒说,该ai系统仍有局限性,同时,基于语言模型的系统无法使科学文献综述完全自动化。因此,他们向学界同时开放scholarqabench和openscholar,以鼓励进一步研究和优化。(完)
关键词:











