第一个自动做科研的AI出现了，我们能信任机器吗？
人工智能科学家：THE AI SCIENTIST的诞生与应用
一、背景与争议
随着人工智能技术的发展，研究人员越来越倾向于将AI应用于科学研究的各个环节。然而，关于AI是否能完全取代科学家进行研究的问题，学术界一直存在激烈的争论。近日，日本的一家创业公司Sakana AI开发出了一款名为THE AI SCIENTIST的人工智能系统，该系统能够以低廉的成本全天候地进行科学研究。
二、AI Scientist的工作流程
AI Scientist基于大型语言模型（LLM），具备完整的端到端工作流程。目前，它主要专注于机器学习领域的研究。具体步骤如下：
1. 生成研究议题：AI Scientist首先在网上检索相关文献，并根据新颖性对研究主题进行排序。
2. 编写与执行代码：在实验阶段，AI Scientist能够根据生成的研究思路自动编写代码并执行实验。此外，专门的代码审核智能体会确保生成的代码不会包含无关内容，从而减少大模型幻觉的影响。
3. 优化与撰写论文：根据实验结果，AI Scientist会对实验进行迭代优化。若实验结果可以形成图表，AI Scientist将撰写论文草稿。
三、实验效果评估
AI Scientist借鉴了机器学习顶级会议NeurIPS的标准，利用Claude 3.5、GPT-4以及开源工具Deepseek coder和Llama-3.1，生成了52个研究思路。经过新颖性审查后，部分研究因缺乏创新性而被剔除，另有部分研究由于大模型编程能力有限未能通过实验验证，最终只有不到一半的研究完成了论文撰写。评审智能体还会自动生成审稿意见和评分，进一步提升研究质量。
