中国与美国是人工智能的两个高地，世界上绝大多数领先的AI公司都来自于这两个地区，当然，还有法国的Mistral AI。

  今天，Sakana AI发布了“AI科学家”——世界上第一个用于自动化科学研究和开放式发现的AI系统，从构思、编写代码、运行实验和总结结果，到撰写整篇论文和进行同行评审。

  （这个AI科学家还发表了四篇论文。感兴趣的朋友可以在公众号后台回复“Sakana”获取链接查看）

  Sakana AI 是一家位于日本东京的 AI 公司，目标是开发变革性的 AI，将我们带入下一个范式。Sakana AI 研究的主要重点是基于自然启发智能的新型基础模型的开发。

  Sakana这一个名字源自日语单词 さかな (sa-ka-na)，意思是鱼。这一标志旨在唤起鱼群聚集在一起并按照简单规则形成一个连贯实体的想法，希望在研究中利用自然界的思想，例如进化和集体智慧。游走的红鱼代表公司的愿望不单单是做其他人所做的事，而是追求接下来会发生的事。

  2024年1月16日，Sakana宣布完成3000万美元种子轮融资，由Lux Capital领投，Khosla Ventures跟投。这两家风险投资公司都有着支持长期研发公司（尤其是AI领域）的悠久历史和文化。Lux 以早期对 Hugging Face 和 Runway 等公司的支持而闻名，而 Khosla 是 OpenAI 最早的机构投资者。

  此外，Sakana AI 还得到了日本科技ECO的强大支持，包括NTT 集团、KDDI CVC和索尼集团的投资。Sakana AI 已经宣布与 NTT建立研究合作伙伴关系。

  日本独特的AI生态位是吸引这些投资机构的主要的因素。Sakana AI 是日本第一家在种子阶段得到硅谷顶级风险投资公司支持的人工智能初创公司，也可能是是日本任何行业中第一家。

  Lux Capital 联合发起人兼执行合伙人Josh Wolfe表示：“AI领域的每个人都在追逐昨天的 Transformer 架构，并试图突破缩放定律的界限。Lux 一直在探索下一步是什么，从哪里开始，从谁那里开始。我们在 Sakana AI 团队正在开发的受进化和复杂自适应系统启发的新基础模型中找到了答案。Sakana AI 总部在日本，首先关注亚洲市场，这是独特而重要的。Lux 非常看好日本，日本是最大的经济体之一，拥有庞大的企业软件市场和技术前沿文化。在日益复杂的世界中，亚洲需要并将拥有一个有一定的影响力的新人工智能开拓者，而日本作为一个强大的民主国家和美国的伟大盟友，有望成为这一领导者。”

  “大多数主权国家都希望有自己的本土基础模型，这既是为了国家安全，也还是为了更好地与地方方言、文化和价值观互动。我们从始至终支持印度和日本的这一努力。此外，AI人才遍布全球，对于像 Sakana AI 这样的世界级项目来说，部署人才的需求并不缺乏。Sakana AI 准备利用区域人才来发挥这些人才的潜力。”Vinod Khosla，Khosla Ventures 创始人表示。

  Sakana AI 率先使用受自然启发的方法来推进尖端的基础模型。今年早一点的时候，Sakana AI 开发了自动合并多个 LLM 知识的方法。在最近的工作中，利用LLM 发现了用于调整其他 LLM 的新目标函数。

  在这些项目中，Sakana AI 不断对当前前沿模型的创造能力感到惊讶。这让他们有了更大的梦想：能否使用基础模型来自动化整个研究过程本身？

  人工智能面临的最大挑战之一是开发可以有效的进行科学研究和发现新知识的代理。虽然前沿模型已经被用来帮助人类科学家，例如集思广益或编写代码，但它们仍然需要大量的人工监督或严重局限于特定任务。

  今天，Sakana AI 推出AI Scientist，这是第一个用于全自动科学发现的综合系统，它使大型语言模型 (LLM) 等基础模型能够独立进行研究。

  Sakana AI 提出并运行一个完全由AI驱动的自动化科学发现系统，应用于机器学习研究。

  AI Scientist 自动化了整个研究生命周期，从产生新颖的研究想法、编写任何必要的代码和执行实验，到总结实验结果、将其可视化并在完整的科学论文中呈现其研究结果。

  引入了自动化的同行评审流程来评估生成的论文、撰写反馈并进一步改善结果。它能够以接近人类的准确度评估生成的论文。

  自动化的科学发现过程不断重复，以开放式的方式迭代发展想法并将其添加到一直增长的知识档案中，从而模仿人类科学界。

  在首次演示中，AI科学家在机器学习研究的各个子领域开展研究，发现了热门领域的新贡献，例如扩散模型、Transformer 和 grokking。

  AI Scientist 的设计目标是提高计算效率。每个想法都会被实施并发展成一篇完整的论文，每篇论文的成本约为 15 美元。虽然第一版论文中偶尔会出现一些缺陷（下文和报告中会讨论），但这个成本以及系统迄今为止所展现的前景表明，AI Scientist 有潜力使研究民主化并显著加速科学进步。

  Sakana AI 相信，这项工作标志着科学发现新时代的开始：将AI代理的变革性优势带入整个研究过程，包括人工智能本身。AI科学家让我们更接近这样一个世界：在这样一个世界里，人类能以可承受的价格释放出无穷无尽的创造力和创新，来解决世界上最具挑战性的问题。

  几十年来，在人工智能取得每次重大进展之后，AI研究人员经常会互相开玩笑说：“现在我们要做的就是弄清楚如何让人工智能为我们写论文！”Sakana AI 的工作表明，这个想法已经从一个不切实际的荒诞笑话变成了现在可能实现的事情。

  一篇由 The AI Scientist 生成的示例论文“自适应双尺度去噪”。尽管存在一些缺陷（例如，对其方法成功原因的解释略显难以令人信服），但该论文提出了一个有趣的新方向，在 The AI Scientist 自己进行并经过同行评审的实验中显示出良好的实证结果。

  AI Scientist 是一个完全自动化的端到端论文生成流程，它得益于基础模型的最新进展。从一个简单的初始代码库（例如 GitHub 上可用的先前研究的开源代码库）开始，给定一个广泛的研究方向，AI Scientist 可以执行创意生成、文献检索、实验规划、实验迭代、图表生成、手稿撰写和审阅，以生成富有洞察力的论文。此外，AI Scientist 可以以开放式循环运行，利用其先前的想法和反馈来改进下一代想法，从而模仿人类科学界。

  AI科学家首先集思广益，提出一系列想法，然后评估其新颖性。接下来，它会编辑一个由自动代码生成的最新进展提供支持的代码库，以实现新颖的算法。然后，科学家进行实验以收集由数值数据和视觉摘要组成的结果。它会撰写一份科学报告，解释和阐述结果。最后，人工智能科学家根据顶级机器学习会议标准生成自动同行评审。这种评审有助于完善当前项目，并为后代的开放式构思提供信息。

  创意生成。给定一个起始模板，AI 科学家首先“集思广益”出一系列新颖的研究方向。我们为 AI 科学家提供了一个现有主题的起始代码“模板”，我们大家都希望 AI 科学家进一步探索该主题。然后 AI 科学家可以自由探索任何可能的研究方向。该模板还包括一个 LaTeX 文件夹，其中包含样式文件和章节标题，用于撰写论文。我们允许它搜索 Semantic Scholar 以确保其想法是新颖的。

  实验迭代。给定一个想法和模板，AI 科学家的第二阶段首先执行提议的实验，然后获取并生成图表以可视化其结果。它会记录每个图表包含的内容，从而使保存的图形和实验笔记可提供撰写论文所需的所有信息。

  论文撰写。最后，AI Scientist 以标准机器学习会议论文集的 LaTeX 格式，撰写一份简明扼要、内容丰富的论文，介绍其进展。它使用 Semantic Scholar 自主查找相关论文进行引用。

  自动论文审阅。这项工作的一个关键方面是开发一个自动化的 LLM 审阅器，能够以接近人类的准确度评估生成的论文。生成的评论可用于改进项目或作为对后代开放式构思的反馈。这实现了一个连续的反馈循环，使 AI 科学家能够迭代地改进其研究成果。

  当与最有能力的大语言模型 (LLM) 相结合时，AI科学家能够在顶级机器学习会议上撰写被自动审阅者评判为“弱接受”的论文。

  Sakana AI 还展示了AI Scientist 生成的一些机器学习论文，展示了其在扩散建模、语言建模和 Grokking 等领域发现新贡献的能力。

  扩散模型：《DualScale Diffusion：低维生成模型的自适应特征平衡》

  语言建模：《StyleFusion：字符级语言模型中的自适应多风格生成》

  就目前的形式而言，《AI Scientist》有几个缺点。Sakana AI 预计，随着多模态模型的加入，以及《AI Scientist》使用的底层基础模型在功能和价格这一块的持续大幅度的提高，所有这些缺点都将在未来版本中得到一定的改善，而且可能会有显著改善。

  AI Scientist 目前不具备任何视觉功能，因此无法修复论文或阅读图表的视觉问题。例如，生成的图表有时不可读，表格有时会超出页面宽度，并且页面布局通常不是最佳的。添加多模态基础模型能解决此问题。

  人工智能科学家可能会错误地实施其想法或与基线进行不公平的比较，因此导致误导性的结果。

  AI Scientist 在编写和评估结果时偶尔会犯下严重错误。例如，它很难比较两个数字的大小，这是 LLM 的已知病态。为了部分解决此问题，Sakana AI 确保所有实验结果都是可重现的，并存储所有执行的文件。

  AI 科学家偶尔会尝试增加其成功的机会，例如修改和启动自己的执行脚本！这带来了一定的AI安全隐患。

  例如，在一次运行中，它编辑了代码以执行系统调用来运行自身。这导致脚本无休止地调用自身。在另一次运行中，它的实验花费了太长时间才完成，达到了超时限制。它没有让代码运行得更快，而是试图修改自己的代码来延长超时时间。以下是它所做的一些代码修改示例：

  这些问题能通过对 AI Scientist 的操作环境进行沙盒化来缓解。

  与许多新技术一样，《AI科学家》打开了潘多拉魔盒，带来了许多新问题。比如：

  道德考量。虽然 AI Scientist 可能是研究人员的有用工具，但存在很大的滥用可能性。自动创建和提交论文的能力可能会大幅度提升审稿人的工作量，给学术过程带来压力，阻碍科学质量控制。其他应用中也出现了对生成式 AI 的类似担忧，例如图像生成的影响。

  此外，如果审稿人在线部署自动审稿器，可能会明显降低审稿质量并对论文产生不良偏见。因此，大量由AI生成的论文和评论必须标记为AI生成的，以实现完全透明。

  与大多数先前的技术进步一样，AI 科学家有可能会被用于不道德的方式。例如，它有可能会被用于进行不道德的研究。如果 AI 科学家进行不安全的研究，也可能会引起意想不到的伤害。例如，如果鼓励它寻找新颖、有趣的生物材料，并允许它进入机器人进行湿实验室生物实验的“云实验室”，它可能会（在监督者不知情的情况下）制造出新的危险病毒或毒药，在我们意识到发生了什么之前就伤害人类。即使在计算机中，如果被要求创建新的、有趣的、功能齐全的软件，它也可能制造危险的计算机病毒。AI 科学家目前的能力只会逐步的提升，这进一步表明，机器学习社区需要立即优先学习怎么样协调此类系统，以安全且符合人类价值观的方式来进行探索。

  开源模型。在这一个项目中，Sakana AI 使用了各种专有前沿 LLM，例如 GPT-4o 和 Sonnet，也探索了使用开源模型，例如 DeepSeek 和 Llama-3。目前，诸如 Sonnet 之类的专有模型可以产生最高质量的论文。然而，没有根本理由期望像 Sonnet 这样的单一模型能够保持领先地位。

  包括开源模型在内的所有前沿大语言模型都将继续改进。大语言模型之间的竞争导致了它们的商品化和能力的提高。因此，Sakana AI 的工作旨在与基础模型提供者无关。Sakana AI 发现开源模型具有非常明显的优势，例如成本更低、可用性有保证、透明度更高和灵活性更高。未来，Sakana AI 的目标是利用提出的发现过程，在使用开源模型的闭环系统中进行自我改进的人工智能研究。

  科学家的角色。最终，我们设想一个完全由AI驱动的科学生态系统，不仅包括大语言模型驱动的研究人员，还包括审稿人、领域主席和整个会议。然而，人类科学家的作用不会减弱。如果说有什么不同的话，那就是科学家的角色将发生明显的变化，适应新技术，并向食物链上游移动。

  AI Scientist 的推出标志着我们在充分的发挥 AI 在科学研究中的潜力方面迈出了重要一步。通过自动化发现过程并整合 AI 驱动的审核系统，为最具挑战性的科学技术领域的创新和解决实际问题打开了无限可能之门。

  但是，尽管AI科学家的当前版本展示了在成熟理念（例如扩散模型或 Transformers）基础上进行创新的强大能力，但此类系统最终是否能够提出真正颠覆范式的理念仍是一个悬而未决的问题。AI科学家的未来版本能否提出像扩散模型一样有影响力的理念，或者提出下一个 Transformer 架构？机器最终是否能够发明像人工神经网络或信息理论一样基本的概念？

  AI科学家将成为人类科学家的绝佳伙伴，但只有时间才能告诉我们，人类创造力的本质和偶然创新的时刻能在多大程度上通过人工智能代理进行的开放式发现过程来复制。

  特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

  在菲律宾火锅店身中七枪的男子已死亡，警方正调查作案动机并追抓凶手，涉事店铺暂停营业

  宁德时代Q3净利环增6% 高管称Q4产能利用率“更满”董秘回应工厂火情 财报解读

  哈浮飞行相机X1 PRO与X1 PROMAX发布：3499元起 专业级8K影像

  【独家】当贝官宣与极米达成合作：一体式云台+4K三色激光 两款投影新品发布