比以前的模型更牛，多堆点提示词表现还不错，但仍然会犯不小的错误，也没有产生啥自己的思想。

　　不过，这已经比以前的模型有所改进，因为以前的模型的能力更接近于实际上不称职的研究生。

　　但如果给以前的模型加点助力，比如计算机代数包和证明辅助工具啥的，改进一两次，就能实现进一步迭代，摇身一变，成为“有能力的研究生”。

　　陶哲轩对使用体验的这个神奇比喻在HackerNews等多个平台引起了激烈讨论。

　　有网友愤愤：GPT是什么**！我承认LLMs对写代码有很大帮助，但事实上有一些非常好的工具可以帮助解决这一问题，例如代码片段、模板和代码生成器。

　　“任何聪明到足以以编程为生的人，智商都足以成为一个平平无奇但又小有能力的数学研究生。”

　　第一轮，用去年3月份测试ChatGPT的题目，要求大模型回答一个措辞含糊的数学问题，只要从文献中找出一个合适的定理（克莱姆法则）就能解决。

　　当时，ChatGPT倒是有模有样地回答了，期间还提到了一个高度相关的术语：对数矩生成函数，甚至在给出的答案中还讨论了一个具体的例子。不过不能注意细节，全是幻觉，而且答案也是错的。

　　如果提供大量的提示和鼓励，新模型可以通过自己的努力得到一个正确的（而且写得很好的）解决方案，但它自己并没有产生关键的概念想法，而且确实犯了一些非同小可的错误。

　　也难怪陶哲轩代入自己，把o1像是在教一个平庸、但又不是完全不称职的研究生。

　　紧接着来第三轮测试，这一次是要求将质数定理的一种形式转化为Lean中的定理形式，方法是将其分解为若干个子问题分别描述，但不给出证明。

　　结果模型很好地理解了这个任务，并进行了合理的初步分解，不过代码中出现了几个小错误。

　　并表示，如果能专门针对Lean和Mathlib进行微调，并集成到一个IDE中，那应该会对公式化项目很有用。

　　wenc从事着运筹学相关的工作，而OpenAI的模型们，从GPT 4o开始，就吸收了足够多的运筹学数据，能够输出很多非常有用的混合整数规划（MIP）公式。

　　给4o一个逻辑问题，如“我需要根据分数将i个项目放入n个桶中，但我想按顺序填充每个桶”，4o会输出一个非常有用的数学公式。

　　此外，一些prompt太弱了的时候，4o还会预警：这可能导致输出不尽如人意——可以说对避免无效回答非常有用了。

　　回过头看咱还用不上大模型的时候，传统方法是需要大家在周末绞尽脑汁，试图找出有关MIP优化问题的无懈可击的公式。

　　wenc很坚定地表示，每月从ChatGPT上获得的价值，远远超出了20美元（每月订阅费用）。

　　一旦GPT在Lean上得到更多调整——就像在 Python 上一样——我预计它在研究数学层面的实用性会有提升。

　　wenc还对那些抱怨Claude和GPT最新模型不好用的网友进行了分析：

　　尽管大多数网友都觉得大模型能帮助自己省下许多功夫，还是有人对陶哲轩“大模型如同不咋靠谱的研究生”的言论，充满了疑惑和不解。

　　亲，也许你可以展开说说“研究生”这块不？我理解一下子，你的意思是o1之前大模型放在Lean微调，再结合计算机代数包，那输出效果就可以媲美研究生水平？简单点来说，这种情况下的大模型能够解决一些新发现的重要课题？

　　他表示，他正在考虑一个具体的指标，即“助手能够在专家数学家的指导下，协助完成复杂数学研究项目中的一个或多个具体任务”的程度。

　　一个有能力的研究生可以为这样的项目作出贡献，且这种贡献比“让学生加快项目进度并监督他们出了几成力”更有价值。

　　不过，即使使用最新的工具，让大模型输出正确且有用的回答，其实比输入精准prompt和验证结果都要难多了——当然，这之间的差距并不是特别巨大，前者大概要难个2-5倍的样子。

　　陶哲轩表示自己有理由相信，未来几年内，这个差距会降低到1倍以内（其实有些特定子任务，比如语义搜索、数据格式化或生成数字代码以协助数学研究探索，这个比率已经低于1了）。

　　虽然大模型可以协助研究人员完成当前的项目，但培养研究生的目的，是为了以后有更多的下一代独立研究者。

　　“我无意暗示研究生学习的各个方面，与数学中AI辅助的各个方面之间存在一一对应的关系。”

　　最后，分享一则陶哲轩这个话题下，我们发现网友讨论出的、呼声挺高的一个结论——

　　虽然很难量化学会用大模型到底省了多少时间，但随着一个人提示词工程能力的提升，大伙儿能用更少的时间得到更好的效果。尊龙凯时人生就是博官网登录