对新o3模型的用户评价
- User
对新o3模型的用户评价
- Assistant
对新o3模型的用户评价
OpenAI最新发布的o3和o4-mini模型已引发广泛关注和使用体验分享。根据各方用户反馈,这些模型展现出了显著的能力提升,同时也暴露了一些局限性。
专业用户的积极评价
体验o3一周的用户@danshipper分享了他的使用感受,认为这款模型"速度快、很有'行动力'、极其聪明,而且整体感觉非常棒"[4]。他特别喜欢用o3:
- 制定简洁的机器学习小课程,并设置每日学习提醒
- 通过一张模糊照片成功识别出婴儿车品牌
- 以惊人的速度编写全新AI基准测试程序
- 深度分析经典文学作品,挖掘出此前未注意到的写作技巧
- 审查会议记录,敏锐捕捉用户试图回避冲突的情况
- 分析组织架构后提供产品建议并指出短板[4]
医学专业用户@DeryaTR_对o3的医学能力给予了高度评价:"当我向o3提出具有挑战性的临床或医学问题时,它的回答听起来就像是来自顶级医生:准确、全面、基于证据且充满信心,表现得非常专业,完全符合我们对这个领域专家的期望。"[4] 这一评价甚至被OpenAI CEO山姆·奥特曼转发并评论说"o3达到或接近天才的水平"[4]。
早期测试者还强调了o3作为思想伙伴的分析严谨性,以及其在生物学、数学和工程学领域生成和批判性评估新假设的能力[2]。
技术专家的深度评估
技术博主在CSDN分享了对o3的深度评估,指出o3在编程解决真实世界需求方面比o1有明显提升:"在SWE-Bench软件开发测试中,之前发布的o1-preview是41.3%,o3是71.7%,也就是70%的真实世界需求,o3可以直接做对,并通过单元测试。"[3]
该博主认为:"o1刚出来的时候,很多人还质疑这还达不到AGI(通用人工智能)。o3体现出的编程和数学能力,不仅达到了AGI的门槛,甚至摸到了ASI(超级人工智能)的边。"[3]
外部专家评估人员观察到,得益于智能化的提升和网络资源的引入,o3和o4-mini都比前代模型展现出了更佳的指令遵循能力,以及更实用、更可验证的响应[2]。
o4-mini的用户体验
相比o3,o4-mini被@DeryaTR_描述为更"低调",回答细节上没有o3那么详细,"可能更简洁、流畅,给人一种优雅的感觉,甚至可能更具'情感'"[4]。
模型的局限性
尽管评价普遍积极,用户也指出了一些局限性:
-
真实世界工程任务处理能力有限:有博主表示"o3并不是万能的,现实世界工程任务的处理能力并没有想象的那么强"[3]。从SWE Bench只能做对71%来看,"还是不如人类软件开发工程师的,因为一个合格的全栈工程师不能说我只能完成70%的需求,剩下30%的需求做不了。"[3]
-
解题不稳定:在测试o3解决复杂问题时,发现"即使工具使用正确,视觉误解也可能导致答案错误",且"同一问题多次尝试,模型可能采用不同推理路径,部分结果出错"[4]。
-
思维链冗长:有用户注意到模型"想得太多:模型可能过于依赖工具或图像处理,导致推理思维链冗长"[4]。
-
解题错误:实测表明,o3在解决一些逻辑难题时依然会出错,如"钟表匠装错了钟的长短针,这钟几点几分对表与真表相同"的问题上,o3给出了错误答案[4]。
与人类专业人士的比较
一位有算法竞赛背景的程序员坦言:"如果让我和AI上Codeforces打比赛,不要说o3,连o1都不一定能打过。"他提到在面对AI时感受到了"深深的无力感"[3]。
这位开发者同时观察到,在使用AI辅助实际项目开发时,"AI的代码质量和软件工程能力还不如专业程序员",例如"不遵循DRY原则,大量代码重复",且"由于测试用例不完善,AI还经常把本来对的地方改错了,导致项目里到处都是bug"[3]。
总体而言,o3模型在理解能力、推理深度和专业领域应用上获得了用户的高度评价,尽管在某些复杂任务和工程实践上仍有提升空间。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.