Skip to content
The Chat Archive
sonar-reasoning-pro-high LMArena Search Arena 24K

对新o3模型的用户评价

  1. User

    对新o3模型的用户评价

  2. Assistant

    对新o3模型的用户评价

    OpenAI最新发布的o3和o4-mini模型已引发广泛关注和使用体验分享。根据各方用户反馈,这些模型展现出了显著的能力提升,同时也暴露了一些局限性。

    专业用户的积极评价

    体验o3一周的用户@danshipper分享了他的使用感受,认为这款模型"速度快、很有'行动力'、极其聪明,而且整体感觉非常棒"[4]。他特别喜欢用o3:

    • 制定简洁的机器学习小课程,并设置每日学习提醒
    • 通过一张模糊照片成功识别出婴儿车品牌
    • 以惊人的速度编写全新AI基准测试程序
    • 深度分析经典文学作品,挖掘出此前未注意到的写作技巧
    • 审查会议记录,敏锐捕捉用户试图回避冲突的情况
    • 分析组织架构后提供产品建议并指出短板[4]

    医学专业用户@DeryaTR_对o3的医学能力给予了高度评价:"当我向o3提出具有挑战性的临床或医学问题时,它的回答听起来就像是来自顶级医生:准确、全面、基于证据且充满信心,表现得非常专业,完全符合我们对这个领域专家的期望。"[4] 这一评价甚至被OpenAI CEO山姆·奥特曼转发并评论说"o3达到或接近天才的水平"[4]。

    早期测试者还强调了o3作为思想伙伴的分析严谨性,以及其在生物学、数学和工程学领域生成和批判性评估新假设的能力[2]。

    技术专家的深度评估

    技术博主在CSDN分享了对o3的深度评估,指出o3在编程解决真实世界需求方面比o1有明显提升:"在SWE-Bench软件开发测试中,之前发布的o1-preview是41.3%,o3是71.7%,也就是70%的真实世界需求,o3可以直接做对,并通过单元测试。"[3]

    该博主认为:"o1刚出来的时候,很多人还质疑这还达不到AGI(通用人工智能)。o3体现出的编程和数学能力,不仅达到了AGI的门槛,甚至摸到了ASI(超级人工智能)的边。"[3]

    外部专家评估人员观察到,得益于智能化的提升和网络资源的引入,o3和o4-mini都比前代模型展现出了更佳的指令遵循能力,以及更实用、更可验证的响应[2]。

    o4-mini的用户体验

    相比o3,o4-mini被@DeryaTR_描述为更"低调",回答细节上没有o3那么详细,"可能更简洁、流畅,给人一种优雅的感觉,甚至可能更具'情感'"[4]。

    模型的局限性

    尽管评价普遍积极,用户也指出了一些局限性:

    1. 真实世界工程任务处理能力有限:有博主表示"o3并不是万能的,现实世界工程任务的处理能力并没有想象的那么强"[3]。从SWE Bench只能做对71%来看,"还是不如人类软件开发工程师的,因为一个合格的全栈工程师不能说我只能完成70%的需求,剩下30%的需求做不了。"[3]

    2. 解题不稳定:在测试o3解决复杂问题时,发现"即使工具使用正确,视觉误解也可能导致答案错误",且"同一问题多次尝试,模型可能采用不同推理路径,部分结果出错"[4]。

    3. 思维链冗长:有用户注意到模型"想得太多:模型可能过于依赖工具或图像处理,导致推理思维链冗长"[4]。

    4. 解题错误:实测表明,o3在解决一些逻辑难题时依然会出错,如"钟表匠装错了钟的长短针,这钟几点几分对表与真表相同"的问题上,o3给出了错误答案[4]。

    与人类专业人士的比较

    一位有算法竞赛背景的程序员坦言:"如果让我和AI上Codeforces打比赛,不要说o3,连o1都不一定能打过。"他提到在面对AI时感受到了"深深的无力感"[3]。

    这位开发者同时观察到,在使用AI辅助实际项目开发时,"AI的代码质量和软件工程能力还不如专业程序员",例如"不遵循DRY原则,大量代码重复",且"由于测试用例不完善,AI还经常把本来对的地方改错了,导致项目里到处都是bug"[3]。

    总体而言,o3模型在理解能力、推理深度和专业领域应用上获得了用户的高度评价,尽管在某些复杂任务和工程实践上仍有提升空间。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.

Identical first prompt