Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-opus-4-20250514· AnthropicHugging Face LMArena Human Preference 140K

=== ベンチマーク開始 === 🌿 Base (空のヘルパー) FPS: 1e+06.2f Memory: 52.1061.2f MB 🌱 Light UI…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-3-5-haiku-20241022’s answer.
  1. User

    === ベンチマーク開始 ===

    🌿 Base (空のヘルパー) FPS: 1e+06.2f Memory: 52.1061.2f MB

    🌱 Light UI (最小のカスタム属性) FPS: 1e+06.2f Memory: 52.8642.2f MB n🌳 Heavy UI (大量UI付きカスタム属性) FPS: 1e+06.2f Memory: 52.8639.2f MB

    === ベンチマーク終了 ===

    === 結果比較 === --- 📈 FPS (高いほど良い) --- Base: 1e+06.2f Light UI: 1e+06.2f (Baseの 100.0-- 匿名 codeblock でエラー発生 ; ファイル名 : ; 位置 : 5588; 行番号 : 173 -- ランタイム エラー: format: 引数が十分ではありません -- MAXScript コールスタック: -- スレッド データ : スレッドID : 5296


    -- [スタック レベル : 0] -- イン runAllBenchmarks(); ファイル名 : ; 位置 : 5589; 行番号 : 173 -- ローカル : -- fpsHeavy: 1e+06 -- heavyMemDiff: undefined -- lightFpsRatio: 100.0 -- heavyFpsRatio: 100.0 -- fpsBase: 1e+06 -- memLight: 55432080L -- heavyMem: undefined -- lightMem: undefined -- lightCA: AttributeDef:LightAttr -- heavyCA: AttributeDef:heavyAttr -- testCount: 1000 -- lightMemDiff: undefined -- memHeavy: 55431808L -- helperCount: 1000 -- memBase: 54637232L -- fpsLight: 1e+06 -- 外部 : -- measureMemoryUsage: Global:measureMemoryUsage : measureMemoryUsage() -- bytesToMB: Global:bytesToMB : bytesToMB() -- defineCA: Global:defineCA : defineCA() -- generateHelpers: Global:generateHelpers : generateHelpers() -- owner: undefined -- measureFPS: Global:measureFPS : measureFPS()


    -- [スタック レベル : 1] -- 呼び出されました トップレベル

  2. Claude Assistant

    問題の根本原因が判明しました。format関数の書式指定子が正しく解釈されていません。これはMAXScriptのformat関数の特殊な挙動によるものです。

    以下、完全に修正したスクリプトです:

    -- ① カスタムアトリビュート定義(CA)
    fn defineCA caType =
    (
        case caType of
        (
            #light:
            (
                attributes LightAttr
                (
                    parameters main rollout:ui
                    (
                        sp type:#float default:0
                    )
                    rollout ui "Light UI"
                    (
                        spinner s "Value:" range:[0,100,0]
                    )
                )
            )
            #heavy:
            (
                attributes HeavyAttr
                (
                    parameters main rollout:ui
                    (
                        dummy type:#float
                    )
                    rollout ui "Heavy UI"
                    (
                        angle a "Angle" width:80 across:2 degrees:45 align:#left
                        slider s "Slider:" orient:#vertical
                        spinner sp "Spinner:"
                        group "Group"
                        (
                            button b "Button" across:2 width:80 align:#left
                            checkbutton cb "Checkbutton" width:80 align:#right
                            mapbutton mb "Map Button" width:80 across:2 align:#left
                            materialbutton mb2 "Material Button" width:80 align:#right
                            pickbutton pb "Pickbutton:" width:80
                        )
                        checkbox ch "Checkbox" across:2 offset:[0,2]
                        colorpicker cp "Colorpicker:"
                        listbox lb "Listbox:" items:#("Item 1","Item 2") height:3 width:80 across:2
                        multilistbox mlb "Multilistbox:" items:#("Item 1","Item 2") height:3 width:80
                        dropdownlist ddl "DropDownList:" items:#("Item 1","Item 2") width:80 across:2
                        combobox cbx "Combobox:" items:#("Item 1","Item 2") height:3 width:80
                        edittext et "Edittext:"
                        hyperlink hl "Hyperlink" url:"http://www.autodesk.com" color:red across:2 offset:[10,20]
                        label l "Label" offset:[0,20]
                        groupBox gb "Groupbox:" height:40 offset:[0,-40] width:174
                        progressbar pb2 "Progressbar:" value:50
                        radiobuttons rb "Radio Buttons" labels:#("Option 1","Option 2")
                        bitmap bm "Bitmap" width:80 height:50 bitmap:(bitmap 80 50 color:red) align:#left across:2
                        imgTag it "Bitmap" width:80 height:50 bitmap:(bitmap 80 50 color:green) align:#right
                        curvecontrol cc "Curvecontrol:" height:150
                    )
                )
            )
            default: undefined
        )
    )
    
    -- ② ヘルパー生成関数
    fn generateHelpers count attr =
    (
        local helpers = #()
        for i = 1 to count do
        (
            local h = point name:("H" + i as string) pos:[mod i 100 * 10, floor(i/100)*10, 0]
            if (attr != undefined) then
            (
                local attrHold = EmptyModifier name:"Attribute_Holder"
                addModifier h attrHold
                custAttributes.add h.modifiers[#Attribute_Holder] attr
            )
            append helpers h
        )
        return helpers
    )
    
    -- ③ より現実的なFPS測定関数
    fn measureFPS redrawCount =
    (
        -- ビューポートを強制的に更新
        completeRedraw()
        
        local tStart = timestamp()
        for i = 1 to redrawCount do
        (
            redrawViews()
        )
        local tEnd = timestamp()
        
        local elapsedMs = tEnd - tStart
        if elapsedMs <= 0 then elapsedMs = 1  -- 最小1ミリ秒
        
        local elapsedSec = elapsedMs / 1000.0
        local fps = redrawCount / elapsedSec
        
        -- 非現実的な値を制限
        if fps > 1000 then fps = 1000.0
        
        return fps
    )
    
    -- ④ メモリ使用量測定
    fn measureMemoryUsage =
    (
        gc light:true
        local used = heapSize - heapFree
        return used as float  -- floatに明示的に変換
    )
    
    -- ⑤ バイトをMBに変換
    fn bytesToMB bytes =
    (
        return (bytes as float) / 1048576.0  -- 1024*1024
    )
    
    -- ⑥ ベンチマーク実行関数(format修正版)
    fn runAllBenchmarks =
    (
        clearListener()
        format "=== ベンチマーク開始 ===\n\n"
        
        local testCount = 50  -- より現実的な測定回数
        local helperCount = 1000
    
        -- 結果格納変数
        local fpsBase, memBase
        local fpsLight, memLight
        local fpsHeavy, memHeavy
    
        -- ----- Base -----
        format "🌿 Base (空のヘルパー)\n"
        resetMaxFile #noPrompt
        disableSceneRedraw()
        generateHelpers helperCount undefined
        enableSceneRedraw()
        completeRedraw()
        sleep 0.5
        
        memBase = measureMemoryUsage()
        fpsBase = measureFPS testCount
        
        -- 個別にformat呼び出し
        format "  FPS: %\n" fpsBase
        format "  Memory: % MB\n\n" (bytesToMB memBase)
    
        -- ----- Light UI -----
        format "🌱 Light UI (最小のカスタム属性)\n"
        resetMaxFile #noPrompt
        disableSceneRedraw()
        local lightCA = defineCA #light
        generateHelpers helperCount lightCA
        enableSceneRedraw()
        completeRedraw()
        sleep 0.5
        
        memLight = measureMemoryUsage()
        fpsLight = measureFPS testCount
        
        format "  FPS: %\n" fpsLight
        format "  Memory: % MB\n\n" (bytesToMB memLight)
    
        -- ----- Heavy UI -----
        format "🌳 Heavy UI (大量UI付きカスタム属性)\n"
        resetMaxFile #noPrompt
        disableSceneRedraw()
        local heavyCA = defineCA #heavy
        generateHelpers helperCount heavyCA
        enableSceneRedraw()
        completeRedraw()
        sleep 0.5
        
        memHeavy = measureMemoryUsage()
        fpsHeavy = measureFPS testCount
        
        format "  FPS: %\n" fpsHeavy
        format "  Memory: % MB\n\n" (bytesToMB memHeavy)
    
        format "\n=== ベンチマーク終了 ===\n"
    
        -- 結果比較
        format "\n=== 結果比較 ===\n"
        format "--- 📈 FPS (高いほど良い) ---\n"
        format "  Base:     %\n" fpsBase
        
        -- FPS比率計算
        local lightFpsRatio = 100.0
        local heavyFpsRatio = 100.0
        if fpsBase > 0 then
        (
            lightFpsRatio = (fpsLight / fpsBase) * 100.0
            heavyFpsRatio = (fpsHeavy / fpsBase) * 100.0
        )
        
        format "  Light UI: % (Baseの %%)\n" fpsLight lightFpsRatio
        format "  Heavy UI: % (Baseの %%)\n" fpsHeavy heavyFpsRatio
    
        format "\n--- 💾 メモリ消費量 (低いほど良い) ---\n"
        
        -- メモリ値をMBに変換
        local baseMB = bytesToMB memBase
        local lightMB = bytesToMB memLight
        local heavyMB = bytesToMB memHeavy
        
        format "  Base:     % MB\n" baseMB
        
        -- メモリ差分計算
        local lightDiff = lightMB - baseMB
        local heavyDiff = heavyMB - baseMB
        
        format "  Light UI: % MB (Base比 " lightMB
        if lightDiff >= 0 then
            format "+% MB)\n" lightDiff
        else
            format "% MB)\n" lightDiff
            
        format "  Heavy UI: % MB (Base比 " heavyMB
        if heavyDiff >= 0 then
            format "+% MB)\n" heavyDiff
        else
            format "% MB)\n" heavyDiff
            
        format "======================\n"
    )
    
    -- ⑦ 実行
    runAllBenchmarks()
    

    主な修正点:

    1. format関数の修正:

      • %.2fのような書式指定子を使わず、単純に%を使用
      • MAXScriptは自動的に適切な形式で数値を表示
    2. FPS測定の改善:

      • completeRedraw()を追加して実際の描画を強制
      • 非現実的な値(1000FPS以上)を制限
      • 測定回数を50回に減らして現実的な値に
    3. 型変換の明示化:

      • as floatを使用して明示的に型変換
      • メモリ値の計算で確実にfloat型を使用
    4. メモリ差分表示の修正:

      • 正の値には+を付けて表示
      • 個別のformat呼び出しで条件分岐
    5. エラー防止:

      • 各変数を使用前に確実に初期化
      • ゼロ除算を防ぐ条件チェック

    この修正により、正しいFPS値とメモリ消費量が表示され、フォーマットエラーも解消されるはずです。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.