Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

سلام من میخوام مدلم رو براساس این معیار ها ازش بنچمارک بگیرم و با مدل های توی تصویر…

  1. User

    سلام من میخوام مدلم رو براساس این معیار ها ازش بنچمارک بگیرم و با مدل های توی تصویر مقایسه کنم. ابزار های آنلاین و کد هاش رو بده. کدم: from unsloth import FastLanguageModel # FastVisionModel for LLMs import torch max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally! load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.

    4bit pre quantized models we support for 4x faster downloading + no OOMs.

    fourbit_models = [ "unsloth/Meta-Llama-3.1-8B-bnb-4bit", # Llama-3.1 2x faster "unsloth/Mistral-Small-Instruct-2409", # Mistral 22b 2x faster! "unsloth/Phi-4", # Phi-4 2x faster! "unsloth/Phi-4-unsloth-bnb-4bit", # Phi-4 Unsloth Dynamic 4-bit Quant "unsloth/gemma-2-9b-bnb-4bit", # Gemma 2x faster! "unsloth/Qwen2.5-7B-Instruct-bnb-4bit" # Qwen 2.5 2x faster! "unsloth/Llama-3.2-1B-bnb-4bit", # NEW! Llama 3.2 models "unsloth/Llama-3.2-1B-Instruct-bnb-4bit", "unsloth/Llama-3.2-3B-bnb-4bit", "unsloth/Llama-3.2-3B-Instruct-bnb-4bit", ] # More models at https://docs.unsloth.ai/get-started/all-our-models

    model, tokenizer = FastLanguageModel.from_pretrained( model_name = "unsloth/Phi-4", max_seq_length = max_seq_length, load_in_4bit = load_in_4bit, # token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf )

    model = FastLanguageModel.get_peft_model( model, r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128 target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj",], lora_alpha = 16, lora_dropout = 0, # Supports any, but = 0 is optimized bias = "none", # Supports any, but = "none" is optimized # [NEW] "unsloth" uses 30% less VRAM, fits 2x larger batch sizes! use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context random_state = 3407, use_rslora = False, # We support rank stabilized LoRA loftq_config = None, # And LoftQ )

    معیارها: AIME 2024 Codeforces (Percentile) GPQA Diamond MATH-500 MMLU SWE-bench Verified

  2. Assistant

    برای مقایسه مدل خود با مدل‌های دیگر بر اساس معیارهایی مثل AIME 2024، Codeforces، GPQA Diamond، MATH-500، MMLU، و SWE-bench Verified، می‌توانید از ابزارها و کدهای زیر استفاده کنید. توجه داشته باشید که باید ابتدا بسته‌ها و dependencies لازم را نصب کنید.

    مراحل لازم برای بنچمارک‌گیری از مدل‌ها

    1. نصب پکیج‌ها: از آنجا که شما از FastLanguageModel استفاده می‌کنید، ابتدا باید PyTorch و unsloth را نصب کنید. برای نصب transformers و datasets نیز نیاز است. می‌توانید از کد زیر استفاده کنید:

      pip install torch
      pip install unsloth
      pip install transformers
      pip install datasets
      
    2. وارد کردن مدل: از کد شما برای بارگذاری مدل استفاده کنید و توجه داشته باشید که مشخصات مربوط به مدل‌های دیگر نیز باید بارگذاری شود.

    3. تنظیم بنچمارک‌گیری: برای هر معیار، یک تابع بنچمارک ایجاد کنید که مدل‌تان را ارزیابی کند. بسیاری از معیارها مانند MMLU و Codeforces دارای Datasetهای مربوط به خود هستند. می‌توانید از datasets برای بارگذاری این داده‌ها استفاده کنید.

    مثال کد برای بنچمارک‌گیری

    در زیر یک مثال ساده برای بارگذاری مدل و انجام بنچمارک با استفاده از یک معیار فرضی آورده شده است:

    from unsloth import FastLanguageModel
    import torch
    from datasets import load_dataset
    
    # بارگذاری مدل
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="unsloth/Phi-4",
        max_seq_length=2048,
        load_in_4bit=True,
    )
    
    # تابعی برای ارزیابی مدل
    def evaluate_model(criteria):
        dataset = load_dataset(criteria['name'], split='test')
    
        # نتایج را ذخیره می‌کنیم
        results = []
        for sample in dataset:
            input_text = sample['input']
            inputs = tokenizer(input_text, return_tensors='pt')
            
            with torch.no_grad():
                outputs = model(**inputs)
            
            # انجام محاسبات مطلوب
            results.append(outputs)
    
        # محاسبه نمره (بسته به معیار)
        score = calculate_score(results)
        return score
    
    # معیارها را تعریف کنید
    criteria_list = [
        {'name': 'aime_2024'},
        {'name': 'codeforces'},
        {'name': 'gpqa_diamond'},
        {'name': 'math_500'},
        {'name': 'mmlu'},
        {'name': 'swe_bench'},
    ]
    
    scores = {}
    for criteria in criteria_list:
        scores[criteria['name']] = evaluate_model(criteria)
    
    print("Scores:", scores)
    

    نکات لازم

    • برای هر معیار (مثلاً AIME 2024، Codeforces و ...) باید دانسته باشید که داده‌های مربوط به آن معیار از کجا بارگذاری می‌شود. به احتمال زیاد شما باید از datasets برای دانلود داده‌ها استفاده کنید.
    • توابع calculate_score را باید بر اساس معیارهای خاصی که دارید پیاده‌سازی کنید.
    • این تنها یک الگو است و متناسب با نیازهای خاص خود باید آن را تنظیم کنید.
    • به مستندات وبسایت unsloth و transformers مراجعه کنید تا از کار با مدل‌ها و داده‌ها اطمینان حاصل نمایید.

    لطفاً توجه داشته باشید که بعضی از معیارها ممکن است نیاز به تنظیمات خاصی داشته باشند، بنابراین قبل از استفاده بهتر است مستندات را مطالعه کنید.

  3. User

    Unsloth: Will load arshiaafshani/Arsh-V1 as a legacy tokenizer.

    DatasetNotFoundError Traceback (most recent call last) in <cell line: 0>() 42 scores = {} 43 for criteria in criteria_list: ---> 44 scores[criteria['name']] = evaluate_model(criteria) 45 46 print("Scores:", scores)

    4 frames /usr/local/lib/python3.11/dist-packages/datasets/load.py in dataset_module_factory(path, revision, download_config, download_mode, dynamic_modules_path, data_dir, data_files, cache_dir, trust_remote_code, _require_default_config_name, _require_custom_configs, **download_kwargs) 1643 ) from e 1644 except RepositoryNotFoundError as e: -> 1645 raise DatasetNotFoundError(f"Dataset '{path}' doesn't exist on the Hub or cannot be accessed.") from e 1646 try: 1647 dataset_script_path = api.hf_hub_download(

    DatasetNotFoundError: Dataset 'aime_2024' doesn't exist on the Hub or cannot be accessed.

  4. Assistant

    خطای DatasetNotFoundError نشان می‌دهد که مجموعه داده‌ای که سعی دارید بارگذاری کنید، در Hub موجود نیست یا قابل دسترسی نیست. برای برطرف کردن این مشکل، باید اطمینان حاصل کنید که نام مجموعه داده‌ها را به درستی وارد کرده باشید و همچنین مطمئن شوید که آن داده‌ها در مخزن Hugging Face موجود هستند.

    مراحل رفع مشکل

    1. بررسی نام مجموعه داده: ابتدا از وجود مجموعه داده‌های مربوط به معیارهایی که می‌خواهید استفاده کنید، مطمئن شوید. برای این کار می‌توانید به Hugging Face Datasets مراجعه کنید و مجموعه داده‌هایی که متناسب با معیارهای شما هستند را جستجو کنید.

    2. بارگذاری مجموعه داده‌ها: نام مجموعه داده‌ها را به درستی به تابع load_dataset منتقل کنید. در زیر، برخی از معیارهایی که ذکر کرده‌اید و مجموعه داده‌هایی که ممکن است به آن‌ها مربوط باشند را بررسی می‌کنیم:

      • MMLU: این معیار دارای مجموعه داده‌هایی است که می‌توانید از Hugging Face بارگذاری کنید.
      • AIME: به نظر می‌رسد که مجموعه داده‌ی خاصی برای این معیار وجود نداشته باشد. ممکن است نیاز باشد که داده‌ها را به‌صورت دستی بارگذاری کنید.
      • Codeforces: شما ممکن است نیاز به جمع‌آوری داده‌ها از کانال‌های رسمی Codeforces داشته باشید.
      • GPQA: داده‌های مربوط به این معیار نیز باید بررسی شوند.
      • MATH-500: اگر این معیار دارای مجموعه داده خاصی باشد، باید آن را پیدا کنید.
      • SWE-bench: باید دنبال داده‌های مشخصی مربوط به این معیار بگردید.

    مثال بارگذاری یک مجموعه داده موجود

    در ادامه، فرض می‌کنیم که فقط معیار MMLU را بارگذاری می‌کنیم. برای دیگر معیارها، شما باید پیدا کنید که آیا داده‌ای وجود دارد یا خیر. در زیر یک مثال برای بارگذاری و بنچمارک‌گیری از MMLU آورده شده است:

    from unsloth import FastLanguageModel
    import torch
    from datasets import load_dataset
    
    # بارگذاری مدل
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="unsloth/Phi-4",
        max_seq_length=2048,
        load_in_4bit=True,
    )
    
    # تابعی برای ارزیابی مدل
    def evaluate_model(name):
        dataset = load_dataset(name, split='test')  # اطمینان حاصل کنید که نام مجموعه داده درست است
    
        # نتایج را ذخیره می‌کنیم
        results = []
        for sample in dataset:
            input_text = sample['input']  # مطمئن شوید که کلید 'input' صحیح است
            inputs = tokenizer(input_text, return_tensors='pt')
            
            with torch.no_grad():
                outputs = model(**inputs)
            
            # ذخیره نتایج در فهرست
            results.append(outputs)
    
        # محاسبه نمره (بسته به معیار)
        score = calculate_score(results)  # این تابع باید پیاده‌سازی شود
        return score
    
    # مثال فقط برای MMLU
    mmlu_score = evaluate_model('mmlu')
    print("MMLU Score:", mmlu_score)
    

    توجهات

    • آدرس‌های داده: اگر معیارهای خاصی را پیدا نکردید، می‌توانید داده‌ها را به طور دستی دانلود کرده و فرمت آن‌ها را بررسی کنید.
    • خودتان داده‌ها را آماده کنید: اگر مجموعه داده‌ها در دسترس نیستند، ممکن است نیاز باشد که داده‌های خود را برای بنچمارک‌گیری آماده کنید.
    • راهنماهای Hugging Face: می‌توانید از مستندات Hugging Face برای بارگذاری و استفاده از مجموعه داده‌ها کمک بگیرید.

    اگر سوال دیگری دارید یا نیاز به کمک بیشتری دارید، در ارتباط باشید!

  5. User

    ==((====))== Unsloth 2025.2.4: Fast Llama patching. Transformers: 4.48.2. \ /| GPU: Tesla T4. Max memory: 14.741 GB. Platform: Linux. O^O/ _/ \ Torch: 2.5.1+cu124. CUDA: 7.5. CUDA Toolkit: 12.4. Triton: 3.1.0 \ / Bfloat16 = FALSE. FA [Xformers = 0.0.29. FA2 = False] "-____-" Free Apache license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored! Downloading shards: 100%  6/6 [00:00<00:00,  9.54it/s]

    ValueError Traceback (most recent call last) in <cell line: 0>() 4 5 # بارگذاری مدل ----> 6 model, tokenizer = FastLanguageModel.from_pretrained( 7 model_name="arshiaafshani/Arsh-V1", 8 max_seq_length=2048,

    4 frames /usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_4bit.py in validate_environment(self, *args, **kwargs) 101 pass 102 elif "cpu" in device_map_without_lm_head.values() or "disk" in device_map_without_lm_head.values(): --> 103 raise ValueError( 104 "Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the " 105 "quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules "

    ValueError: Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules in 32-bit, you need to set llm_int8_enable_fp32_cpu_offload=True and pass a custom device_map to from_pretrained. Check https://huggingface.co/docs/transformers/main/en/main_classes/quantization#offload-between-cpu-and-gpu for more details.

  6. Assistant

    خطای ValueError نشان می‌دهد که برخی از ماژول‌های مدل در CPU یا دیسک بارگذاری شده‌اند و نیاز به GPU RAM کافی برای بارگذاری مدل quantized دارند. این حالت معمولاً به این معنی است که حافظه GPU شما کافی نیست و شما باید مدل را به روشی که بتواند از حافظه CPU نیز استفاده کند، بارگذاری کنید.

    راه‌حل‌ها

    1. استفاده از device_map و fp32 offloading: برای حل این مشکل شما می‌توانید از پارامترهایی استفاده کنید که امکان بارگذاری مدل به صورت FP32 (32-bit floating point) با offloading به CPU را فراهم می‌کنند. برای این کار، کد زیر را می‌توانید استفاده کنید:
    from unsloth import FastLanguageModel
    
    # بارگذاری مدل با تنظیمات جدید
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="arshiaafshani/Arsh-V1",
        max_seq_length=2048,
        load_in_4bit=True,
        llm_int8_enable_fp32_cpu_offload=True,  # فعال کردن offloading
    )
    
    # اگر به a پیوست نیاز دارید، ممکن است به این قسمت تغییرات دهید
    # device_map={
    #     "llama": "auto",  # یا "disk", "cpu" و غیره
    # }
    
    1. تنظیم device_map: می‌توانید یک device_map سفارشی بسازید تا مشخص کنید کدام ماژول‌ها در GPU و کدام در CPU قرار بگیرند. به طور مثال:
    device_map = {
        "transformer.h.0": "cuda:0",  # مثال: ماژول اول در GPU بارگذاری شود
        "transformer.h.1": "cpu",      # ماژول دوم در CPU بارگذاری می‌شود
        # بقیه ماژول‌ها به همین ترتیب
    }
    
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="arshiaafshani/Arsh-V1",
        max_seq_length=2048,
        load_in_4bit=True,
        device_map=device_map,
        llm_int8_enable_fp32_cpu_offload=True
    )
    
    1. بررسی حافظه GPU: مطمئن شوید که حافظه GPU شما پر نیست. می‌توانید از ابزار nvidia-smi استفاده کنید تا وضعیت حافظه را بررسی کنید:
    nvidia-smi
    
    1. استفاده از مدل با سایز کوچک‌تر: اگر همچنان با مشکل مواجه هستید، می‌توانید به جای مدل بزرگ‌تر از یک مدل کوچک‌تر استفاده کنید.

    2. تنظیم max_memory: گزینه دیگری که می‌توان به کد اضافه کرد، استفاده از پارامتر max_memory است که می‌تواند به شما کمک کند تا حافظه مناسب را بین GPU و CPU تقسیم کنید:

    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="arshiaafshani/Arsh-V1",
        max_seq_length=2048,
        load_in_4bit=True,
        device_map="auto",  # به Hugging Face اجازه می‌دهد تا خودکار از حافظه استفاده کند
        max_memory={0: "6GB", "cpu": "16GB"},  # این مقدار را مطابق با نیاز خود تنظیم کنید
    )
    

    نتیجه‌گیری

    سعی کنید با تنظیمات مختلف، به تدریج بارگذاری مدل را انجام دهید و خطاهای مختلف را بررسی کنید. اگر همچنان به مشکلاتی برخوردید، می‌توانید ماژول‌ها و ساختمان‌های خود را بررسی و تحلیل کنید تا متوجه بشوید کجا به مشکل برخوردید. اگر سوالات بیشتری دارید، خوشحال می‌شوم که کمک کنم!

  7. User

    کد کاملش رو بده

  8. Assistant

    بدین منظور که کد بارگذاری مدل FastLanguageModel با استفاده از تنظیمات device_map و فعال‌سازی FP32 CPU offloading به طور کامل نوشته شود، در زیر یک نمونه کد جامع برای بارگذاری مدل و ارزیابی معیارهای مختلف فراهم کرده‌ام. این کد شامل بارگذاری مدل و همچنین ارزیابی معیارهایی نظیر MMLU است.

    کد کامل برای بارگذاری مدل و ارزیابی

    import torch
    from unsloth import FastLanguageModel
    from datasets import load_dataset
    
    # بارگذاری مدل با تنظیمات لازم
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="arshiaafshani/Arsh-V1",
        max_seq_length=2048,
        load_in_4bit=True,
        llm_int8_enable_fp32_cpu_offload=True,
        device_map="auto",  # خودکار بارگذاری ماژول‌ها بر اساس حافظه
    )
    
    # تابعی برای ارزیابی مدل
    def evaluate_model(dataset_name):
        dataset = load_dataset(dataset_name, split='test')
    
        # نتایج را ذخیره می‌کنیم
        results = []
        for sample in dataset:
            # توجه کنید که کلیدهای مناسب را بررسی کنید
            input_text = sample['input'] if 'input' in sample else sample['text']
            inputs = tokenizer(input_text, return_tensors='pt').to(model.device)
            
            with torch.no_grad():
                outputs = model(**inputs).logits  # به دست آوردن logits
    
            # ذخیره نتایج (این قسمت وابسته به معیار شماست)
            results.append(outputs)
    
        # محاسبه نمره (بر اساس نیاز خاص خود پیاده‌سازی کنید)
        # فرض می‌کنیم که یک تابع به نام calculate_score داریم
        score = calculate_score(results)
        return score
    
    # نمونه تابع محاسبه نمره (باید این تابع را بر اساس معیار خود پیاده‌سازی کنید)
    def calculate_score(results):
        # یک راه ساده برای محاسبه نمره (باید بر اساس جزئیات معیار خود تنظیم کنید)
        # این تابع فقط نمونه‌است و باید بر اساس معیار شما و نوع خروجی مدل تنظیم شود
        return sum(results) / len(results)
    
    # مثال فقط برای MMLU (در اینجا یک معیار خاص)
    mmlu_score = evaluate_model('mmlu')
    print("MMLU Score:", mmlu_score)
    
    # می‌توانید معیارهای دیگر را نیز اضافه کنید.
    criteria_list = [
        'codeforces',   # اگر مجموعه داده‌ای برای این معیار دارید
        'GPQA',         # اگر مجموعه داده‌ای برای این معیار دارید
        # ... نرم‌افزار خود را بر اساس نیازتان گسترش دهید
    ]
    
    scores = {}
    for criteria in criteria_list:
        scores[criteria] = evaluate_model(criteria)
    
    print("Scores:", scores)
    

    نکات:

    1. حذف یا تغییر نام معیارها: اگر معیارهایی در criteria_list دارید که مجموعه داده‌ای ندارند، آن‌ها را حذف کنید یا نام‌های صحیح را قرار دهید.

    2. پیاده‌سازی تابع calculate_score: تابع calculate_score یک نمونه ساده است. این تابع باید بر اساس نیازهای خاص شما و نوع خروجی مدل تعیین شود.

    3. اسم کلیدهای نمونه: اطمینان حاصل کنید که کلیدهای مورد استفاده در نمونه (input و text) با ساختار مجموعه داده‌ای که بارگذاری می‌کنید، سازگار باشد.

    4. کتابخانه‌ها: اطمینان حاصل کنید که کتابخانه‌های نصب شده از جمله torch, unsloth, و datasets به روز هستند.

    5. تنظیمات مناسب: ممکن است نیاز داشته باشید که پارامترهای max_memory و device_map را بر اساس GPU و حافظه خود تنظیم کنید تا مناسب‌ترین عملکرد را بدست آورید.

    اگر سوال یا مشکل دیگری دارید، خوشحال می‌شوم که کمک کنم!

  9. User

    ==((====))== Unsloth 2025.2.4: Fast Llama patching. Transformers: 4.48.2. \ /| GPU: Tesla T4. Max memory: 14.741 GB. Platform: Linux. O^O/ _/ \ Torch: 2.5.1+cu124. CUDA: 7.5. CUDA Toolkit: 12.4. Triton: 3.1.0 \ / Bfloat16 = FALSE. FA [Xformers = 0.0.29. FA2 = False] "-____-" Free Apache license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored!

    TypeError Traceback (most recent call last) in <cell line: 0>() 4 5 # بارگذاری مدل با تنظیمات لازم ----> 6 model, tokenizer = FastLanguageModel.from_pretrained( 7 model_name="arshiaafshani/Arsh-V1", 8 max_seq_length=2048,

    3 frames /usr/local/lib/python3.11/dist-packages/transformers/modeling_utils.py in from_pretrained(cls, pretrained_model_name_or_path, config, cache_dir, ignore_mismatched_sizes, force_download, local_files_only, token, revision, use_safetensors, weights_only, *model_args, **kwargs) 4109 with ContextManagers(init_contexts): 4110 # Let's make sure we don't run the init function of buffer modules -> 4111 model = cls(config, *model_args, **model_kwargs) 4112 4113 # make sure we use the model's config since the init call might have copied it

    TypeError: LlamaForCausalLM.init() got an unexpected keyword argument 'llm_int8_enable_fp32_cpu_offload'

  10. Assistant

    خطای TypeError که به دلیل ارسال یک آرگومان ناشناخته به سازنده مدل پیش آمده است، به این معنی است که پارامتر llm_int8_enable_fp32_cpu_offload به عنوان یک آرگومان مجاز در FastLanguageModel.from_pretrained شناخته نمی‌شود.

    حل مشکل

    برای حل این مشکل، بیاید ابتدا بررسی کنیم که اجازه داده شده برای انقضای FP32 offloading را در تنظیمات استفاده کنیم و سپس نحوه بارگذاری مدل را تغییر دهیم. به نظر می‌رسد این گزینه خاص به transformers مربوط شود و ممکن است به صورت مستقیم در Unsloth در دسترس نباشد.

    مقداردهی مجدد پارامترها

    در اینجا نسخه‌ی به‌روز شده‌ی کد برای بارگذاری مدل آورده شده است:

    import torch
    from unsloth import FastLanguageModel
    from datasets import load_dataset
    
    # بارگذاری مدل با تنظیمات لازم (حذف پارامتر "llm_int8_enable_fp32_cpu_offload")
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="arshiaafshani/Arsh-V1",
        max_seq_length=2048,
        load_in_4bit=True,
        device_map="auto",  # استفاده از بارگذاری خودکار بر اساس حافظه
    )
    
    # تابعی برای ارزیابی مدل
    def evaluate_model(dataset_name):
        dataset = load_dataset(dataset_name, split='test')
    
        results = []
        for sample in dataset:
            # توجه کنید که کلیدهای مناسب را بررسی کنید
            input_text = sample['input'] if 'input' in sample else sample['text']
            inputs = tokenizer(input_text, return_tensors='pt').to(model.device)
    
            with torch.no_grad():
                outputs = model(**inputs).logits
            
            results.append(outputs)
    
        # محاسبه نمره (بر اساس نیاز خاص خود پیاده‌سازی کنید)
        score = calculate_score(results)
        return score
    
    # نمونه تابع محاسبه نمره
    def calculate_score(results):
        # فرض می‌کنیم که نمره را بر اساس خروجی‌ها محاسبه خواهیم کرد
        return sum([torch.max(output).item() for output in results]) / len(results)
    
    # ارزیابی معیار MMLU
    mmlu_score = evaluate_model('mmlu')
    print("MMLU Score:", mmlu_score)
    
    # می‌توان سایر معیارها را نیز ارزیابی کرد
    criteria_list = [
        'codeforces',   # اگر مجموعه داده‌ای برای این معیار دارید
        'GPQA',         # اگر مجموعه داده‌ای برای این معیار دارید
        # ... و غیره
    ]
    
    scores = {}
    for criteria in criteria_list:
        scores[criteria] = evaluate_model(criteria)
    
    print("Scores:", scores)
    

    نکات مهم:

    1. حذف پارامتر نامعتبر: پارامتر llm_int8_enable_fp32_cpu_offload از بارگذاری مدل حذف شده است، زیرا به نظر می‌رسد که در Unsloth پشتیبانی نمی‌شود.

    2. استفاده از device_map="auto": این پارامتر به Hugging Face اجازه می‌دهد تا ماژول‌ها را بین CPU و GPU به‌طور خودکار بارگذاری کند.

    3. کنترل دریافتی‌ها: مطمئن شوید که کلیدهای input یا text درست و متناسب با دیتاست مورد نظر هستند.

    4. محاسبه نمره: تابع calculate_score یک مثال است. حتماً آن را متناسب با روش محاسبه نمره و خروجی‌های خاص خود تغییر دهید.

    اگر سوال دیگری دارید یا به مشکلی برخورد کردید، خوشحال می‌شوم که کمک کنم!

  11. User

    ==((====))== Unsloth 2025.2.4: Fast Llama patching. Transformers: 4.48.2. \ /| GPU: Tesla T4. Max memory: 14.741 GB. Platform: Linux. O^O/ _/ \ Torch: 2.5.1+cu124. CUDA: 7.5. CUDA Toolkit: 12.4. Triton: 3.1.0 \ / Bfloat16 = FALSE. FA [Xformers = 0.0.29. FA2 = False] "-____-" Free Apache license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored!

    ValueError Traceback (most recent call last) in <cell line: 0>() 4 5 # بارگذاری مدل با تنظیمات لازم (حذف پارامتر "llm_int8_enable_fp32_cpu_offload") ----> 6 model, tokenizer = FastLanguageModel.from_pretrained( 7 model_name="arshiaafshani/Arsh-V1", 8 max_seq_length=2048,

    4 frames /usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_4bit.py in validate_environment(self, *args, **kwargs) 101 pass 102 elif "cpu" in device_map_without_lm_head.values() or "disk" in device_map_without_lm_head.values(): --> 103 raise ValueError( 104 "Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the " 105 "quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules "

    ValueError: Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules in 32-bit, you need to set llm_int8_enable_fp32_cpu_offload=True and pass a custom device_map to from_pretrained. Check https://huggingface.co/docs/transformers/main/en/main_classes/quantization#offload-between-cpu-and-gpu for more details.

  12. Assistant

    با توجه به خطاهایی که مشاهده می‌کنید، به نظر می‌رسد که حافظه GPU شما برای بارگذاری مدل به اندازه کافی نیست و نیاز به تنظیمات خاص‌تری دارید. اگرچه در نهایت خطای اصلی این است که ماژول‌ها به CPU یا دیسک منتقل شده‌اند، در حالی که شما تمام ماژول‌ها را به GPU نیاز دارید.

    راهکارهای پیشنهادی

    1. استفاده از offloading: از device_map برای تقسیم بار بین CPU و GPU استفاده کنید و به GPU اجازه دهید تا از حافظه بیشتری بهره ببرد.

    2. بارگذاری مدل با offload: در کد زیر، بدون استفاده از پارامترهای غیرمجاز، آپشن‌هایی را برای offloading به CPU استفاده می‌کنیم.

    کد نمونه

    import torch
    from unsloth import FastLanguageModel
    from datasets import load_dataset
    
    # بارگذاری مدل با تنظیمات لازم
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name="arshiaafshani/Arsh-V1",
        max_seq_length=2048,
        load_in_4bit=True,
        device_map="auto",  # خودکار بارگذاری ماژول‌ها بر اساس حافظه
    )
    
    # تابعی برای ارزیابی مدل
    def evaluate_model(dataset_name):
        dataset = load_dataset(dataset_name, split='test')
    
        results = []
        for sample in dataset:
            input_text = sample['input'] if 'input' in sample else sample['text']  # چک کردن کلید
            inputs = tokenizer(input_text, return_tensors='pt').to(model.device)
    
            with torch.no_grad():
                outputs = model(**inputs).logits
            
            results.append(outputs)
    
        score = calculate_score(results)
        return score
    
    # تابع محاسبه نمره
    def calculate_score(results):
        return sum([torch.max(output).item() for output in results]) / len(results)
    
    # ارزیابی مثال برای مدل
    try:
        mmlu_score = evaluate_model('mmlu')
        print("MMLU Score:", mmlu_score)
    except ValueError as e:
        print(f"Error during evaluation: {e}")
    
    # ارزیابی سایر معیارها
    criteria_list = [
        'codeforces',  # اضافه کردن معیارهای دیگر
        'GPQA',
        # غیره ...
    ]
    
    scores = {}
    for criteria in criteria_list:
        try:
            scores[criteria] = evaluate_model(criteria)
        except ValueError as e:
            print(f"Error during evaluation of {criteria}: {e}")
    
    print("Scores:", scores)
    

    نکات مهم:

    1. استفاده از device_map="auto": با استفاده از این پارامتر، Hugging Face می‌تواند به طور خودکار ماژول‌ها را بر اساس ظرفیت حافظه بین CPU و GPU تقسیم کند.

    2. مدیریت خطا: برای جلوگیری از دو مرتبه خطا هنگام ارزیابی معیارها، از بلوک try-except برای مدیریت خطاها استفاده شده است.

    3. بررسی ورودی: اطمینان حاصل کنید که ورودی‌ها و کلیدها (input یا text) با فرمت دیتاست‌تان مطابقت داشته باشد.

    اگر همچنان با مشکل مواجه هستید، ممکن است بخواهید به منابع مجموعه داده خود، حجم ماژول‌هایی که بارگذاری می‌کنید، و پیکربندی GPU خود نگاه بیشتری داشته باشید. اگر سوالی دارید یا نیاز به اطلاعات بیشتری است، خوشحال می‌شوم که کمک کنم!