سلام من میخوام مدلم رو براساس این معیار ها ازش بنچمارک بگیرم و با مدل های توی تصویر…
- User
سلام من میخوام مدلم رو براساس این معیار ها ازش بنچمارک بگیرم و با مدل های توی تصویر مقایسه کنم. ابزار های آنلاین و کد هاش رو بده. کدم: from unsloth import FastLanguageModel # FastVisionModel for LLMs import torch max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally! load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
4bit pre quantized models we support for 4x faster downloading + no OOMs.
fourbit_models = [ "unsloth/Meta-Llama-3.1-8B-bnb-4bit", # Llama-3.1 2x faster "unsloth/Mistral-Small-Instruct-2409", # Mistral 22b 2x faster! "unsloth/Phi-4", # Phi-4 2x faster! "unsloth/Phi-4-unsloth-bnb-4bit", # Phi-4 Unsloth Dynamic 4-bit Quant "unsloth/gemma-2-9b-bnb-4bit", # Gemma 2x faster! "unsloth/Qwen2.5-7B-Instruct-bnb-4bit" # Qwen 2.5 2x faster! "unsloth/Llama-3.2-1B-bnb-4bit", # NEW! Llama 3.2 models "unsloth/Llama-3.2-1B-Instruct-bnb-4bit", "unsloth/Llama-3.2-3B-bnb-4bit", "unsloth/Llama-3.2-3B-Instruct-bnb-4bit", ] # More models at https://docs.unsloth.ai/get-started/all-our-models
model, tokenizer = FastLanguageModel.from_pretrained( model_name = "unsloth/Phi-4", max_seq_length = max_seq_length, load_in_4bit = load_in_4bit, # token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf )
model = FastLanguageModel.get_peft_model( model, r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128 target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj",], lora_alpha = 16, lora_dropout = 0, # Supports any, but = 0 is optimized bias = "none", # Supports any, but = "none" is optimized # [NEW] "unsloth" uses 30% less VRAM, fits 2x larger batch sizes! use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context random_state = 3407, use_rslora = False, # We support rank stabilized LoRA loftq_config = None, # And LoftQ )
معیارها: AIME 2024 Codeforces (Percentile) GPQA Diamond MATH-500 MMLU SWE-bench Verified
- Assistant
برای مقایسه مدل خود با مدلهای دیگر بر اساس معیارهایی مثل AIME 2024، Codeforces، GPQA Diamond، MATH-500، MMLU، و SWE-bench Verified، میتوانید از ابزارها و کدهای زیر استفاده کنید. توجه داشته باشید که باید ابتدا بستهها و dependencies لازم را نصب کنید.
مراحل لازم برای بنچمارکگیری از مدلها
-
نصب پکیجها: از آنجا که شما از
FastLanguageModelاستفاده میکنید، ابتدا باید PyTorch وunslothرا نصب کنید. برای نصبtransformersوdatasetsنیز نیاز است. میتوانید از کد زیر استفاده کنید:pip install torch pip install unsloth pip install transformers pip install datasets -
وارد کردن مدل: از کد شما برای بارگذاری مدل استفاده کنید و توجه داشته باشید که مشخصات مربوط به مدلهای دیگر نیز باید بارگذاری شود.
-
تنظیم بنچمارکگیری: برای هر معیار، یک تابع بنچمارک ایجاد کنید که مدلتان را ارزیابی کند. بسیاری از معیارها مانند MMLU و Codeforces دارای Datasetهای مربوط به خود هستند. میتوانید از
datasetsبرای بارگذاری این دادهها استفاده کنید.
مثال کد برای بنچمارکگیری
در زیر یک مثال ساده برای بارگذاری مدل و انجام بنچمارک با استفاده از یک معیار فرضی آورده شده است:
from unsloth import FastLanguageModel import torch from datasets import load_dataset # بارگذاری مدل model, tokenizer = FastLanguageModel.from_pretrained( model_name="unsloth/Phi-4", max_seq_length=2048, load_in_4bit=True, ) # تابعی برای ارزیابی مدل def evaluate_model(criteria): dataset = load_dataset(criteria['name'], split='test') # نتایج را ذخیره میکنیم results = [] for sample in dataset: input_text = sample['input'] inputs = tokenizer(input_text, return_tensors='pt') with torch.no_grad(): outputs = model(**inputs) # انجام محاسبات مطلوب results.append(outputs) # محاسبه نمره (بسته به معیار) score = calculate_score(results) return score # معیارها را تعریف کنید criteria_list = [ {'name': 'aime_2024'}, {'name': 'codeforces'}, {'name': 'gpqa_diamond'}, {'name': 'math_500'}, {'name': 'mmlu'}, {'name': 'swe_bench'}, ] scores = {} for criteria in criteria_list: scores[criteria['name']] = evaluate_model(criteria) print("Scores:", scores)نکات لازم
- برای هر معیار (مثلاً AIME 2024، Codeforces و ...) باید دانسته باشید که دادههای مربوط به آن معیار از کجا بارگذاری میشود. به احتمال زیاد شما باید از
datasetsبرای دانلود دادهها استفاده کنید. - توابع
calculate_scoreرا باید بر اساس معیارهای خاصی که دارید پیادهسازی کنید. - این تنها یک الگو است و متناسب با نیازهای خاص خود باید آن را تنظیم کنید.
- به مستندات وبسایت
unslothوtransformersمراجعه کنید تا از کار با مدلها و دادهها اطمینان حاصل نمایید.
لطفاً توجه داشته باشید که بعضی از معیارها ممکن است نیاز به تنظیمات خاصی داشته باشند، بنابراین قبل از استفاده بهتر است مستندات را مطالعه کنید.
-
- User
Unsloth: Will load arshiaafshani/Arsh-V1 as a legacy tokenizer.
DatasetNotFoundError Traceback (most recent call last) in <cell line: 0>() 42 scores = {} 43 for criteria in criteria_list: ---> 44 scores[criteria['name']] = evaluate_model(criteria) 45 46 print("Scores:", scores)
4 frames /usr/local/lib/python3.11/dist-packages/datasets/load.py in dataset_module_factory(path, revision, download_config, download_mode, dynamic_modules_path, data_dir, data_files, cache_dir, trust_remote_code, _require_default_config_name, _require_custom_configs, **download_kwargs) 1643 ) from e 1644 except RepositoryNotFoundError as e: -> 1645 raise DatasetNotFoundError(f"Dataset '{path}' doesn't exist on the Hub or cannot be accessed.") from e 1646 try: 1647 dataset_script_path = api.hf_hub_download(
DatasetNotFoundError: Dataset 'aime_2024' doesn't exist on the Hub or cannot be accessed.
- Assistant
خطای
DatasetNotFoundErrorنشان میدهد که مجموعه دادهای که سعی دارید بارگذاری کنید، در Hub موجود نیست یا قابل دسترسی نیست. برای برطرف کردن این مشکل، باید اطمینان حاصل کنید که نام مجموعه دادهها را به درستی وارد کرده باشید و همچنین مطمئن شوید که آن دادهها در مخزنHugging Faceموجود هستند.مراحل رفع مشکل
-
بررسی نام مجموعه داده: ابتدا از وجود مجموعه دادههای مربوط به معیارهایی که میخواهید استفاده کنید، مطمئن شوید. برای این کار میتوانید به Hugging Face Datasets مراجعه کنید و مجموعه دادههایی که متناسب با معیارهای شما هستند را جستجو کنید.
-
بارگذاری مجموعه دادهها: نام مجموعه دادهها را به درستی به تابع
load_datasetمنتقل کنید. در زیر، برخی از معیارهایی که ذکر کردهاید و مجموعه دادههایی که ممکن است به آنها مربوط باشند را بررسی میکنیم:- MMLU: این معیار دارای مجموعه دادههایی است که میتوانید از Hugging Face بارگذاری کنید.
- AIME: به نظر میرسد که مجموعه دادهی خاصی برای این معیار وجود نداشته باشد. ممکن است نیاز باشد که دادهها را بهصورت دستی بارگذاری کنید.
- Codeforces: شما ممکن است نیاز به جمعآوری دادهها از کانالهای رسمی Codeforces داشته باشید.
- GPQA: دادههای مربوط به این معیار نیز باید بررسی شوند.
- MATH-500: اگر این معیار دارای مجموعه داده خاصی باشد، باید آن را پیدا کنید.
- SWE-bench: باید دنبال دادههای مشخصی مربوط به این معیار بگردید.
مثال بارگذاری یک مجموعه داده موجود
در ادامه، فرض میکنیم که فقط معیار MMLU را بارگذاری میکنیم. برای دیگر معیارها، شما باید پیدا کنید که آیا دادهای وجود دارد یا خیر. در زیر یک مثال برای بارگذاری و بنچمارکگیری از MMLU آورده شده است:
from unsloth import FastLanguageModel import torch from datasets import load_dataset # بارگذاری مدل model, tokenizer = FastLanguageModel.from_pretrained( model_name="unsloth/Phi-4", max_seq_length=2048, load_in_4bit=True, ) # تابعی برای ارزیابی مدل def evaluate_model(name): dataset = load_dataset(name, split='test') # اطمینان حاصل کنید که نام مجموعه داده درست است # نتایج را ذخیره میکنیم results = [] for sample in dataset: input_text = sample['input'] # مطمئن شوید که کلید 'input' صحیح است inputs = tokenizer(input_text, return_tensors='pt') with torch.no_grad(): outputs = model(**inputs) # ذخیره نتایج در فهرست results.append(outputs) # محاسبه نمره (بسته به معیار) score = calculate_score(results) # این تابع باید پیادهسازی شود return score # مثال فقط برای MMLU mmlu_score = evaluate_model('mmlu') print("MMLU Score:", mmlu_score)توجهات
- آدرسهای داده: اگر معیارهای خاصی را پیدا نکردید، میتوانید دادهها را به طور دستی دانلود کرده و فرمت آنها را بررسی کنید.
- خودتان دادهها را آماده کنید: اگر مجموعه دادهها در دسترس نیستند، ممکن است نیاز باشد که دادههای خود را برای بنچمارکگیری آماده کنید.
- راهنماهای Hugging Face: میتوانید از مستندات Hugging Face برای بارگذاری و استفاده از مجموعه دادهها کمک بگیرید.
اگر سوال دیگری دارید یا نیاز به کمک بیشتری دارید، در ارتباط باشید!
-
- User
==((====))== Unsloth 2025.2.4: Fast Llama patching. Transformers: 4.48.2. \ /| GPU: Tesla T4. Max memory: 14.741 GB. Platform: Linux. O^O/ _/ \ Torch: 2.5.1+cu124. CUDA: 7.5. CUDA Toolkit: 12.4. Triton: 3.1.0 \ / Bfloat16 = FALSE. FA [Xformers = 0.0.29. FA2 = False] "-____-" Free Apache license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored! Downloading shards: 100% 6/6 [00:00<00:00, 9.54it/s]
ValueError Traceback (most recent call last) in <cell line: 0>() 4 5 # بارگذاری مدل ----> 6 model, tokenizer = FastLanguageModel.from_pretrained( 7 model_name="arshiaafshani/Arsh-V1", 8 max_seq_length=2048,
4 frames /usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_4bit.py in validate_environment(self, *args, **kwargs) 101 pass 102 elif "cpu" in device_map_without_lm_head.values() or "disk" in device_map_without_lm_head.values(): --> 103 raise ValueError( 104 "Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the " 105 "quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules "
ValueError: Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules in 32-bit, you need to set
llm_int8_enable_fp32_cpu_offload=Trueand pass a customdevice_maptofrom_pretrained. Check https://huggingface.co/docs/transformers/main/en/main_classes/quantization#offload-between-cpu-and-gpu for more details. - Assistant
خطای
ValueErrorنشان میدهد که برخی از ماژولهای مدل در CPU یا دیسک بارگذاری شدهاند و نیاز به GPU RAM کافی برای بارگذاری مدل quantized دارند. این حالت معمولاً به این معنی است که حافظه GPU شما کافی نیست و شما باید مدل را به روشی که بتواند از حافظه CPU نیز استفاده کند، بارگذاری کنید.راهحلها
- استفاده از
device_mapوfp32offloading: برای حل این مشکل شما میتوانید از پارامترهایی استفاده کنید که امکان بارگذاری مدل به صورت FP32 (32-bit floating point) با offloading به CPU را فراهم میکنند. برای این کار، کد زیر را میتوانید استفاده کنید:
from unsloth import FastLanguageModel # بارگذاری مدل با تنظیمات جدید model, tokenizer = FastLanguageModel.from_pretrained( model_name="arshiaafshani/Arsh-V1", max_seq_length=2048, load_in_4bit=True, llm_int8_enable_fp32_cpu_offload=True, # فعال کردن offloading ) # اگر به a پیوست نیاز دارید، ممکن است به این قسمت تغییرات دهید # device_map={ # "llama": "auto", # یا "disk", "cpu" و غیره # }- تنظیم
device_map: میتوانید یکdevice_mapسفارشی بسازید تا مشخص کنید کدام ماژولها در GPU و کدام در CPU قرار بگیرند. به طور مثال:
device_map = { "transformer.h.0": "cuda:0", # مثال: ماژول اول در GPU بارگذاری شود "transformer.h.1": "cpu", # ماژول دوم در CPU بارگذاری میشود # بقیه ماژولها به همین ترتیب } model, tokenizer = FastLanguageModel.from_pretrained( model_name="arshiaafshani/Arsh-V1", max_seq_length=2048, load_in_4bit=True, device_map=device_map, llm_int8_enable_fp32_cpu_offload=True )- بررسی حافظه GPU: مطمئن شوید که حافظه GPU شما پر نیست. میتوانید از ابزار
nvidia-smiاستفاده کنید تا وضعیت حافظه را بررسی کنید:
nvidia-smi-
استفاده از مدل با سایز کوچکتر: اگر همچنان با مشکل مواجه هستید، میتوانید به جای مدل بزرگتر از یک مدل کوچکتر استفاده کنید.
-
تنظیم
max_memory: گزینه دیگری که میتوان به کد اضافه کرد، استفاده از پارامترmax_memoryاست که میتواند به شما کمک کند تا حافظه مناسب را بین GPU و CPU تقسیم کنید:
model, tokenizer = FastLanguageModel.from_pretrained( model_name="arshiaafshani/Arsh-V1", max_seq_length=2048, load_in_4bit=True, device_map="auto", # به Hugging Face اجازه میدهد تا خودکار از حافظه استفاده کند max_memory={0: "6GB", "cpu": "16GB"}, # این مقدار را مطابق با نیاز خود تنظیم کنید )نتیجهگیری
سعی کنید با تنظیمات مختلف، به تدریج بارگذاری مدل را انجام دهید و خطاهای مختلف را بررسی کنید. اگر همچنان به مشکلاتی برخوردید، میتوانید ماژولها و ساختمانهای خود را بررسی و تحلیل کنید تا متوجه بشوید کجا به مشکل برخوردید. اگر سوالات بیشتری دارید، خوشحال میشوم که کمک کنم!
- استفاده از
- User
کد کاملش رو بده
- Assistant
بدین منظور که کد بارگذاری مدل
FastLanguageModelبا استفاده از تنظیماتdevice_mapو فعالسازی FP32 CPU offloading به طور کامل نوشته شود، در زیر یک نمونه کد جامع برای بارگذاری مدل و ارزیابی معیارهای مختلف فراهم کردهام. این کد شامل بارگذاری مدل و همچنین ارزیابی معیارهایی نظیرMMLUاست.کد کامل برای بارگذاری مدل و ارزیابی
import torch from unsloth import FastLanguageModel from datasets import load_dataset # بارگذاری مدل با تنظیمات لازم model, tokenizer = FastLanguageModel.from_pretrained( model_name="arshiaafshani/Arsh-V1", max_seq_length=2048, load_in_4bit=True, llm_int8_enable_fp32_cpu_offload=True, device_map="auto", # خودکار بارگذاری ماژولها بر اساس حافظه ) # تابعی برای ارزیابی مدل def evaluate_model(dataset_name): dataset = load_dataset(dataset_name, split='test') # نتایج را ذخیره میکنیم results = [] for sample in dataset: # توجه کنید که کلیدهای مناسب را بررسی کنید input_text = sample['input'] if 'input' in sample else sample['text'] inputs = tokenizer(input_text, return_tensors='pt').to(model.device) with torch.no_grad(): outputs = model(**inputs).logits # به دست آوردن logits # ذخیره نتایج (این قسمت وابسته به معیار شماست) results.append(outputs) # محاسبه نمره (بر اساس نیاز خاص خود پیادهسازی کنید) # فرض میکنیم که یک تابع به نام calculate_score داریم score = calculate_score(results) return score # نمونه تابع محاسبه نمره (باید این تابع را بر اساس معیار خود پیادهسازی کنید) def calculate_score(results): # یک راه ساده برای محاسبه نمره (باید بر اساس جزئیات معیار خود تنظیم کنید) # این تابع فقط نمونهاست و باید بر اساس معیار شما و نوع خروجی مدل تنظیم شود return sum(results) / len(results) # مثال فقط برای MMLU (در اینجا یک معیار خاص) mmlu_score = evaluate_model('mmlu') print("MMLU Score:", mmlu_score) # میتوانید معیارهای دیگر را نیز اضافه کنید. criteria_list = [ 'codeforces', # اگر مجموعه دادهای برای این معیار دارید 'GPQA', # اگر مجموعه دادهای برای این معیار دارید # ... نرمافزار خود را بر اساس نیازتان گسترش دهید ] scores = {} for criteria in criteria_list: scores[criteria] = evaluate_model(criteria) print("Scores:", scores)نکات:
-
حذف یا تغییر نام معیارها: اگر معیارهایی در
criteria_listدارید که مجموعه دادهای ندارند، آنها را حذف کنید یا نامهای صحیح را قرار دهید. -
پیادهسازی تابع
calculate_score: تابعcalculate_scoreیک نمونه ساده است. این تابع باید بر اساس نیازهای خاص شما و نوع خروجی مدل تعیین شود. -
اسم کلیدهای نمونه: اطمینان حاصل کنید که کلیدهای مورد استفاده در نمونه (
inputوtext) با ساختار مجموعه دادهای که بارگذاری میکنید، سازگار باشد. -
کتابخانهها: اطمینان حاصل کنید که کتابخانههای نصب شده از جمله
torch,unsloth, وdatasetsبه روز هستند. -
تنظیمات مناسب: ممکن است نیاز داشته باشید که پارامترهای
max_memoryوdevice_mapرا بر اساس GPU و حافظه خود تنظیم کنید تا مناسبترین عملکرد را بدست آورید.
اگر سوال یا مشکل دیگری دارید، خوشحال میشوم که کمک کنم!
-
- User
==((====))== Unsloth 2025.2.4: Fast Llama patching. Transformers: 4.48.2. \ /| GPU: Tesla T4. Max memory: 14.741 GB. Platform: Linux. O^O/ _/ \ Torch: 2.5.1+cu124. CUDA: 7.5. CUDA Toolkit: 12.4. Triton: 3.1.0 \ / Bfloat16 = FALSE. FA [Xformers = 0.0.29. FA2 = False] "-____-" Free Apache license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored!
TypeError Traceback (most recent call last) in <cell line: 0>() 4 5 # بارگذاری مدل با تنظیمات لازم ----> 6 model, tokenizer = FastLanguageModel.from_pretrained( 7 model_name="arshiaafshani/Arsh-V1", 8 max_seq_length=2048,
3 frames /usr/local/lib/python3.11/dist-packages/transformers/modeling_utils.py in from_pretrained(cls, pretrained_model_name_or_path, config, cache_dir, ignore_mismatched_sizes, force_download, local_files_only, token, revision, use_safetensors, weights_only, *model_args, **kwargs) 4109 with ContextManagers(init_contexts): 4110 # Let's make sure we don't run the init function of buffer modules -> 4111 model = cls(config, *model_args, **model_kwargs) 4112 4113 # make sure we use the model's config since the init call might have copied it
TypeError: LlamaForCausalLM.init() got an unexpected keyword argument 'llm_int8_enable_fp32_cpu_offload'
- Assistant
خطای
TypeErrorکه به دلیل ارسال یک آرگومان ناشناخته به سازنده مدل پیش آمده است، به این معنی است که پارامترllm_int8_enable_fp32_cpu_offloadبه عنوان یک آرگومان مجاز درFastLanguageModel.from_pretrainedشناخته نمیشود.حل مشکل
برای حل این مشکل، بیاید ابتدا بررسی کنیم که اجازه داده شده برای انقضای FP32 offloading را در تنظیمات استفاده کنیم و سپس نحوه بارگذاری مدل را تغییر دهیم. به نظر میرسد این گزینه خاص به
transformersمربوط شود و ممکن است به صورت مستقیم درUnslothدر دسترس نباشد.مقداردهی مجدد پارامترها
در اینجا نسخهی بهروز شدهی کد برای بارگذاری مدل آورده شده است:
import torch from unsloth import FastLanguageModel from datasets import load_dataset # بارگذاری مدل با تنظیمات لازم (حذف پارامتر "llm_int8_enable_fp32_cpu_offload") model, tokenizer = FastLanguageModel.from_pretrained( model_name="arshiaafshani/Arsh-V1", max_seq_length=2048, load_in_4bit=True, device_map="auto", # استفاده از بارگذاری خودکار بر اساس حافظه ) # تابعی برای ارزیابی مدل def evaluate_model(dataset_name): dataset = load_dataset(dataset_name, split='test') results = [] for sample in dataset: # توجه کنید که کلیدهای مناسب را بررسی کنید input_text = sample['input'] if 'input' in sample else sample['text'] inputs = tokenizer(input_text, return_tensors='pt').to(model.device) with torch.no_grad(): outputs = model(**inputs).logits results.append(outputs) # محاسبه نمره (بر اساس نیاز خاص خود پیادهسازی کنید) score = calculate_score(results) return score # نمونه تابع محاسبه نمره def calculate_score(results): # فرض میکنیم که نمره را بر اساس خروجیها محاسبه خواهیم کرد return sum([torch.max(output).item() for output in results]) / len(results) # ارزیابی معیار MMLU mmlu_score = evaluate_model('mmlu') print("MMLU Score:", mmlu_score) # میتوان سایر معیارها را نیز ارزیابی کرد criteria_list = [ 'codeforces', # اگر مجموعه دادهای برای این معیار دارید 'GPQA', # اگر مجموعه دادهای برای این معیار دارید # ... و غیره ] scores = {} for criteria in criteria_list: scores[criteria] = evaluate_model(criteria) print("Scores:", scores)نکات مهم:
-
حذف پارامتر نامعتبر: پارامتر
llm_int8_enable_fp32_cpu_offloadاز بارگذاری مدل حذف شده است، زیرا به نظر میرسد که درUnslothپشتیبانی نمیشود. -
استفاده از
device_map="auto": این پارامتر به Hugging Face اجازه میدهد تا ماژولها را بین CPU و GPU بهطور خودکار بارگذاری کند. -
کنترل دریافتیها: مطمئن شوید که کلیدهای
inputیاtextدرست و متناسب با دیتاست مورد نظر هستند. -
محاسبه نمره: تابع
calculate_scoreیک مثال است. حتماً آن را متناسب با روش محاسبه نمره و خروجیهای خاص خود تغییر دهید.
اگر سوال دیگری دارید یا به مشکلی برخورد کردید، خوشحال میشوم که کمک کنم!
-
- User
==((====))== Unsloth 2025.2.4: Fast Llama patching. Transformers: 4.48.2. \ /| GPU: Tesla T4. Max memory: 14.741 GB. Platform: Linux. O^O/ _/ \ Torch: 2.5.1+cu124. CUDA: 7.5. CUDA Toolkit: 12.4. Triton: 3.1.0 \ / Bfloat16 = FALSE. FA [Xformers = 0.0.29. FA2 = False] "-____-" Free Apache license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored!
ValueError Traceback (most recent call last) in <cell line: 0>() 4 5 # بارگذاری مدل با تنظیمات لازم (حذف پارامتر "llm_int8_enable_fp32_cpu_offload") ----> 6 model, tokenizer = FastLanguageModel.from_pretrained( 7 model_name="arshiaafshani/Arsh-V1", 8 max_seq_length=2048,
4 frames /usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_4bit.py in validate_environment(self, *args, **kwargs) 101 pass 102 elif "cpu" in device_map_without_lm_head.values() or "disk" in device_map_without_lm_head.values(): --> 103 raise ValueError( 104 "Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the " 105 "quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules "
ValueError: Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the quantized model. If you want to dispatch the model on the CPU or the disk while keeping these modules in 32-bit, you need to set
llm_int8_enable_fp32_cpu_offload=Trueand pass a customdevice_maptofrom_pretrained. Check https://huggingface.co/docs/transformers/main/en/main_classes/quantization#offload-between-cpu-and-gpu for more details. - Assistant
با توجه به خطاهایی که مشاهده میکنید، به نظر میرسد که حافظه GPU شما برای بارگذاری مدل به اندازه کافی نیست و نیاز به تنظیمات خاصتری دارید. اگرچه در نهایت خطای اصلی این است که ماژولها به CPU یا دیسک منتقل شدهاند، در حالی که شما تمام ماژولها را به GPU نیاز دارید.
راهکارهای پیشنهادی
-
استفاده از offloading: از
device_mapبرای تقسیم بار بین CPU و GPU استفاده کنید و به GPU اجازه دهید تا از حافظه بیشتری بهره ببرد. -
بارگذاری مدل با
offload: در کد زیر، بدون استفاده از پارامترهای غیرمجاز، آپشنهایی را برای offloading به CPU استفاده میکنیم.
کد نمونه
import torch from unsloth import FastLanguageModel from datasets import load_dataset # بارگذاری مدل با تنظیمات لازم model, tokenizer = FastLanguageModel.from_pretrained( model_name="arshiaafshani/Arsh-V1", max_seq_length=2048, load_in_4bit=True, device_map="auto", # خودکار بارگذاری ماژولها بر اساس حافظه ) # تابعی برای ارزیابی مدل def evaluate_model(dataset_name): dataset = load_dataset(dataset_name, split='test') results = [] for sample in dataset: input_text = sample['input'] if 'input' in sample else sample['text'] # چک کردن کلید inputs = tokenizer(input_text, return_tensors='pt').to(model.device) with torch.no_grad(): outputs = model(**inputs).logits results.append(outputs) score = calculate_score(results) return score # تابع محاسبه نمره def calculate_score(results): return sum([torch.max(output).item() for output in results]) / len(results) # ارزیابی مثال برای مدل try: mmlu_score = evaluate_model('mmlu') print("MMLU Score:", mmlu_score) except ValueError as e: print(f"Error during evaluation: {e}") # ارزیابی سایر معیارها criteria_list = [ 'codeforces', # اضافه کردن معیارهای دیگر 'GPQA', # غیره ... ] scores = {} for criteria in criteria_list: try: scores[criteria] = evaluate_model(criteria) except ValueError as e: print(f"Error during evaluation of {criteria}: {e}") print("Scores:", scores)نکات مهم:
-
استفاده از
device_map="auto": با استفاده از این پارامتر، Hugging Face میتواند به طور خودکار ماژولها را بر اساس ظرفیت حافظه بین CPU و GPU تقسیم کند. -
مدیریت خطا: برای جلوگیری از دو مرتبه خطا هنگام ارزیابی معیارها، از بلوک
try-exceptبرای مدیریت خطاها استفاده شده است. -
بررسی ورودی: اطمینان حاصل کنید که ورودیها و کلیدها (
inputیاtext) با فرمت دیتاستتان مطابقت داشته باشد.
اگر همچنان با مشکل مواجه هستید، ممکن است بخواهید به منابع مجموعه داده خود، حجم ماژولهایی که بارگذاری میکنید، و پیکربندی GPU خود نگاه بیشتری داشته باشید. اگر سوالی دارید یا نیاز به اطلاعات بیشتری است، خوشحال میشوم که کمک کنم!
-