Lakukan optimasi agar runnya cepat seperti senior programmer! Gunakan GPU CUDA! from…
- User
Lakukan optimasi agar runnya cepat seperti senior programmer! Gunakan GPU CUDA! from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "model/llm/Qwen2.5-3B-Instruct"
model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto", local_files_only=True )
tokenizer = AutoTokenizer.from_pretrained(model_name)
messages = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": text} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate( **model_inputs, max_new_tokens=512 ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ]
financial_data_json = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
- Assistant
Untuk mengoptimasi kode Anda agar berjalan lebih cepat menggunakan GPU CUDA, berikut adalah versi yang telah ditingkatkan:
from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name = "model/llm/Qwen2.5-3B-Instruct" # Memuat model dengan presisi setengah (FP16) dan memetakan ke GPU model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.float16, # Menggunakan presisi FP16 untuk komputasi lebih cepat device_map="auto", local_files_only=True ) tokenizer = AutoTokenizer.from_pretrained(model_name) # Menyiapkan pesan input messages = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": text} ] # Menerapkan template chat untuk membentuk teks input text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) # Tokenisasi teks input dan memindahkan tensor ke GPU model_inputs = tokenizer( text, return_tensors="pt", padding=True, truncation=True, max_length=1024 # Sesuaikan max_length sesuai kebutuhan ).to('cuda') # Pastikan tensor berada di GPU # Menonaktifkan kalkulasi gradient selama inferensi with torch.no_grad(): # Menghasilkan output dengan pengaturan yang dioptimalkan generated_ids = model.generate( **model_inputs, max_new_tokens=512, do_sample=True, # Mengaktifkan sampling untuk output yang lebih variatif temperature=0.7, # Mengontrol keacakan top_p=0.9, # Nucleus sampling untuk teks yang lebih natural repetition_penalty=1.1, # Penalti untuk pengulangan use_cache=True # Menggunakan cache untuk generasi lebih cepat ) # Mengekstrak token yang dihasilkan (mengabaikan token input) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs['input_ids'], generated_ids) ] # Mendekode token yang dihasilkan menjadi teks financial_data_json = tokenizer.decode(generated_ids[0], skip_special_tokens=True)Penjelasan Optimasi:
-
Menggunakan Presisi Setengah (FP16):
- Dengan mengatur
torch_dtype=torch.float16saat memuat model, kita mengurangi penggunaan memori dan mempercepat komputasi pada GPU yang mendukung FP16.
- Dengan mengatur
-
Memindahkan Tensor ke GPU:
- Memastikan bahwa
model_inputsberada di GPU dengan menambahkan.to('cuda'). Ini memastikan bahwa data dan model berada di perangkat yang sama, menghindari transfer data yang tidak perlu antara CPU dan GPU.
- Memastikan bahwa
-
Menonaktifkan Kalkulasi Gradient:
- Menggunakan konteks
with torch.no_grad():selama inferensi untuk menonaktifkan kalkulasi gradient. Ini mengurangi penggunaan memori dan meningkatkan kecepatan karena gradient tidak diperlukan saat inferensi.
- Menggunakan konteks
-
Mengoptimalkan Parameter Generasi:
do_sample=True: Mengaktifkan sampling untuk menghasilkan output yang lebih variatif dan natural.temperature=0.7: Mengontrol keacakan dalam sampling. Nilai lebih rendah membuat output lebih deterministik.top_p=0.9: Menggunakan nucleus sampling untuk mempertimbangkan hanya token dengan probabilitas kumulatif hingga 90%, menghasilkan teks yang lebih koheren.repetition_penalty=1.1: Memberikan penalti pada pengulangan untuk menghindari output yang berulang.use_cache=True: Menggunakan cache key/value untuk mempercepat proses generasi.
-
Mengatur Panjang Input Maksimum:
- Dengan menetapkan
max_length=1024, kita mencegah input yang terlalu panjang yang dapat memperlambat proses dan mengonsumsi lebih banyak memori.
- Dengan menetapkan
-
Menggunakan Dekode yang Efisien:
- Menggunakan
tokenizer.decodelangsung pada output pertama karena hanya menghasilkan satu output, sehingga lebih sederhana dan cepat.
- Menggunakan
Catatan Tambahan:
- Pastikan bahwa perangkat Anda memiliki GPU yang mendukung presisi FP16 dan CUDA untuk mendapatkan manfaat penuh dari optimasi ini.
- Anda dapat menyesuaikan parameter seperti
temperaturedantop_psesuai dengan kebutuhan untuk mengontrol kualitas dan kreativitas output. - Jika model Anda besar dan masih mengalami keterbatasan memori, pertimbangkan untuk menggunakan teknik seperti model parallelism atau optimization tools lainnya yang disediakan oleh pustaka
transformersatauaccelerate.
Dengan optimasi di atas, kode Anda seharusnya berjalan lebih cepat dan efisien, memanfaatkan kekuatan GPU CUDA secara optimal seperti yang dilakukan oleh programmer senior.
-