Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Lakukan optimasi agar runnya cepat seperti senior programmer! Gunakan GPU CUDA! from…

  1. User

    Lakukan optimasi agar runnya cepat seperti senior programmer! Gunakan GPU CUDA! from transformers import AutoModelForCausalLM, AutoTokenizer

    model_name = "model/llm/Qwen2.5-3B-Instruct"

    model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto", local_files_only=True )

    tokenizer = AutoTokenizer.from_pretrained(model_name)

    messages = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": text} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

    generated_ids = model.generate( **model_inputs, max_new_tokens=512 ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ]

    financial_data_json = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

  2. Assistant

    Untuk mengoptimasi kode Anda agar berjalan lebih cepat menggunakan GPU CUDA, berikut adalah versi yang telah ditingkatkan:

    from transformers import AutoModelForCausalLM, AutoTokenizer
    import torch
    
    model_name = "model/llm/Qwen2.5-3B-Instruct"
    
    # Memuat model dengan presisi setengah (FP16) dan memetakan ke GPU
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.float16,  # Menggunakan presisi FP16 untuk komputasi lebih cepat
        device_map="auto",
        local_files_only=True
    )
    
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    
    # Menyiapkan pesan input
    messages = [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": text}
    ]
    
    # Menerapkan template chat untuk membentuk teks input
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    # Tokenisasi teks input dan memindahkan tensor ke GPU
    model_inputs = tokenizer(
        text,
        return_tensors="pt",
        padding=True,
        truncation=True,
        max_length=1024  # Sesuaikan max_length sesuai kebutuhan
    ).to('cuda')  # Pastikan tensor berada di GPU
    
    # Menonaktifkan kalkulasi gradient selama inferensi
    with torch.no_grad():
        # Menghasilkan output dengan pengaturan yang dioptimalkan
        generated_ids = model.generate(
            **model_inputs,
            max_new_tokens=512,
            do_sample=True,           # Mengaktifkan sampling untuk output yang lebih variatif
            temperature=0.7,          # Mengontrol keacakan
            top_p=0.9,                # Nucleus sampling untuk teks yang lebih natural
            repetition_penalty=1.1,   # Penalti untuk pengulangan
            use_cache=True            # Menggunakan cache untuk generasi lebih cepat
        )
    
    # Mengekstrak token yang dihasilkan (mengabaikan token input)
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs['input_ids'], generated_ids)
    ]
    
    # Mendekode token yang dihasilkan menjadi teks
    financial_data_json = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
    

    Penjelasan Optimasi:

    1. Menggunakan Presisi Setengah (FP16):

      • Dengan mengatur torch_dtype=torch.float16 saat memuat model, kita mengurangi penggunaan memori dan mempercepat komputasi pada GPU yang mendukung FP16.
    2. Memindahkan Tensor ke GPU:

      • Memastikan bahwa model_inputs berada di GPU dengan menambahkan .to('cuda'). Ini memastikan bahwa data dan model berada di perangkat yang sama, menghindari transfer data yang tidak perlu antara CPU dan GPU.
    3. Menonaktifkan Kalkulasi Gradient:

      • Menggunakan konteks with torch.no_grad(): selama inferensi untuk menonaktifkan kalkulasi gradient. Ini mengurangi penggunaan memori dan meningkatkan kecepatan karena gradient tidak diperlukan saat inferensi.
    4. Mengoptimalkan Parameter Generasi:

      • do_sample=True: Mengaktifkan sampling untuk menghasilkan output yang lebih variatif dan natural.
      • temperature=0.7: Mengontrol keacakan dalam sampling. Nilai lebih rendah membuat output lebih deterministik.
      • top_p=0.9: Menggunakan nucleus sampling untuk mempertimbangkan hanya token dengan probabilitas kumulatif hingga 90%, menghasilkan teks yang lebih koheren.
      • repetition_penalty=1.1: Memberikan penalti pada pengulangan untuk menghindari output yang berulang.
      • use_cache=True: Menggunakan cache key/value untuk mempercepat proses generasi.
    5. Mengatur Panjang Input Maksimum:

      • Dengan menetapkan max_length=1024, kita mencegah input yang terlalu panjang yang dapat memperlambat proses dan mengonsumsi lebih banyak memori.
    6. Menggunakan Dekode yang Efisien:

      • Menggunakan tokenizer.decode langsung pada output pertama karena hanya menghasilkan satu output, sehingga lebih sederhana dan cepat.

    Catatan Tambahan:

    • Pastikan bahwa perangkat Anda memiliki GPU yang mendukung presisi FP16 dan CUDA untuk mendapatkan manfaat penuh dari optimasi ini.
    • Anda dapat menyesuaikan parameter seperti temperature dan top_p sesuai dengan kebutuhan untuk mengontrol kualitas dan kreativitas output.
    • Jika model Anda besar dan masih mengalami keterbatasan memori, pertimbangkan untuk menggunakan teknik seperti model parallelism atau optimization tools lainnya yang disediakan oleh pustaka transformers atau accelerate.

    Dengan optimasi di atas, kode Anda seharusnya berjalan lebih cepat dan efisien, memanfaatkan kekuatan GPU CUDA secara optimal seperti yang dilakukan oleh programmer senior.