Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-reasoning-pro-high· PerplexityHugging Face LMArena Search Arena 24K

hãy tìm cho tôi thông tin về AMD 7800XT và NVIDIA 4070 super về việc chạy model AI local…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with gpt-4o-search-preview-high-loc’s answer.
  1. User

    hãy tìm cho tôi thông tin về AMD 7800XT và NVIDIA 4070 super về việc chạy model AI local bằng Ollama. So sánh các chỉ số benchmark mà bạn có thể tìm được đặc biệt là TFLOPs

  2. Perplexity Assistant

    Dựa trên thông tin được cung cấp, tôi sẽ so sánh AMD Radeon RX 7800 XT và NVIDIA GeForce RTX 4070 Super với trọng tâm vào khả năng chạy mô hình AI local.

    Thông số kỹ thuật cơ bản

    Thông sốNVIDIA RTX 4070 SuperAMD RX 7800 XT
    Kiến trúcAda LovelaceRDNA 3
    Đơn vị xử lý7.168 CUDA cores3.840 Stream processors
    Lõi AI224 Tensor cores (Gen 4)120 AI Accelerators
    Lõi Ray Tracing56 RT cores (Gen 3)60 Ray Accelerators
    VRAM12GB GDDR6X16GB GDDR6
    Bus bộ nhớ192-bit256-bit
    Băng thông bộ nhớ504,2 GB/giây2.708,4 GB/giây
    TDP220W263W

    Hiệu năng AI và Ollama

    Thông tin trực tiếp về hiệu năng Ollama trên hai GPU này rất hạn chế, nhưng có một số so sánh về khả năng AI:

    Lợi thế của NVIDIA RTX 4070 Super

    • Có nhiều Tensor cores (224) được thiết kế đặc biệt cho các tác vụ AI và machine learning[3]
    • Hỗ trợ tốt hơn cho các framework như CUDA, TensorRT và ONNX[1]
    • Trong một so sánh tốc độ tạo hình ảnh AI, RTX 4070 Super nhanh hơn khoảng 11% khi sử dụng TensorRT[1]

    Lợi thế của AMD RX 7800 XT

    • VRAM lớn hơn (16GB so với 12GB), có lợi cho việc tải các mô hình AI lớn[3][5]
    • Băng thông bộ nhớ lớn hơn nhờ bus 256-bit, giúp truy xuất dữ liệu nhanh hơn[3]

    TFLOPs và hiệu năng

    Mặc dù không có số liệu TFLOPs cụ thể trong kết quả tìm kiếm, nhưng dựa vào kiến trúc:

    • RTX 4070 Super có lợi thế đáng kể về hiệu suất AI nhờ Tensor cores chuyên dụng
    • NVIDIA cung cấp hỗ trợ tốt hơn cho các framework phổ biến như CUDA, điều này rất quan trọng khi chạy Ollama
    • Thời gian tạo hình ảnh AI: RTX 4070 Super mất khoảng một nửa thời gian so với AMD (2,3 giây so với 4,5 giây)[1]

    Khả năng tương thích với Ollama

    Ollama thường hoạt động tốt hơn trên GPU NVIDIA vì:

    1. Hỗ trợ CUDA tốt hơn, được nhiều framework AI sử dụng
    2. Tensor cores chuyên dụng có thể tăng tốc đáng kể quá trình tính toán ma trận, phổ biến trong các mô hình ngôn ngữ lớn
    3. Nhiều mô hình LLM được tối ưu hóa cho phần cứng NVIDIA

    Kết luận

    Nếu mục tiêu chính là chạy mô hình AI local với Ollama:

    • NVIDIA RTX 4070 Super là lựa chọn tốt hơn nhờ hiệu năng AI mạnh mẽ hơn và hỗ trợ CUDA
    • Tuy nhiên, RX 7800 XT với 16GB VRAM có thể xử lý tốt hơn các mô hình lớn hơn

    Lưu ý: Trong kết quả tìm kiếm không có đủ thông tin về các chỉ số TFLOPs cụ thể hay benchmark Ollama trực tiếp cho hai GPU này. Để có thông tin chính xác hơn, bạn nên tìm kiếm thêm các benchmark mới nhất dành riêng cho Ollama.

  3. User

    Ollama đã support officialy cho AMD từ 2024 rồi

  4. Perplexity Assistant

    Đúng vậy, Ollama đã chính thức hỗ trợ card đồ họa AMD từ tháng 3 năm 2024. Cụ thể, vào ngày 14 tháng 3 năm 2024, Ollama đã công bố hỗ trợ GPU AMD ở chế độ "preview" trên cả Windows và Linux[1][7][8]. Theo thông báo chính thức, "tất cả các tính năng của Ollama hiện có thể được tăng tốc bởi card đồ họa AMD trên Ollama dành cho Linux và Windows"[1].

    Ollama hỗ trợ nhiều dòng card AMD, bao gồm:

    Dòng sản phẩmCác card được hỗ trợ
    AMD Radeon RX7900 XTX, 7900 XT, 7900 GRE, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
    AMD Radeon PROW7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII, SSG
    AMD InstinctMI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50

    Hỗ trợ này đã giúp người dùng AMD có thể chạy các mô hình AI như Llama 3.1 và Llama 3.2 trên máy tính của họ mà không cần phải sử dụng GPU NVIDIA[3][9]. Đến tháng 9 năm 2024, hỗ trợ này đã được củng cố và phát triển thêm, với một hướng dẫn chi tiết về cách chạy các mô hình LLM trên GPU AMD được xuất bản vào ngày 26/9/2024[3].

  5. User

    hãy tìm giúp tôi VGA dưới 15 triệu đồng có thể chạy tốt các mô hình AI Gemma3:32b hoặc DeepSeekR1:32b

  6. Perplexity Assistant

    Để chạy các mô hình AI lớn như Gemma 3:32b hoặc DeepSeekR1:32b, yếu tố quan trọng nhất là dung lượng VRAM và hiệu năng AI. Dưới đây là một số VGA dưới 15 triệu đồng phù hợp:

    Card đồ họa NVIDIA dưới 15 triệu

    NVIDIA RTX 3060 (12GB GDDR6)

    • Giá tham khảo: Khoảng 8-8.5 triệu đồng
    • Ưu điểm cho AI:
      • VRAM 12GB GDDR6 (quan trọng nhất cho mô hình lớn)
      • 3584 CUDA cores
      • Tensor Cores thế hệ 3 (chuyên biệt cho AI)
      • Bus 192-bit
      • Hỗ trợ đầy đủ CUDA và TensorRT

    Đây là lựa chọn tốt nhất trong tầm giá vì dung lượng VRAM lớn (12GB) - yếu tố quyết định có thể chạy được các mô hình 32B tham số sau khi đã quantize (lượng tử hóa).

    NVIDIA RTX 4060 (8GB GDDR6)

    • Giá tham khảo: Khoảng 9-10 triệu đồng
    • Ưu điểm:
      • Tensor Cores thế hệ 4 mạnh hơn
      • Kiến trúc Ada Lovelace hiện đại
      • Hiệu suất AI cao hơn RTX 3060
      • Tiết kiệm điện hơn
    • Nhược điểm: VRAM chỉ 8GB, hạn chế khi chạy mô hình 32B tham số

    NVIDIA RTX 3050 6GB

    • Giá tham khảo: 4.6-5.3 triệu đồng
    • Đánh giá: Khó có thể chạy mô hình 32B do VRAM chỉ 6GB, nhưng có thể chạy được các mô hình nhỏ hơn

    Lưu ý quan trọng khi chạy Gemma3:32b hoặc DeepSeekR1:32b

    1. Lượng tử hóa bắt buộc: Với mô hình 32B tham số, bạn sẽ cần sử dụng kỹ thuật lượng tử hóa (quantization) xuống 4-bit hoặc thấp hơn

    2. Ollama đã hỗ trợ GPU AMD: Tuy nhiên, hiệu suất trên NVIDIA vẫn tốt hơn nhờ hệ sinh thái CUDA phát triển

    3. Khuyến nghị tối thiểu: RTX 3060 12GB là lựa chọn tối thiểu để có thể chạy các mô hình 32B tham số, và ngay cả với card này, bạn vẫn cần:

      • Sử dụng lượng tử hóa
      • Giảm độ dài ngữ cảnh (context length)
      • Có thể phải chia nhỏ mô hình
    4. Nguồn điện: Các card như RTX 3060 yêu cầu nguồn tối thiểu 550W với đầu cắm 8-pin

    Kết luận

    Trong tầm giá dưới 15 triệu đồng, NVIDIA RTX 3060 12GB là lựa chọn tốt nhất để chạy các mô hình AI lớn như Gemma 3:32b hoặc DeepSeekR1:32b nhờ dung lượng VRAM lớn. RTX 4060 có kiến trúc mới hơn và Tensor Cores mạnh hơn, nhưng VRAM chỉ 8GB có thể gây hạn chế. Tuy nhiên, cả hai đều sẽ yêu cầu kỹ thuật tối ưu hóa như lượng tử hóa để chạy hiệu quả các mô hình 32B tham số.

  7. User

    có VGA nào có 24GB VRAM mà giá tốt không?

  8. Perplexity Assistant

    Dựa trên kết quả tìm kiếm, có một số VGA với 24GB VRAM đang có mặt trên thị trường với các mức giá khác nhau. Sau đây là những lựa chọn với giá tốt nhất:

    Card màn hình RTX 3090 24GB

    Lựa chọn tốt nhất về giá hiện nay là ASUS TUF GeForce RTX 3090 Gaming (TUF-RTX3090-24G-GAMING) với giá chỉ 30.899.000đ (giảm mạnh từ giá gốc 59.900.000đ)[3]. Đây là mức giá tốt nhất cho một card đồ họa có 24GB VRAM trong danh sách tìm kiếm.

    Card này có các thông số:

    • 24GB GDDR6X
    • Bus 384-bit
    • 10496 CUDA Cores
    • Xung nhịp Boost ở chế độ OC: 1725MHz
    • Băng thông 936GB/s
    • Thiết kế tản nhiệt với 3 quạt công nghệ Axial

    Card màn hình RTX 4090 24GB

    Nếu bạn muốn hiệu năng cao hơn với kiến trúc mới nhất (Ada Lovelace), RTX 4090 cũng có các tùy chọn:

    1. VGA Gigabyte GeForce RTX 4090 WINDFORCE V2 24GB: 72.999.000đ[2]

    2. ASUS TUF RTX 4090 O24G GAMING: 61.900.000đ[1]

    3. ASUS ROG Strix GeForce RTX 4090 OC Edition 24GB GDDR6X: 64.990.000đ[7]

    So sánh và lời khuyên

    Nếu bạn cần một card màn hình 24GB VRAM với giá tốt nhất, RTX 3090 của ASUS là lựa chọn hợp lý với mức giá khoảng 30.9 triệu. Card này vẫn mạnh mẽ đủ để chạy hầu hết các ứng dụng AI và đồ họa, mặc dù không phải thế hệ mới nhất.

    Tuy nhiên, nếu bạn cần hiệu năng tối đa và có ngân sách cao hơn, RTX 4090 mang lại hiệu suất tốt hơn, đặc biệt với:

    • Lõi Tensor thế hệ 4 (hiệu suất AI tốt hơn gấp đôi)
    • Lõi RT thế hệ 3 (hiệu suất dò tia tốt hơn gấp đôi)
    • Xung nhịp cao hơn (trên 2500MHz so với 1725MHz)
    • Tốc độ bộ nhớ 21Gbps (so với 19.5Gbps)

    Tất cả các card trên đều đi kèm chế độ bảo hành 36 tháng.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.