Добавь в этот код замер времени такой, чтобы он выводил не 0 секунд в Google Collab и…
- User
Добавь в этот код замер времени такой, чтобы он выводил не 0 секунд в Google Collab и убери старый замер времени %%writefile cuda1.cu #include #include #include #include <cuda.h>
using namespace std; using namespace std::chrono;
#define SIZE 100000 #define THREADS_PER_BLOCK 4
global void sum_array(int *a, int *b, int n) { int index = threadIdx.x + blockIdx.x * blockDim.x; int stride = blockDim.x * gridDim.x;
for (int i = index; i < n; i += stride) atomicAdd(b, a[i]);}
int main() { vector h_a(SIZE); int h_b = 0; int *d_a, *d_b;
srand(time(0)); for (int i = 0; i < SIZE; i++) { h_a[i] = rand() % SIZE; } cudaMalloc((void**)&d_a, SIZE * sizeof(int)); cudaMalloc((void**)&d_b, sizeof(int)); cudaMemcpy(d_a, h_a.data(), SIZE * sizeof(int), cudaMemcpyHostToDevice); cudaMemcpy(d_b, &h_b, sizeof(int), cudaMemcpyHostToDevice); auto start = high_resolution_clock::now(); sum_array<<<(SIZE + THREADS_PER_BLOCK - 1) / THREADS_PER_BLOCK, THREADS_PER_BLOCK>>>(d_a, d_b, SIZE); auto stop = high_resolution_clock::now(); cudaMemcpy(&h_b, d_b, sizeof(int), cudaMemcpyDeviceToHost); auto duration = duration_cast<milliseconds>(stop - start); cout << "Sum of array elements: " << h_b << endl; cout << "Time taken by function: " << duration.count() /1000000.0 << " seconds" << endl; cudaFree(d_a); cudaFree(d_b); return 0;}
- Assistant
Для того чтобы замер времени работы CUDA-кода был корректным в Google Colab и учитывал время выполнения на GPU, необходимо сделать несколько изменений в коде. В частности, нужно убедиться, что все операции с CUDA завершены перед замером времени. Для этого можно использовать функцию
cudaDeviceSynchronize, которая дожидается завершения всех операций на устройстве.Вот обновлённый код с корректным замером времени:
%%writefile cuda1.cu #include <iostream> #include <vector> #include <chrono> #include <cuda.h> using namespace std; using namespace std::chrono; #define SIZE 100000 #define THREADS_PER_BLOCK 4 __global__ void sum_array(int *a, int *b, int n) { int index = threadIdx.x + blockIdx.x * blockDim.x; int stride = blockDim.x * gridDim.x; for (int i = index; i < n; i += stride) atomicAdd(b, a[i]); } int main() { vector<int> h_a(SIZE); int h_b = 0; int *d_a, *d_b; srand(time(0)); for (int i = 0; i < SIZE; i++) { h_a[i] = rand() % SIZE; } cudaMalloc((void**)&d_a, SIZE * sizeof(int)); cudaMalloc((void**)&d_b, sizeof(int)); cudaMemcpy(d_a, h_a.data(), SIZE * sizeof(int), cudaMemcpyHostToDevice); cudaMemcpy(d_b, &h_b, sizeof(int), cudaMemcpyHostToDevice); auto start = high_resolution_clock::now(); sum_array<<<(SIZE + THREADS_PER_BLOCK - 1) / THREADS_PER_BLOCK, THREADS_PER_BLOCK>>>(d_a, d_b, SIZE); // Sync to wait for the GPU to finish before calculating time cudaDeviceSynchronize(); auto stop = high_resolution_clock::now(); cudaMemcpy(&h_b, d_b, sizeof(int), cudaMemcpyDeviceToHost); auto duration = duration_cast<milliseconds>(stop - start); cout << "Sum of array elements: " << h_b << endl; cout << "Time taken by function: " << duration.count() / 1000.0 << " seconds" << endl; // milliseconds to seconds cudaFree(d_a); cudaFree(d_b); return 0; }Изменения, внесённые в код:
- После вызова функции CUDA
sum_arrayдобавлена строкаcudaDeviceSynchronize();. Эта команда дожидается завершения всех операций на устройстве, что позволяет корректно измерять время выполнения. - В вычислении времени, вместо деления на
1000000.0(что переводило миллисекунды в секунды), используется деление на1000.0, так какdurationтеперь хранится в миллисекундах.
Теперь время выполнения должно отображаться корректно и не быть равно 0.
- После вызова функции CUDA
- User
Всё равно выводит 0 секунд
- Assistant
Если замер времени всё ещё выдаёт 0 секунд, есть вероятность, что выполняемая работа слишком мала для точного замера с использованием миллисекунд. В таких случаях можно использовать более детализированный таймер, например, в микросекундах, или, что более важно, можно запустить более объёмную задачу.
Вот код с изменениями для замера времени в микросекундах, а также с увеличением размера массива для улучшения измерения производительности:
%%writefile cuda1.cu #include <iostream> #include <vector> #include <chrono> #include <cuda.h> using namespace std; using namespace std::chrono; #define SIZE 10000000 // Увеличен размер массива #define THREADS_PER_BLOCK 256 // Увеличено количество потоков на блок __global__ void sum_array(int *a, int *b, int n) { int index = threadIdx.x + blockIdx.x * blockDim.x; int stride = blockDim.x * gridDim.x; for (int i = index; i < n; i += stride) atomicAdd(b, a[i]); } int main() { vector<int> h_a(SIZE); int h_b = 0; int *d_a, *d_b; srand((unsigned int) time(0)); for (int i = 0; i < SIZE; i++) { h_a[i] = rand() % SIZE; } cudaMalloc((void**)&d_a, SIZE * sizeof(int)); cudaMalloc((void**)&d_b, sizeof(int)); cudaMemcpy(d_a, h_a.data(), SIZE * sizeof(int), cudaMemcpyHostToDevice); cudaMemcpy(d_b, &h_b, sizeof(int), cudaMemcpyHostToDevice); auto start = high_resolution_clock::now(); sum_array<<<(SIZE + THREADS_PER_BLOCK - 1) / THREADS_PER_BLOCK, THREADS_PER_BLOCK>>>(d_a, d_b, SIZE); // Sync to wait for the GPU to finish before calculating time cudaDeviceSynchronize(); auto stop = high_resolution_clock::now(); cudaMemcpy(&h_b, d_b, sizeof(int), cudaMemcpyDeviceToHost); auto duration = duration_cast<microseconds>(stop - start); // Измерение в микросекундах cout << "Sum of array elements: " << h_b << endl; cout << "Time taken by function: " << duration.count() / 1000000.0 << " seconds" << endl; // микросекунды в секунды cudaFree(d_a); cudaFree(d_b); return 0; }Изменения:
- Увеличение размера массива: Я увеличил размер массива до
SIZE 10,000,000, чтобы сделать задачу более значительной для замера времени. - Увеличение количества потоков на блок: Увеличилась значение
THREADS_PER_BLOCKдо256, чтобы лучше использовать вычислительные ресурсы. - Изменение замера времени: Время теперь замеряется в микросекундах(
microseconds), что может дать более точные значения, особенно для длительных вычислений.
Попробуйте этот код, и, скорее всего, вы получите значение времени, отличное от нуля.
- Увеличение размера массива: Я увеличил размер массива до
- User
всё равно 0 секунд
- Assistant
Если замер времени всё ещё возвращает 0 секунд, возможно, проблема в том, что функция выполняется слишком быстро для системы, и время, необходимое для выполнения, слишком мало, чтобы быть измеренным с помощью стандартных методов. Чтобы обеспечить более точные измерения, можно попробовать выполнить функцию несколько раз, а затем усреднить результаты. Также стоит проверить конфигурацию CUDA и убедиться, что код действительно выполняется на GPU.
Вот обновлённый код, который будет запускать суммирование в цикле несколько раз и усредняет результаты:
%%writefile cuda1.cu #include <iostream> #include <vector> #include <chrono> #include <cuda.h> using namespace std; using namespace std::chrono; #define SIZE 10000000 // Размер массива #define THREADS_PER_BLOCK 256 // Количество потоков на блок #define NUM_ITERATIONS 100 // Количество итераций для усреднения времени __global__ void sum_array(int *a, int *b, int n) { int index = threadIdx.x + blockIdx.x * blockDim.x; int stride = blockDim.x * gridDim.x; for (int i = index; i < n; i += stride) atomicAdd(b, a[i]); } int main() { vector<int> h_a(SIZE); int h_b = 0; int *d_a, *d_b; srand((unsigned int) time(0)); for (int i = 0; i < SIZE; i++) { h_a[i] = rand() % SIZE; } cudaMalloc((void**)&d_a, SIZE * sizeof(int)); cudaMalloc((void**)&d_b, sizeof(int)); cudaMemcpy(d_a, h_a.data(), SIZE * sizeof(int), cudaMemcpyHostToDevice); cudaMemcpy(d_b, &h_b, sizeof(int), cudaMemcpyHostToDevice); auto total_duration = microseconds(0); // для накопления общего времени for (int i = 0; i < NUM_ITERATIONS; i++) { auto start = high_resolution_clock::now(); sum_array<<<(SIZE + THREADS_PER_BLOCK - 1) / THREADS_PER_BLOCK, THREADS_PER_BLOCK>>>(d_a, d_b, SIZE); // Sync to wait for the GPU to finish before calculating time cudaDeviceSynchronize(); auto stop = high_resolution_clock::now(); total_duration += duration_cast<microseconds>(stop - start); // Суммируем время за итерацию } cudaMemcpy(&h_b, d_b, sizeof(int), cudaMemcpyDeviceToHost); auto average_duration = total_duration.count() / (double) NUM_ITERATIONS; // Среднее время cout << "Sum of array elements: " << h_b << endl; cout << "Average time taken by function: " << average_duration / 1000000.0 << " seconds" << endl; // микросекунды в секунды cudaFree(d_a); cudaFree(d_b); return 0; }Изменения:
- Цикл итераций: Добавлен цикл, который запускает функцию несколько раз (
NUM_ITERATIONS = 100), чтобы усреднить время. - Накопление времени: Общее время выполнения складывается, а затем усредняется, чтобы получить более точный результат при делении на количество итераций.
Такой подход должен дать вам значение, отличное от нуля, для времени выполнения на GPU.
- Цикл итераций: Добавлен цикл, который запускает функцию несколько раз (