Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

請幫我建立一個基於 OpenAI CLIP model 的 C++ Shared Library 另外我的模型是 ONNX 格式 使用的環境是 Ubuntu 22.04 我需要…

  1. User

    請幫我建立一個基於 OpenAI CLIP model 的 C++ Shared Library 另外我的模型是 ONNX 格式 使用的環境是 Ubuntu 22.04 我需要 C++ code 和 makefile clip_image_encoder.onnx clip_text_encoder.onnx 並且 interface 必須要包含 init exec free init 初始化模型傳入模型的pointer和size 並回傳 context_id exec 傳入 context_id 和 資料的 pointer 並透過&的方式回傳 inference 結果,function 回傳是否成功 free 釋放 init 的資料 傳入 content_id

  2. Assistant

    當然,我將幫助你建立一個基於 OpenAI CLIP 模型的 C++ Shared Library,並使用 ONNX Runtime 來加載和運行模型。以下是詳細步驟,包括 C++ 代碼和 Makefile。

    總體架構

    1. 依賴項:

      • ONNX Runtime:用於加載和運行 ONNX 模型。
      • C++11 或更高版本的編譯器。
    2. 接口設計:

      • init: 初始化模型,接收模型的指針和大小,返回 context_id。
      • exec: 執行推理,傳入 context_id 和資料的指針,通過引用方式回傳結果,並回傳是否成功。
      • free: 釋放指定 context_id 的資源。
    3. 上下文管理:

      • 使用一個靜態地圖來管理多個上下文,每個上下文包含圖像和文本編碼器的 ONNX Runtime session。

    步驟詳解

    1. 安裝 ONNX Runtime

    首先,確保你已經安裝了 ONNX Runtime。你可以從 ONNX Runtime GitHub 頁面 獲取安裝指南。以下是基於 Ubuntu 的簡單安裝步驟:

    # 更新包列表
    sudo apt-get update
    
    # 安裝依賴
    sudo apt-get install -y build-essential cmake git libprotobuf-dev protobuf-compiler
    
    # 克隆 ONNX Runtime 仓库
    git clone https://github.com/microsoft/onnxruntime.git
    cd onnxruntime
    
    # 生成 Makefile 並編譯
    ./build.sh --config Release --build_shared_lib --parallel
    

    安裝完成後,確保你知道 ONNX Runtime 的安裝路徑,因為後面需要在 Makefile 中引用它。

    2. C++ 代碼

    以下是 C++ 代碼,實現了 init、exec 和 free 接口:

    // clip_shared_lib.cpp
    
    #include <onnxruntime_cxx_api.h>
    #include <unordered_map>
    #include <vector>
    #include <mutex>
    #include <memory>
    #include <cstring>
    
    // 定義接口使用的C連接
    extern "C" {
    
    // 定義返回類型
    typedef int ContextID;
    typedef bool (*Result)(bool);
    
    // 上下文結構,包含 ONNX Runtime Session
    struct Context {
        Ort::Env env;
        Ort::Session image_session;
        Ort::Session text_session;
    
        Context(Ort::Env env_init, Ort::Session image_sess, Ort::Session text_sess)
            : env(env_init), image_session(std::move(image_sess)), text_session(std::move(text_sess)) {}
    };
    
    // 全局上下文管理
    std::unordered_map<ContextID, std::shared_ptr<Context>> context_map;
    std::mutex context_map_mutex;
    ContextID current_id = 0;
    
    // 初始化函數
    ContextID init(const void* model_ptr, size_t model_size_image, const void* model_ptr_text, size_t model_size_text) {
        std::lock_guard<std::mutex> lock(context_map_mutex);
        Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "clip_model");
    
        // 創建 ONNX Runtime 設定
        Ort::SessionOptions session_options;
        session_options.SetIntraOpNumThreads(1);
        session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_BASIC);
    
        // 加載圖像編碼器模型
        Ort::Session image_session(env, (const char*)model_ptr, model_size_image, session_options);
    
        // 加載文本編碼器模型
        Ort::Session text_session(env, (const char*)model_ptr_text, model_size_text, session_options);
    
        // 創建上下文
        ContextID cid = current_id++;
        context_map[cid] = std::make_shared<Context>(env, std::move(image_session), std::move(text_session));
    
        return cid;
    }
    
    // 執行函數
    bool exec(ContextID cid, const float* input_image, const float* input_text, std::vector<float>& image_features, std::vector<float>& text_features) {
        std::lock_guard<std::mutex> lock(context_map_mutex);
        auto it = context_map.find(cid);
        if (it == context_map.end()) {
            return false;
        }
    
        auto context = it->second;
    
        // 準備圖像編碼器的輸入
        Ort::AllocatorWithDefaultOptions allocator;
        const char* image_input_name = context->image_session.GetInputName(0, allocator);
        std::vector<int64_t> image_input_dims = {1, 3, 224, 224}; // 根據模型調整
        size_t image_input_tensor_size = 1 * 3 * 224 * 224;
        std::vector<float> image_input_values(image_input_tensor_size);
        std::memcpy(image_input_values.data(), input_image, image_input_tensor_size * sizeof(float));
        Ort::Value image_input_tensor = Ort::Value::CreateTensor<float>(allocator, const_cast<float*>(image_input_values.data()), image_input_tensor_size, image_input_dims.data(), image_input_dims.size());
    
        // 執行圖像推理
        auto image_output_tensors = context->image_session.Run(Ort::RunOptions{nullptr}, &image_input_name, &image_input_tensor, 1, context->image_session.GetOutputNames(allocator).data(), 1);
        float* image_output = image_output_tensors[0].GetTensorMutableData<float>();
        size_t image_output_size = image_output_tensors[0].GetTensorTypeAndShapeInfo().GetElementCount();
        image_features.assign(image_output, image_output + image_output_size);
    
        // 準備文本編碼器的輸入
        const char* text_input_name = context->text_session.GetInputName(0, allocator);
        std::vector<int64_t> text_input_dims = {1, 77}; // 根據模型調整
        size_t text_input_tensor_size = 1 * 77;
        std::vector<float> text_input_values(text_input_tensor_size);
        std::memcpy(text_input_values.data(), input_text, text_input_tensor_size * sizeof(float));
        Ort::Value text_input_tensor = Ort::Value::CreateTensor<float>(allocator, const_cast<float*>(text_input_values.data()), text_input_tensor_size, text_input_dims.data(), text_input_dims.size());
    
        // 執行文本推理
        auto text_output_tensors = context->text_session.Run(Ort::RunOptions{nullptr}, &text_input_name, &text_input_tensor, 1, context->text_session.GetOutputNames(allocator).data(), 1);
        float* text_output = text_output_tensors[0].GetTensorMutableData<float>();
        size_t text_output_size = text_output_tensors[0].GetTensorTypeAndShapeInfo().GetElementCount();
        text_features.assign(text_output, text_output + text_output_size);
    
        return true;
    }
    
    // 釋放函數
    void free_context(ContextID cid) {
        std::lock_guard<std::mutex> lock(context_map_mutex);
        context_map.erase(cid);
    }
    
    } // extern "C"
    

    代碼說明:

    1. 上下文管理:

      • 使用 std::unordered_map 和 std::mutex 來管理多個上下文,以確保線程安全。
      • 每個 Context 包含一個 Ort::Env 和兩個 Ort::Session(一個圖像編碼器和一個文本編碼器)。
    2. init 函數:

      • 接收兩個模型的指針和大小,分別加載圖像和文本編碼器的 ONNX 模型。
      • 創建一個新的上下文,並將其存儲在全局地圖中,返回一個唯一的 context_id。
    3. exec 函數:

      • 根據 context_id 查找對應的上下文。
      • 構造圖像和文本的輸入 tensor,並運行對應的 ONNX 模型,將結果通過引用返回。
      • 返回一個布林值表示是否成功。
    4. free_context 函數:

      • 根據 context_id 刪除對應的上下文,釋放資源。

    3. Makefile

    以下是一個簡單的 Makefile,用於編譯上述 C++ 代碼成為共享庫:

    # Makefile
    
    CXX = g++
    CXXFLAGS = -O2 -fPIC -std=c++11
    LDFLAGS = -shared
    
    # 假設 ONNX Runtime 安裝在 /usr/local/lib,頭文件在 /usr/local/include
    ONNXRUNTIME_LIB = -lonnxruntime
    INCLUDES = -I/usr/local/include/onnxruntime
    LIBS = -L/usr/local/lib
    
    TARGET = libclip_shared.so
    SRC = clip_shared_lib.cpp
    
    all: $(TARGET)
    
    $(TARGET): $(SRC)
    	$(CXX) $(CXXFLAGS) $(INCLUDES) -o $@ $^ $(LIBS) $(ONNXRUNTIME_LIB)
    
    clean:
    	rm -f $(TARGET)
    

    Makefile 說明:

    1. 變量定義:

      • CXX: 使用的編譯器,這裡是 g++。
      • CXXFLAGS: 編譯選項,-fPIC 用於生成位置無關代碼,-shared 用於生成共享庫。
      • ONNXRUNTIME_LIB 和 INCLUDES: 根據你的 ONNX Runtime 安裝路徑設置。
    2. 編譯規則:

      • all: 默認目標,生成共享庫。
      • $(TARGET): 生成共享庫,連接 ONNX Runtime 庫。
      • clean: 清理生成的共享庫文件。

    4. 使用示例

    以下是如何使用這個共享庫的簡單示例:

    // example.cpp
    
    #include <iostream>
    #include <vector>
    
    typedef int ContextID;
    extern "C" {
        ContextID init(const void* model_ptr_image, size_t model_size_image, const void* model_ptr_text, size_t model_size_text);
        bool exec(ContextID cid, const float* input_image, const float* input_text, std::vector<float>& image_features, std::vector<float>& text_features);
        void free_context(ContextID cid);
    }
    
    int main() {
        // 假設你有模型文件讀入到 memory
        // 這裡僅作為示例,請根據實際情況讀取模型文件
        std::vector<char> model_image = {/* 讀取 clip_image_encoder.onnx 的數據 */};
        std::vector<char> model_text = {/* 讀取 clip_text_encoder.onnx 的數據 */};
    
        // 初始化
        ContextID cid = init(model_image.data(), model_image.size(), model_text.data(), model_text.size());
    
        // 準備輸入數據
        float input_image[1*3*224*224] = { /* 圖像數據 */ };
        float input_text[1*77] = { /* 文本數據 */ };
        std::vector<float> image_features;
        std::vector<float> text_features;
    
        // 執行推理
        bool success = exec(cid, input_image, input_text, image_features, text_features);
        if (success) {
            std::cout << "Inference successful!" << std::endl;
            // 處理 image_features 和 text_features
        } else {
            std::cout << "Inference failed!" << std::endl;
        }
    
        // 釋放上下文
        free_context(cid);
    
        return 0;
    }
    

    注意事項

    1. 模型輸入和輸出維度:

      • 確保圖像和文本輸入的維度與你使用的 CLIP 模型相符。上面的代碼預設圖像輸入為 (1, 3, 224, 224),文本輸入為 (1, 77),請根據實際模型調整。
    2. 錯誤處理:

      • 上述代碼示例中錯誤處理較少,建議在實際應用中增加更多的檢查和錯誤處理。
    3. 多線程支持:

      • 如果你的應用需要多線程支持,確保對 context_map 的訪問是線程安全的,上述代碼已經使用了 std::mutex 來保護地圖。
    4. 性能優化:

      • 根據需要調整 ONNX Runtime 的 SessionOptions 來優化推理性能,例如啟用更多的圖優化級別或線程設置。

    希望這些說明和代碼能幫助你成功建立所需的 C++ Shared Library。如果有任何問題或需要進一步的幫助,請隨時告訴我!