Skip to content
TheChatArchiveThe Chat Archive
o4-mini-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

현재 최신의 VLM 리스트와 각각의 특징 성능 요약

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Mistralmistral-small-2506’s answer.
  1. User

    현재 최신의 VLM 리스트와 각각의 특징 성능 요약

  2. Assistant

    아래는 2024년 기준으로 많이 언급되는 최신 Visual‐Language Model(VLM)들의 리스트와 각 모델의 주요 특징 및 성능(대표 벤치마크 기준)을 요약한 표입니다.

    모델명개발사/기관파라미터핵심 구조·학습법주요 성능 (벤치마크)
    CLIPOpenAI~400MDual‐encoder (ViT + Text Transformer), 대규모 대조학습• ImageNet zero‐shot Top‐1: 76.4%
    ALIGNGoogle–Dual‐encoder, 18억 이미지–텍스트 쌍 대조학습• ImageNet zero‐shot Top‐1: 80.5%
    CoCaGoogle22BContrastive–Captioner: 전역 대조 + 캡셔닝 동시학습• COCO Caption CIDEr: 147.9• VQAv2: 82.7%
    FlamingoDeepMind~80B 전체Per‐ceiver Resampler + few‐shot in-context 학습• VQAv2 5‐shot: 79.5%
    BLIP-2SalesforceQ-Former: 1.8BLLM: 선택 가능Frozen ViT + Q-Former → LLM 연결, 이미지→언어 모달 매핑• VQAv2: 85.8%• COCO Caption CIDEr: 140.3
    GPT-4VOpenAI–GPT-4 기반 멀티모달(텍스트+이미지) 인터페이스• Multimodal SIGHT: 90% (추정)• DocVQA:+80%
    LLaVANorthwestern/Microsoft13BBLIP-2 스타일 Q-Former + LLaMA, instruction tuning• VQAv2: 67.2%• COCO Caption: 118.7 (CIDEr)
    MiniGPT-4Shanghai AI Lab7BFrozen Vision Encoder + Q-Former → Vicuna(7B)• VQAv2: 63.5%• COCO Caption: 105.4
    InstructBLIPSalesforce3BBLIP-2 기반, 이미지–텍스트 instruction tuning• VQAv2: 72.3%• COCO Caption: 134.6
    mPLUG-OwlMicrosoft1.7BDual‐encoder + decoder, multi‐task 학습• VQAv2: 78.6%• COCO Caption: 130.7

    —

    간단 특징 정리

    1. CLIP / ALIGN
    • 장점: 대규모 대조학습으로 뛰어난 제로샷 분류/검색
    • 한계: 생성 능력 없음, 주로 retrieval/classification 용도
    1. CoCa
    • 대조학습과 캡셔닝을 Joint 학습해 Retrieval + Generation 모두 우수
    1. Flamingo
    • Few‐shot In‐context 학습에 특화, 이미지 이해 대화 구현
    1. BLIP-2 계열 (BLIP-2, InstructBLIP)
    • U-formers(Q-Former)로 Vision→LLM 인터페이스
    • 이미지 캡션, VQA, instruction‐tuning 지원
    1. GPT-4V
    • 범용 멀티모달 LLM, 최고 수준 이미지 이해·추론 성능
    • 공식 벤치마크 공개는 제한적이나 응용력이 뛰어남
    1. LLaVA / MiniGPT-4 / mPLUG-Owl
    • 오픈소스 지향, 경량화된 Q-Former + 공개 LLM
    • Instruction‐tuning↓, 성능은 BLIP-2 급보다 약간 낮음

    —
    위 표 및 설명은 논문·블로그·리포트를 종합한 대표 지표이며, 실제 성능은 모델 버전, 파인튜닝 데이터, 하드웨어 설정 등에 따라 달라질 수 있습니다.
    필요하신 세부 벤치마크나 응용 사례가 있으면 언제든 말씀해주세요! 😊

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.