o4-mini-2025-04-16· OpenAI
LMArena Human Preference 140K
현재 최신의 VLM 리스트와 각각의 특징 성능 요약
- User
현재 최신의 VLM 리스트와 각각의 특징 성능 요약
- Assistant
아래는 2024년 기준으로 많이 언급되는 최신 Visual‐Language Model(VLM)들의 리스트와 각 모델의 주요 특징 및 성능(대표 벤치마크 기준)을 요약한 표입니다.
모델명 개발사/기관 파라미터 핵심 구조·학습법 주요 성능 (벤치마크) CLIP OpenAI ~400M Dual‐encoder (ViT + Text Transformer), 대규모 대조학습 • ImageNet zero‐shot Top‐1: 76.4% ALIGN Google – Dual‐encoder, 18억 이미지–텍스트 쌍 대조학습 • ImageNet zero‐shot Top‐1: 80.5% CoCa Google 22B Contrastive–Captioner: 전역 대조 + 캡셔닝 동시학습 • COCO Caption CIDEr: 147.9• VQAv2: 82.7% Flamingo DeepMind ~80B 전체 Per‐ceiver Resampler + few‐shot in-context 학습 • VQAv2 5‐shot: 79.5% BLIP-2 Salesforce Q-Former: 1.8BLLM: 선택 가능 Frozen ViT + Q-Former → LLM 연결, 이미지→언어 모달 매핑 • VQAv2: 85.8%• COCO Caption CIDEr: 140.3 GPT-4V OpenAI – GPT-4 기반 멀티모달(텍스트+이미지) 인터페이스 • Multimodal SIGHT: 90% (추정)• DocVQA:+80% LLaVA Northwestern/Microsoft 13B BLIP-2 스타일 Q-Former + LLaMA, instruction tuning • VQAv2: 67.2%• COCO Caption: 118.7 (CIDEr) MiniGPT-4 Shanghai AI Lab 7B Frozen Vision Encoder + Q-Former → Vicuna(7B) • VQAv2: 63.5%• COCO Caption: 105.4 InstructBLIP Salesforce 3B BLIP-2 기반, 이미지–텍스트 instruction tuning • VQAv2: 72.3%• COCO Caption: 134.6 mPLUG-Owl Microsoft 1.7B Dual‐encoder + decoder, multi‐task 학습 • VQAv2: 78.6%• COCO Caption: 130.7 —
간단 특징 정리
- CLIP / ALIGN
- 장점: 대규모 대조학습으로 뛰어난 제로샷 분류/검색
- 한계: 생성 능력 없음, 주로 retrieval/classification 용도
- CoCa
- 대조학습과 캡셔닝을 Joint 학습해 Retrieval + Generation 모두 우수
- Flamingo
- Few‐shot In‐context 학습에 특화, 이미지 이해 대화 구현
- BLIP-2 계열 (BLIP-2, InstructBLIP)
- U-formers(Q-Former)로 Vision→LLM 인터페이스
- 이미지 캡션, VQA, instruction‐tuning 지원
- GPT-4V
- 범용 멀티모달 LLM, 최고 수준 이미지 이해·추론 성능
- 공식 벤치마크 공개는 제한적이나 응용력이 뛰어남
- LLaVA / MiniGPT-4 / mPLUG-Owl
- 오픈소스 지향, 경량화된 Q-Former + 공개 LLM
- Instruction‐tuning↓, 성능은 BLIP-2 급보다 약간 낮음
—
위 표 및 설명은 논문·블로그·리포트를 종합한 대표 지표이며, 실제 성능은 모델 버전, 파인튜닝 데이터, 하드웨어 설정 등에 따라 달라질 수 있습니다.
필요하신 세부 벤치마크나 응용 사례가 있으면 언제든 말씀해주세요! 😊
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.