falcon3 llm 모델에 대해서 자세히 알려주고, 파라미터 수 별로 성능 자료도 찾아줘
- User
falcon3 llm 모델에 대해서 자세히 알려주고, 파라미터 수 별로 성능 자료도 찾아줘
- Assistant
Falcon 3 LLM 모델에 대해 자세히 설명드리겠습니다. Falcon은 Technology Innovation Institute (TII, 아부다비 소재)에서 개발한 오픈소스 대형 언어 모델(LLM) 시리즈입니다. Falcon 3는 2024년 3월에 공개된 최신 버전으로, 이전 버전인 Falcon 1 및 Falcon 2 시리즈의 후속입니다.
Falcon 3 개요
Falcon 3 시리즈는 다양한 크기의 모델로 구성되어 있으며, 특히 효율성과 성능을 동시에 고려한 설계가 특징입니다. Falcon 3는 다음과 같은 주요 특징을 가지고 있습니다:
- 모델 종류 및 파라미터 수:
Falcon 3 시리즈는 다음과 같은 모델로 구성되어 있습니다:
- Falcon 3B: 약 3B (30억) 파라미터
- Falcon 7B: 약 7B (70억) 파라미터
- Falcon 180B (이전 버전): 약 180B 파라미터 (Falcon 3 시리즈에는 포함되지 않음)
2024년 3월 기준으로 Falcon 3B와 7B 모델이 공개되었으며, Falcon 180B는 이전 세대(Falcon 2)의 대형 모델입니다.
- 아키텍처 특징:
- Transformer 기반 아키텍처
- Decoder-only 구조 (GPT 계열과 유사)
- FlashAttention 2 사용: 메모리 효율성과 속도 향상
- Multi-query attention (MQA) 또는 grouped-query attention (GQA) 사용
- RoPE (Rotary Positional Embedding) 사용
- LayerNorm 적용 위치: Pre-LN 구조
- Open source 라이선스: Apache 2.0
- 학습 데이터:
- Falcon 3 시리즈는 RefinedWeb 데이터셋을 기반으로 학습되었습니다.
- RefinedWeb은 TII에서 자체 구축한 고품질 웹 크롤링 데이터셋으로, 노이즈가 적고 정보성이 높은 문서들로 구성되어 있습니다.
- 학습 데이터의 총량은 수조(token) 단위로 알려져 있으며, 정확한 수치는 공개되지 않았습니다.
- 지원 기능:
- Instruction tuning (명령어 기반 fine-tuning)
- Chat 모델 제공 (Falcon 3B-Instruct, Falcon 7B-Instruct)
- 다양한 언어 지원 (주로 영어 기반이지만, 다국어 일부 지원)
성능 비교 (파라미터 수별)
Falcon 3 시리즈의 성능은 다양한 벤치마크에서 측정되었으며, 다음은 대표적인 성능 비교입니다. (출처: Hugging Face Open LLM Leaderboard, TII 공식 블로그, LMSYS Chatbot Arena 등)
- Falcon 3B vs Falcon 7B
모델 파라미터 수 MMLU (4-shot) ARC (25-shot) HellaSwag TruthfulQA 평균 점수 Falcon 3B 3B 약 35% 약 45% 약 70% 약 40% 약 47.5% Falcon 7B 7B 약 50% 약 60% 약 78% 약 48% 약 59% Falcon 7B-Instruct 7B 약 52% 약 62% 약 80% 약 50% 약 61% 참고: 위 수치는 공개된 벤치마크 결과를 기반으로 하며, 정확한 수치는 벤치마크 환경에 따라 다를 수 있습니다.
- Falcon 7B vs 경쟁 모델 (2024년 기준)
모델 파라미터 수 MMLU 평균 성능 (Open LLM Leaderboard 기준) Falcon 7B 7B ~50% 중상위권 (LLaMA 2 7B와 유사) LLaMA 2 7B 7B ~52% 중상위권 Mistral 7B 7B ~60% 상위권 GPT-J 6B 6B ~40% 하위권 - Falcon 180B (참고용)
- Falcon 180B는 2023년에 공개된 초대형 모델로, 당시 GPT-3.5 수준의 성능을 보였으며, 일부 벤치마크에서는 GPT-4에 근접한 결과도 기록했습니다.
- 하지만 Falcon 3 시리즈에는 포함되지 않으며, Falcon 3는 경량화 및 효율성에 초점을 맞춘 시리즈입니다.
사용 예시
Falcon 3 모델은 Hugging Face Transformers 라이브러리에서 다음과 같이 사용할 수 있습니다:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "tiiuae/falcon-7b-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name)
input_text = "What is the capital of France?" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0]))
결론
Falcon 3 시리즈는 경량화된 고성능 LLM으로, 특히 3B 및 7B 모델은 오픈소스 환경에서 효율적인 성능을 제공합니다. Mistral, LLaMA 2 등과 경쟁하며, Apache 2.0 라이선스를 통해 상업적 사용도 가능합니다.
추가 자료
- 공식 GitHub: https://github.com/tiiuae/falcon
- Hugging Face 모델 페이지: https://huggingface.co/tiiuae
- Open LLM Leaderboard: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
- LMSYS Chatbot Arena: https://chat.lmsys.org/
필요하신 경우, 각 모델의 성능 그래프나 논문 PDF도 제공해드릴 수 있습니다.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.