아래는 AWQ의 내용이다. Please, Translate the following English into Korean: 3 AWQ:…
- User
아래는 AWQ의 내용이다. Please, Translate the following English into Korean: 3 AWQ: ACTIVATION-AWARE WEIGHT QUANTIZATION Quantization maps a floating-point number into lower-bit integers. It is an effective method to reduce the model size and inference costs of LLMs (Dettmers et al., 2022; Frantar et al., 2022; Yao et al., 2022; Xiao et al., 2022). In this section, we first propose a weight-only quantization method to improve accuracy without training/regression by protecting more “important” weights. And then develop a data-driven method to search for the optimal scaling that reduces quantization errors (Figure 2). 3.1 Improving LLM Quantization by Preserving 1% Salient Weights We observe that the weights of LLMs are not equally important: there is a small fraction of salient weights that are much more important for LLMs’ performance compared to others. Skipping the quantization of these salient weights can help bridge the performance degradation due to the quantization loss without any training or regression (Figure 2(b)). To verify the idea, we benchmark the performance of quantized LLMs when skipping part of the weight channels in Table 1. We measured the performance of INT3 quantized models while keeping some ratios of weight channels in FP16. A widely used method to determine the importance of weights is to look at its magnitude or L2-norm (Han et al., 2015; Frankle & Carbin, 2018). But we find skipping the weight channels with large norm (i.e., FP16% (based on W)) does not significantly improve the quantized performance, leading to a similar marginal improvement as random selection. Interestingly, selecting weights based on activation magnitude can significantly improve the performance despite keeping only 0.1%-1% of channels in FP16. We hypothesize that the input features with larger magnitudes are generally more important. Keeping the corresponding weights in FP16 can preserve those features, which contributes to better model performance. Limitations: Despite keeping 0.1% of weights in FP16 can improve the quantized performance without a noticeable increase in model size (measured in total bits), such a mixedprecision data type will make the system implementation difficult. We need to come up with a method to protect the important weights without actually keeping them as FP16.
- Assistant
3 AWQ: 활성화 인식 가중치 양자화
양자화는 부동 소수점 숫자를 낮은 비트 정수로 매핑하는 과정입니다. 이는 대규모 언어 모델(LLM)의 모델 크기와 추론 비용을 줄이는 효과적인 방법입니다(Dettmers et al., 2022; Frantar et al., 2022; Yao et al., 2022; Xiao et al., 2022). 이 섹션에서는 먼저 더 "중요한" 가중치를 보호함으로써 훈련이나 회귀 없이 정확도를 향상시키는 가중치 전용 양자화 방법을 제안합니다. 그리고 나서 양자화 오류를 줄이는 최적의 스케일링을 탐색하는 데이터 기반 방법을 개발합니다(그림 2).
3.1 1%의 주요 가중치를 보존하여 LLM 양자화 향상
우리는 LLM의 가중치가 모두 같은 중요성을 가지지 않는다는 것을 관찰했습니다: LLM의 성능에 비해 훨씬 더 중요한 소수의 주요 가중치가 존재합니다.
이러한 주요 가중치의 양자화를 건너뛰는 것은 훈련이나 회귀 없이도 양자화 손실로 인한 성능 저하를 보완하는 데 도움이 될 수 있습니다(그림 2(b)).
이 아이디어를 검증하기 위해, 우리는 표 1에서 일부 가중치 채널을 건너뛰었을 때 양자화된 LLM의 성능을 벤치마킹했습니다.
우리는 일부 비율의 가중치 채널을 FP16으로 유지하면서 INT3로 양자화된 모델의 성능을 측정했습니다.
가중치의 중요성을 결정하는 널리 사용되는 방법은 그 크기나 L2-노름을 보는 것입니다(Han et al., 2015; Frankle & Carbin, 2018).
그러나 우리는 큰 노름(즉, W를 기준으로 한 FP16%)의 가중치 채널을 건너뛰는 것이 양자화된 성능을 크게 향상시키지 못하며, 이는 무작위 선택과 유사한 약간의 향상만을 가져온다는 것을 발견했습니다.
흥미롭게도, 활성화 크기에 기반하여 가중치를 선택하는 것은 채널의 단지 0.1%-1%만을 FP16으로 유지함에도 불구하고 성능을 크게 향상시킬 수 있습니다.
우리는 크기가 더 큰 입력 특징이 일반적으로 더 중요하다고 가정합니다.
해당 가중치를 FP16으로 유지하면 이러한 특징을 보존할 수 있어 모델 성능 향상에 기여합니다.
제한 사항: 전체 비트로 측정된 모델 크기의 눈에 띄는 증가 없이 0.1%의 가중치를 FP16으로 유지하는 것은 양자화된 성능을 향상시킬 수 있지만, 이러한 혼합 정밀도 데이터 타입은 시스템 구현을 어렵게 만듭니다.
우리는 실제로 이를 FP16으로 유지하지 않고도 중요한 가중치를 보호하는 방법을 고안해야 합니다.