Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

아래 내용을 기반으로 논문 작성 계획서(연구계획서)Plan of the Thesis를 작성해야 합니다. 제목(Title of the Thesis)은…

  1. User

    아래 내용을 기반으로 논문 작성 계획서(연구계획서)Plan of the Thesis를 작성해야 합니다. 제목(Title of the Thesis)은 Quantization for Memory Augmentation on Edge Devices으로 정했습니다. 목적(Purpose)은 양자화를 통해서 메모리 밴드위스를 줄이는 아이디어 입니다. 그러나 고정으로 양자화를 적용하는 것이 아니라, 메인 processor의 상황에 따라서 가변적으로 양자화 비트를 수정하는 방법을 사용하여 논문을 작성하려고 합니다. 이는 decoder와 같은 제어를 통해서 양자화를 상황에 따라서 8bit를 하거나, 상황이 좋지 못하면, 4bit 이하의 양자화를 하도록 실시간성으로 변경되는 기술입니다. 적절한 양자화 인코더, 디코더를 구성할 것이며, 이것을 룩업테이블을 이용해서 구성하려고 합니다. 이것에 맞는 적절한 논문 작성 계획서(연구계획서)Plan of the Thesis의 목적(Purpose)과 주요내용 및 연구방법(Main Contents & Study of Methods)을 작성해주세요.

    아래 내용을 참고해도 좋습니다.

    저는 On-Device를 위한 Quantization을 연구주제로 선정하였습니다.

    이 연구주제를 선정한 배경은 LLM이 다양한 분야에서 놀라운 발전을 이루었지만, 큰 매개변수와 연산량으로 인해 야기되는 높은 성능의 요구사항으로 On-Device나 Edge device에서의 광범위한 적용은 제한적이게 됩니다.

    이러한 적용 제한 문제를 해결하기 위해서 양자화가 선택됩니다. 양자화를 통해서 효율적인 연산과 빠른 추론을 갖춘 경량 LLM을 생성할 수 있게 됩니다.

    저는 뉴럴 프로세서 유닛 디자인 하는 부서에 있습니다. NPU를 실제 산업현장에 보급하고 판매해보니, industry에서는 의외로 아주 뛰어난 성능의 모델을 탑제하는것이 여러 제약에 의해서 어렵다는 점 입니다.

    이후 말씀드릴 제약에 대해서 제시하고, 이를 해결하는 방법을 제안하겠습니다. 보시는 바와 같이 좋은 성능상 지표를 가진 LLM모델의 경우 상대적으로 큰 숫자의 parameter를 가지게 됩니다. 제품에도 더 좋은 성능의 모델을 탑제하여 판매하는 것이 좋겠지만, 실제 AI를 탑제하는 디바이스들은 AI를 직접적으로 운용하기 위한 디바이스가 아니며, 본 목적이 있는 디바이스의 활용성을 높이기 위해서 옵셔널한 기능을 제공하기 위해서 추가되는 측면이 많았습니다.

    제가 제시하는 문제점은 AI만 수행하는 단독기기는 아직 시장에서 큰 매력을 지니지 못하고 있다는 점 입니다. 대신에 여러 사용되고 있는 기기에 Neural Processing Units가 포함되어 AI처리가 가능해지고 있는 변화가 일어난다는 점 입니다. 사용자 기기에 AI 기능을 탑제시키는 과업을 하면서 느낀 점은 생각보다 상용화에 있어서는 뛰어난 성능보다는 적은 메모리 벤드위스를 사용하여 탑제되어야하는 점이 강조된다는 것입니다. 다음 보시는 그림과 같이 NPU의 구조를 추상적으로 그리면 다음과 같습니다. 결국 제품의 주된 목적을 처리하는 Application Processor가 있으며, 이를 보조하고 추가 기능을 제공하기 위해서 NPU를 아키텍처링 하여 시제품을 상용화 시킵니다. 그리고 이러한 Processor는 NPU와 같은 BUS 공간을 활용합니다.

    여기서 첫번째 제약이 발생합니다. 같은 BUS를 이용해서 NPU를 운용하게 되기에 뉴럴 프로세서 유닛은 더더욱 한정된 적은 벤드위스를 사용해야합니다. 강력하고 파라메터가 큰 모델을 탑제하여 좋은 성능을 내고 싶지만, NPU의 처리할 수 있는 성능의 문제도, 그리고 결국 이런 처리를 뒷받침해주기 위해서 가용되어야 할 BUS 밴드위스는 실제 해당 타겟 디바이스의 중요 수행 어플리케이션에 침해되지 않는 선에서 밴드위스를 가용해한다는 점 입니다.

    따라서 현업에서는 적은 메모리 벤드위스를 사용하는것이 정말 중요한 목표중 하나이기에 저는 이 문제를 해결하기 위해서 다음과 같은 문제를 해결하기 위한 연구주제를 선정하였습니다.

    양자화는 Deep Neural Networks의 모델 압축을 위한 필수적인 접근 방식입니다. 양자화의 목적은 가중치 및 활성화 같은 요소의 비트 정밀도를 줄여 계산 및 메모리 요구량을 크게 줄이면서 모델의 효율성을 유지하는 것입니다. 이는 스마트폰 및 엣지 장치와 같이 리소스 제약이 있는 플랫폼에서 DNN을 탑제하기에 유용합니다. 이 부분에서는 실수를 양자화된 정수 표현으로 변환하는 Quantization 연산과 그 반대 연산인 Dequantization을 알아 볼 수 있습니다. 양자화는 단순히 말해서 FP32를 INT8로 바꾸고 인퍼런스나 트레이닝을 수행하도록 하는 방법입니다. 이 경우 처리 속도가 향상되고 메모리 공간도 적게 사용하게 됩니다.

    다양한 양자화 전략이 있으며, 그 중 균일 양자화 및 비균일 양자화가 가장 일반적입니다.

    또한 이러한 양자화는 모델의 메모리 및 계산 효율성을 향상시키는 유망한 기술이지만, 성능과 효율성 사이의 트레이드 오프는 여전히 풀어야 할 과제입니다.

    Affine Quantization은 실수 값을 정수로 변환할 때, scale factor와 zero-point를 모두 사용하여, 0이 매핑되는 정수를 두고 유연하고 세밀하게 매핑이 가능합니다.

    Scale Quantization은 scale factor만 사용해서 실수 값을 정수로 변환하는 방법입니다. 입력 범위와 정수 범위가 0을 줌심으로 대칭되게 구성합니다.

    다음은 연구 목적입니다. 저는 이 일을 통해서 동일한 bit 양자화 기술보다 더 나은 성능을 확보하고 싶습니다.

    양자화의 경우에는 아웃라이어를 특정 임계값(threshold)으로 제한(clipping)하여 양자화 오류를 줄이는 방법의 아주 작은 양자화 파라메터를 수정해도 성능이 크게 변하는 것을 확인하였습니다. 또한 이런 문제는 더 낮은 비트로 내려갈수록 심화됩니다. 그리고 이런 심각화의 정도는 모델에 따라서 또 다르게 적용되는 것을 확인하였습니다. 따라서 전역적인 큰 솔루션을 두가지를 제시하고, 실험을 통해서 손실율을 어떻게 제어하고 관리하는지가 해당 문제에 중요한 연구 목표가 될 것 같습니다. 저의 목표는 타겟 모델의 동일 성능대비 더 나은 compression ratio를 확보하는 것이 목표입니다.

    이 목표를 이루기 위해서 저는 QuaRot이라는 논문의 Computational invariance theorem과 Incoherence processing의 특성을 이용하여 해결하고자 합니다.

    Computational invariance theorem는 트랜스포머 모델의 특정 조건에서, 모델 출력을 변경하지 않고도 가중치 및 블록 간 활성화를 직교 행렬을 사용하여 변환할 수 있다는 것을 나타냅니다.

    다시 말해, 특정 조건 하에서, 모델의 내부 계산을 나타내는 좌표 시스템을 변경할 수 있지만, 최종 결과는 동일하게 유지됩니다.

    이 정리는 QuaRot 방법에서 중요한 역할을 합니다. QuaRot는 이 정리를 활용하여 Hadamard 변환을 가중치 행렬에 적용하고, 그 결과 outlier를 제거하고 양자화 프로세스를 용이하게 합니다.

    이렇게 좌표 시스템을 변경하여, 양자화를 거치면 Outlier가 줄어든 상태에서 양자화 되기에 양질의 결과를 출력할 수 있다는 것이 Incoherence processing 입니다.

    이런 Computational invariance theorem의 속성을 가질 수 있게 해주는 것은 트렌스포머의 특성과 Orthogonal matrix의 특성이 더해지면서 수학적으로 증명되었습니다.

    보시는 것 처럼 Orthogonal matrix의 Transpose matrix는 Inverse matrix 입니다.

    이 핵심 아이디어는 (ICLR 24 accept된) SliceGPT에서 기인합니다. Computational Invariance Theorem는 트랜스포머 네트워크의 고유한 특성을 설명하는 핵심 개념입니다. 이 정리는 특정 조건 하에서 트랜스포머 네트워크의 가중치에 직교 변환을 적용해도 모델의 출력에는 변화가 없다는 것을 보장합니다.

    어떤 연산 블럭의 앞과 뒤에 Orthogonal matrix와 그 Orthogonal matrix의 Transpose matrix를 곱해주면, 서로 상쇄되면서 출력은 동일하게 됩니다.

    궁극적으로 QuaRot는 모델의 성능에 영향을 미치지 않으면서도 효율적인 양자화를 가능하게 합니다.

    이것은 뒤에서 모델 연산을 그림으로 표현하는 곳에서 다시 확인하겠습니다.


    이 정리의 핵심은 Root Mean Square Layer Normalization 연산과의 관계에 있습니다. RMSNorm은 활성화를 그 norm으로 나누는 연산이며, 회전을 적용해도 백터간의 norm은 변하지 않습니다.

    따라서, 적절한 조건 하에서, 가중치 행렬에 회전을 적용하고, 그 역변환을 출력 행렬에 적용하면, 모델의 출력은 변하지 않습니다.

    이는 (뉴립스-NeurIPS 19에 게제되었던) 딥러닝 모델의 학습 안정화 및 수렴 속도 향상에 널리 사용되는 LayerNorm의 계산 효율성 문제를 개선하기 위해 Root Mean Square Layer Normalization이라는 정규화 기법을 사용하는데, 이 RMS Normalization에 Orthogonal matrix를 이용해서 Outlier를 제거한 상태에서 Quantization을 진행하면 성능이 좋게 나온다는 사실을 기반으로 합니다.


    Root Mean Square Layer Normalization은 llmam나 gemma와 같은 거대 LLM 오픈소스에서 정규화로 Layer Normalization 대신에 RMS Normalization을 사용합니다.

    RMSNorm의 경우에는 평균 계산 시, 각 평균들의 제곱 평균을 계산합니다. 때문에 분산을 계산하지 않습니다. 이 부분이 LayerNorm과 차별점으로 볼 수 있습니다. 때문에 LLaMA는 입력의 합의 제곱근만 계산하면되는 RMSNorm을 채택하여 빠르고 계산 비용이 적게 드는 정책으로 간 것 같습니다. (평균을 고려하지 않기 때문에 일부 경우에서 학습 안정성이 떨어질 수 있다고 하는 단점이 있습니다.)

    다음 도식에서 피드포워드네트워크 전에 Orthogonal maxrix를 곱해주고 양자화를 한 뒤에, 뒤에서 다시 Orthogonal matrix의 인버스 메트릭스를 곱해줘 아이덴티티 메트릭스로 만들어 상쇄시키고 디퀀타이제이션을 통해 이전과 같은 수행이 되도록 하고 있습니다.


    다음은 앞선 양자화 방법론과 같이 결합할 방법론으로 Activation-aware Weight Quantization 입니다.

    AWQ는 LLM의 성능에 모든 가중치가 동일하게 중요하지 않다는 관찰에 기반하여 중요한 가중치, 즉 salient weight를 식별하고 보호하는 데 중점을 둡니다. FP16 인 weight 값을 int3 으로 RTN (Round to Nearest) 방식으로 양자화 할 경우 성능이 많이 떨어지게 됩니다. 하지만 1% 의 특정 weight channel (논문에서는 salient weight 라고 합니다) 의 값을 FP16 으로 유지하면 다시 원래의 성능으로 돌아오는 것을 볼 수 있습니다.

    중요한 가중치 채널을 찾기 위해서는 가중치 분포 대신 활성화 분포를 참조해야 한다는 통찰력을 얻었습니다.일반적으로 입력 특징의 크기가 클수록 더 중요하다고 가정합니다. 저자는 가장 큰 activation 을 만드는 weight channel 이 salient channel 이라고 저자는 말하고 있습니다.

    KL divergence strategies인 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)을 이용해서 두 분포의 정보 엔트로피 차이를 계산하여 양자화 범위를 산출할 계획입니다. 이런 교정 작업을 통하여 더 양질의 결과를 도출할수 있도록 유도할 계획입니다.

    클리핑은 이러한 아웃라이어를 특정 임계값(threshold)으로 제한(clipping)하여 양자화 오류를 줄이는 방법입니다. 즉, 임계값을 넘어서는 값들을 임계값으로 대체하여 양자화 그리드에 더 잘 맞도록 조정합니다. 가장 큰 1%의 값 들을 잘라내여 범위를 설정하는 형태로 outler를 억제하도록 디자인 할 것 입니다.


    동일한 성능 수준 대비 우수한 압축률과 모델별 양자화 포인트를 도출하는 것이 Contribution(컨트리뷰션) 입니다.


    초과 달성 과제는 layer Norm으로 구성된 LLM을 RMS Norm으로 바꾸고 이를 양자화 적용 하는 것 입니다.

  2. Assistant

    논문 작성 계획서 (Plan of the Thesis)


    제목 (Title of the Thesis)

    Quantization for Memory Augmentation on Edge Devices


    1. 목적 (Purpose)

    본 연구의 목적은 엣지 디바이스에서의 메모리 대역폭을 효과적으로 감소시키기 위해 양자화 기법을 활용하는 데 있습니다. 기존의 고정된 양자화 방식을 넘어서, 메인 프로세서의 현재 상황에 따라 양자화 비트를 가변적으로 조정하는 동적 양자화 방법을 개발하고자 합니다. 이를 위해 디코더 등의 제어 메커니즘을 통해 시스템 상황에 따라 8비트 또는 4비트 이하의 양자화를 실시간으로 전환할 수 있는 기술을 구현할 계획입니다. 또한, 효율적인 양자화 인코더와 디코더를 구성하기 위해 룩업 테이블을 활용한 설계를 제안하며, 이를 통해 동일한 성능을 유지하면서도 더 나은 메모리 밴드위스 감소 효과를 도모하고자 합니다.


    2. 주요내용 및 연구방법 (Main Contents & Study of Methods)

    2.1 주요내용 (Main Contents)

    1. 양자화 기법의 이론적 고찰

      • 딥 뉴럴 네트워크(DNN)에서의 양자화 필요성 및 기존 연구 사례 분석
      • 균일 양자화와 비균일 양자화의 비교 및 장단점 평가
    2. 동적 양자화 시스템 설계

      • 메인 프로세서의 상태를 실시간으로 모니터링하는 제어 메커니즘 개발
      • 상황에 따라 양자화 비트를 8비트에서 4비트 이하로 가변적으로 조정하는 알고리즘 설계
    3. 양자화 인코더 및 디코더 개발

      • 효율적인 데이터 변환을 위한 양자화 인코더와 디코더의 구조 설계
      • 룩업 테이블을 이용한 빠른 인코딩 및 디코딩 구현
    4. 컴퓨테이셔널 불변정리(Computational Invariance Theorem) 및 QuaRot 기법 적용

      • 트랜스포머 모델에서 직교 행렬을 활용한 가중치 변환 방법 연구
      • QuaRot 방법을 통한 아웃라이어 제거 및 양자화 프로세스 최적화
    5. Layer Normalization 대체 기법 연구

      • Root Mean Square Layer Normalization(RMSNorm)과의 연계성 분석
      • RMSNorm을 활용한 트랜스포머 모델의 양자화 효율성 향상 방안 모색
    6. Activation-aware Weight Quantization 통합

      • AWQ 기법을 통해 중요한 가중치 채널을 식별 및 보호하는 방법론 개발
      • KL 발산을 이용한 양자화 범위 산출 및 클리핑 기법 적용
    7. 실험 및 성능 평가

      • 개발한 양자화 기법을 실제 엣지 디바이스 환경에서 구현 및 테스트
      • 메모리 밴드위스 사용량, 모델 성능, 실시간 전환 효율성 등에 대한 평가

    2.2 연구방법 (Study of Methods)

    1. 문헌 연구 (Literature Review)

      • 기존 양자화 기법 및 엣지 디바이스에서의 메모리 최적화 관련 논문 및 자료 조사
      • Computational Invariance Theorem 및 QuaRot 기법에 대한 심층 분석
    2. 이론적 모델링 (Theoretical Modeling)

      • 동적 양자화 시스템의 이론적 기반 마련
      • 트랜스포머 모델과 RMSNorm의 수학적 관계 정립
    3. 알고리즘 개발 (Algorithm Development)

      • 메인 프로세서 상태 기반의 양자화 비트 조정 알고리즘 설계
      • 양자화 인코더 및 디코더의 효율적 동작을 위한 알고리즘 구현
    4. 하드웨어 구현 및 시뮬레이션 (Hardware Implementation & Simulation)

      • 룩업 테이블을 활용한 인코더/디코더 하드웨어 구조 설계
      • 엣지 디바이스 환경을 모사한 시뮬레이션을 통해 시스템 검증
    5. 실험적 검증 (Experimental Validation)

      • 실제 뉴럴 프로세싱 유닛(NPU)에 개발한 양자화 기법 적용
      • 메모리 밴드위스 사용량 감소 및 모델 성능 유지 여부 실험
    6. 성과 분석 (Performance Analysis)

      • 실험 데이터를 기반으로 양자화 기법의 효율성 및 실시간 조정 가능성 평가
      • 기존 고정형 양자화 방식과의 비교 분석을 통해 개선점 도출
    7. 최적화 및 개선 (Optimization & Refinement)

      • 초기 실험 결과를 바탕으로 알고리즘 및 하드웨어 구조 최적화
      • 다양한 엣지 디바이스 환경에서의 적용 가능성 탐색

    본 연구는 엣지 디바이스에서의 메모리 대역폭 제한이라는 현실적인 문제를 해결하기 위해 동적 양자화 기법을 제안하고, 이를 통해 더 높은 압축률과 효율성을 달성함으로써 산업 현장에서의 뉴럴 프로세싱 유닛의 활용성을 극대화하는 것을 목표로 합니다.