SLORR은 SVD 계산이나 모델 구조 변경 없이, 학습 중 가중치를 압축하기 쉬운 형태로 유도하는 저계수 정규화 기법이다. 별도 상태를 남기지 않고(stateless) 기존 구조를 유지하며, Hoyer metric과 핵 노름 두 변형으로 구현된다. ImageNet-1K 실험에서 학습 오버헤드를 8% 미만으로, 135M·560M LLM 사전학습에서는 평균 1% 미만으로 억제하면서 압축 후 성능 저하를 줄였다.
신경망의 크기를 줄이는 대표적인 수단으로 가중치 행렬을 저계수(low-rank)로 분해하는 방법이 오래 쓰여 왔다. 그러나 최근의 대형 모델은 이런 분해를 공격적으로 적용하면 정확도가 크게 떨어지는 경향이 있어, 곧바로 압축하기 어려운 구조를 가진 경우가 많다. 이 문제를 학습 단계에서 미리 완화하려는 것이 저계수 정규화(low-rank regularization)의 아이디어다.
저계수 분해는 모델 압축과 어떤 관계인가?
저계수 분해는 큰 가중치 행렬을 더 작은 행렬 몇 개의 곱으로 근사하는 방법이다. 원래 행렬이 담고 있는 정보 중 상당 부분이 실제로는 소수의 핵심 방향에 몰려 있다면, 이 핵심 방향만 남기고 나머지를 걸러내도 성능 손실을 어느 정도 억제하면서 크기를 줄일 수 있다는 것이 기본 발상이다. 이런 압축 기법은 모델을 더 적은 비트로 표현해 가볍게 만드는 양자화와는 접근 방식이 다르지만, "배포 단계에서 모델을 더 가볍게 만든다"는 목적은 서로 통한다. 실무에서는 두 기법을 함께 적용해 압축 효과를 더 키우는 경우도 있다.
기존 정규화 기법은 무엇이 부담인가?
학습 시점에 압축 친화성을 높이려는 기존 정규화 기법들은 실용적인 걸림돌을 안고 있다. 정리하면 다음과 같은 비용이 따른다.
- 큰 가중치 행렬에 대해 SVD(특이값 분해)를 반복적으로 계산해야 한다.
- 모델 구조 자체를 손대고, 학습해야 할 파라미터를 추가로 붙인다.
- 이전 단계의 값을 저장해 두는 상태(state) 기반 캐시에 의존한다.
이런 요소들은 학습 파이프라인을 복잡하게 만들고 계산 부담을 키운다. 본 논문은 이 세 가지 부담을 모두 피하는 것을 목표로 삼는다.
이런 부담은 파인튜닝이나 사전학습처럼 이미 계산량이 큰 단계에 정규화 항을 얹는 경우 특히 두드러진다. 학습 자체에 드는 비용과 별개로 정규화 계산이 추가 병목이 되면, 실무에서는 정규화를 적용하는 것 자체를 포기하게 되는 경우도 많다.
SLORR은 어떻게 접근하나?
SLORR은 이름 그대로 단순하며, 별도 상태를 남기지 않고(stateless) 기존 모델 구조를 그대로 유지(architecture-preserving)하는 정규화 틀이다. 핵심은 원래의 가중치 행렬을 직접 정규화한다는 점이며, 정규화 항의 순전파와 역전파를 GPU에 친화적인 근사 계산으로 처리한다. 저자들은 이 근사에 대한 이론적 보증(approximation guarantees)도 함께 제시한다.
구현은 두 가지 변형으로 나뉜다. 하나는 희소성 척도인 Hoyer metric을 기반으로 하고, 다른 하나는 핵 노름(nuclear norm)에 기반한다. 두 변형 모두 추가 파라미터를 도입하지 않고 기존 가중치에 곧바로 작용한다.
실험 결과는 무엇을 보여주나?
이미지 분야에서는 ImageNet-1K를 대상으로 두 갈래로 검증했다. 하나는 ResNet-50, ViT-B/16, ViT-L/16에 대한 짧은 구간의 이어 학습(continued training)이고, 다른 하나는 ResNet-18의 사전학습이다. 이 설정에서 SLORR은 압축 친화성을 끌어올리면서도 학습 오버헤드를 8% 미만으로 유지했다.
언어 모델로도 범위를 넓혔다. Hoyer 기반 변형인 SLORR-Hoyer를 135M과 560M 규모의 LLM 사전학습에 적용했을 때, SLORR로 학습해 압축한 모델은 정규화 없이 학습한 모델보다 성능 저하가 훨씬 적었고, 평균 학습 오버헤드는 1% 미만에 그쳤다. 즉 압축 이후에도 성능을 지키면서 추가 비용은 낮게 억제한다는 것이 핵심 결과다.
자주 묻는 질문
- Q. SLORR이 기존 정규화 기법과 다른 점은?
- A. SVD 반복 계산, 모델 구조 변경, 상태 기반 캐시라는 세 가지 부담을 모두 피하고 원래 가중치를 직접 정규화한다.
- Q. 학습에 드는 추가 비용은 얼마인가?
- A. ImageNet-1K에서 8% 미만, 135M·560M LLM 사전학습에서는 평균 1% 미만의 오버헤드에 그쳤다.
- Q. SLORR에는 어떤 변형이 있나?
- A. 희소성 척도인 Hoyer metric 기반과 핵 노름(nuclear norm) 기반 두 가지가 있으며, 둘 다 추가 파라미터 없이 기존 가중치에 작용한다.
실무에서 무엇을 고려해야 하나?
모델 경량화를 검토하는 실무자에게 이 연구가 던지는 메시지는 "압축은 배포 직전에 한 번 처리하는 후속 작업"이라는 통념을 재고해보라는 것이다. 학습 단계에서부터 압축 친화적인 구조를 유도해 두면, 이후 실제 압축(저계수 분해든 양자화든) 단계에서 손실을 줄일 여지가 커진다. 다만 이런 접근이 유효하려면 학습 단계에 추가되는 오버헤드가 감당할 만한 수준이어야 하므로, 도입 전에는 자신의 학습 파이프라인에서 실제로 드는 추가 비용을 먼저 가늠해보는 것이 안전하다.
함께 보면 좋은 글
출처: arXiv:2607.08754v1 https://arxiv.org/abs/2607.08754v1