파라미터(Parameter) — 175B 파라미터는 무엇을 세는 숫자인가
한줄 요약
AI 모델의 파라미터는 통계학에서 빌린 단어이며, 175B(1750억)라는 숫자는 모델이 학습을 통해 얻은 조정 가능한 숫자들의 총합이다.
통계학의 parameter — 원래 의미
“parameter”는 그리스어 para (옆에서) + metron (측정) 에서 왔다. 라틴어를 거쳐 영어로 들어왔고, 수학·통계학에서 “모집단의 특성을 기술하는 고정된 수”를 뜻한다.
통계학에서 정확한 구분이 있다:
- Parameter(모수): 모집단의 실제 특성값. 예: 전국 성인 남성의 평균 키. 측정하기 어렵지만 실재하는 고정값.
- Statistic(통계량): 표본에서 계산한 추정값. 예: 1,000명 표본의 평균 키.
통계학자들은 우리가 실제로 아는 것은 항상 “통계량”이고, “parameter”는 추정의 대상이라고 가르친다.
기계학습에서의 parameter
기계학습이 통계학에서 이 단어를 빌렸을 때 의미가 약간 이동했다. 기계학습의 “parameter”는 모집단의 특성이 아니라 — 모델이 데이터에서 학습을 통해 조정하는 숫자들이다.
신경망의 경우: 각 연결(edge)마다 “가중치(weight)“라는 숫자가 있다. 이 가중치들이 파라미터다. 학습 과정(역전파, backpropagation)에서 손실(loss)을 최소화하는 방향으로 이 숫자들이 조정된다. 학습이 끝나면 고정된다.
175B는 무엇을 세는가
GPT-3의 공식 파라미터 수는 1750억(175B)이다. 이것은 신경망의 모든 가중치와 편향(bias)의 합이다.
구체적으로: GPT-3는 96개의 Transformer 레이어를 가진다. 각 레이어에는 어텐션 헤드, 피드포워드 네트워크, 정규화 레이어가 있다. 이 모든 구성 요소의 행렬들에 들어있는 숫자 하나하나를 세면 1750억이 된다.
이 숫자들은 각각 특정한 의미를 갖지 않는다. 어느 파라미터가 “사과”를 담당하고 어느 파라미터가 “의사”를 담당하는지 알 수 없다. 1750억 개가 집합적으로, 분산적으로 지식을 표현한다.
왜 이 이름인가
기계학습이 “parameter”라는 통계학 단어를 선택한 이유는 개념적 연속성 때문이다. 통계 모델도 데이터에서 파라미터를 추정한다 — 선형 회귀의 기울기와 절편이 파라미터다. 신경망은 이것을 극단적으로 확장한 것이다. 같은 단어를 쓰는 것이 자연스러웠다.
“가중치(weight)“라는 단어가 더 구체적이지만, “parameter”가 더 일반적이고 통계적 맥락을 포함한다. AI 모델을 논의할 때 “이 모델은 파라미터 N개를 가진다”는 표현은 통계 모델과의 연속성을 암시한다.
뇌의 시냅스와 비교
인간 뇌의 시냅스 수는 약 100조(100T)로 추정된다. GPT-4의 파라미터 수는 약 1조(1T)로 추정된다. 단순 비교하면 뇌가 100배 많다.
그러나 이 비교는 의미가 제한적이다. 시냅스는 파라미터와 다르다 — 시냅스는 동적으로 변하고, 아날로그 신호를 쓰고, 화학적 성질을 가진다. AI 파라미터는 고정된 부동소수점 숫자다.
스케일링 법칙 — 파라미터 수와 성능
2020년 OpenAI의 “Scaling Laws for Neural Language Models” 논문은 중요한 경험적 법칙을 발견했다. 모델 크기(파라미터 수), 데이터 크기, 컴퓨팅 자원 — 이 세 요소를 로그 스케일로 늘릴 때 성능이 예측 가능하게 향상된다.
이것이 GPT-3, GPT-4로 이어지는 “파라미터 경쟁”의 이론적 근거가 됐다. 파라미터 수가 AI 규모를 표현하는 주요 단위가 된 이유다.
핵심 정리
- “parameter”는 그리스어 “측정 옆에서” — 통계학에서 모집단 특성값
- 기계학습에서는 “학습을 통해 조정되는 가중치”로 의미 이동
- 175B = 신경망의 모든 가중치와 편향의 총합
- 개별 파라미터에 특정 의미는 없고, 집합적으로 지식을 분산 표현
- 스케일링 법칙으로 인해 파라미터 수가 AI 규모의 핵심 지표가 됨