📚 초보자 필수 주식 용어 사전

어려운 금융·주식 용어, 중학생도 쉽게 이해할 수 있는 일상생활 비유와 수식 도표, 실제 예시로 정리해 드립니다.

뷰 모드 선택:

총 649개 용어 수록

MoD (가변 연산 심도 라우팅)

기업/산업용어

💡 한 줄 요약: 쉬운 토큰은 얕은 신경망만 거치고 복잡한 연산에만 깊은 GPU 파워를 투입하여 AI 추론 효율을 극대화하는 아키텍처

🚗 고속도로 하이패스 차선 비유: 통행료 정산이 필요 없는 차량(쉬운 토큰)은 감속 없이 하이패스로 통과시키고, 대형 화물차(복잡한 토큰)만 정밀 계근대를 거치게 해 도로 정체를 없애는 것과 같습니다.

😎 친구 앞에서 10초 만에 잘난 체하기 꿀팁!

😎 친구 앞에서 잘난 체하기: 'MoE가 전문가 뇌를 골라 쓰는 거라면, MoD는 생각의 깊이를 조절하는 거야. 쉬운 단어는 대충 넘겨서 GPU 연산량을 반으로 줄이는 거지!'

STEP 1

MoD(Mixture-of-Depths)는 AI 모델이 문장을 생성할 때, 'the', 'is' 같은 쉬운 단어는 몇 개의 레이어만 건너뛰어 처리하고 복잡한 논리 추론이 필요한 단어에만 전체 신경망 층을 통과시키는 가변 심도 라우팅 기술입니다.

STEP 2

기존 트랜스포머 모델은 모든 토큰에 동일한 양의 연산량(FLOPs)을 낭비했습니다. MoD는 라우터가 토큰별 연산 난이도를 판단해 불필요한 계산을 우회시킴으로써 모델의 지능(정확도)을 유지하면서도 학습 및 추론 속도를 50% 이상 끌어올립니다.

STEP 3

전문가 혼합(MoE) 구조와 결합되어 차세대 거대언어모델의 연산 비용을 획기적으로 줄이는 핵심 알고리즘입니다. LLM 파운데이션 모델 개발사의 원가 경쟁력을 분석하는 핵심 지표입니다.

📊 MoD 고정 연산 예산(FLOPs Budget) 제약식

Total_Compute = Σ (Token_Weight × Active_Layers) ≤ Budget (토큰당 가변 심도 할당)

▶ 상위 k개 중요 토큰만 전체 레이어 연산 수행 ▶ 나머지 토큰은 잔차 연결(Residual Connection)로 즉시 바이패스

비교 항목	전통 표준 Transformer	MoE (전문가 혼합)	MoD (심도 혼합)
연산 할당 방식	모든 토큰에 동일한 층수	토큰별 전용 전문가 FFN 선택	토큰별 신경망 통과 깊이 조절
GPU 메모리 소모	기본 수준	전문가 파라미터로 메모리 증가	메모리 증가 없이 순수 연산 절감
추론 속도	기본	빠름 (파라미터 대비 연산량 작음)	매우 빠름 (불필요 레이어 스킵)
핵심 이점	단순한 구현	모델 파라미터 대형화	토큰당 연산량(FLOPs) 극단적 최적화

구글 딥마인드가 발표한 MoD 연구는 동일한 연산 비용 대비 학습 속도를 1.5배 이상 끌어올릴 수 있음을 입증하며 차세대 AI 아키텍처로 주목받고 있습니다.