채널 수도리무브(@sudoremove)

                                                                                                                                      251012 발표자료

                                                                                                                                           변형호(노토랩)

본 자료는 파트 1과 2로 나누어져 있습니다!

[노토랩 변형호] Qwen 3-Next 이해하기 Part 1: Mixture-of-Experts (MoE) 정리

[노토랩 변형호] Qwen 3 Next 이해하기 Part 2: Attention과 Long Context (Linear Attention, DeltaNet, Mamba2, )

설명 영상 링크

https://youtu.be/Vu5n6mFMsDQ?si=1jTUEz6fQNPq44_3

0) Attention이 뭐야?

1) LLM이 Attention을 처리하는 초기 방식

1.5) KV Caching

2) Self-Attn의 발전 과정

3) Qwen의 Gated Attention (2025.5)

4) Long-Context를 위한 Attn

5) Qwen-3-Next-80B-A3B