Glossary / Mixture of experts (MoE)
Mixture of experts (MoE)Mixture of experts (MoE)
A model made of many small expert parts. Only a few work on each token, so it runs faster than its size suggests.
Model yang terdiri dari banyak bagian ahli kecil. Hanya sebagian yang bekerja untuk tiap token, jadi lebih cepat daripada ukurannya.
Example
Contoh
Qwen3-Coder 30B-A3B has 128 experts and uses 8 per token.
Qwen3-Coder 30B-A3B punya 128 ahli dan memakai 8 untuk tiap token.
Why it matters
Kenapa penting
All the weights still have to fit in memory.
Semua bobotnya tetap harus muat di memori.
See it in the calculator →Lihat di kalkulator →