MoE (Mixture of Experts)

• Router: для каждого token выбирает top-k=2 experts (из 8-128)
• Expert: обычно FFN блок в transformer layer
• Parameters: 10-100× больше чем dense equivalent at same inference cost
• Pros: capacity huge + inference cost manageable + experts могут специализироваться
• Cons: complexity training, routing collapse (few experts overused), serving overhead

# Run Mixtral 8x7B via Ollama (quantized)
$ ollama pull mixtral:8x7b
$ ollama run mixtral:8x7b "What is MoE?"

# Python with transformers
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained('mistralai/Mixtral-8x7B-Instruct-v0.1')
# 47B total params, but only 13B 'active' при inference

• LLM
• Transformer
• Quantization

MoE (Mixture of Experts) — это архитектура, использующая механизм, при котором только часть модели активируется для обработки входных данных. Это позволяет существенно сократить вычислительные затраты без потери качества предсказаний. В отличие от традиционных полных моделей, где все параметры участвуют в каждом вычислении, MoE активирует лишь подмножество экспертов, что делает их более эффективными и масштабируемыми.

MoE модели обладают рядом преимуществ, которые делают их привлекательными для разработки и внедрения в различных задачах машинного обучения:

• Эффективность вычислений: активируя только 2-4 эксперта из 64 или более, MoE значительно снижает нагрузку на вычислительные ресурсы.
• Гибкость: архитектура MoE позволяет легко добавлять новых экспертов без необходимости переобучения всей модели.
• Улучшение качества: за счет специализации экспертов, каждый из которых фокусируется на определенной задаче или типе данных, модель может достигать лучших результатов.

Например, в модели, содержащей 128 экспертов, можно активировать только 8 из них на каждом шаге, что приводит к 16-кратному снижению вычислительных затрат при сохранении высокой точности.

Для реализации модели MoE в Python можно использовать библиотеку TensorFlow и Keras. Ниже представлен пример конфигурации MoE модели:

import tensorflow as tf
from tensorflow.keras import layers

class MoE(layers.Layer):
    def __init__(self, num_experts, expert_dim, activation='relu'):
        super(MoE, self).__init__()
        self.num_experts = num_experts
        self.expert_dim = expert_dim
        self.activation = activation
        self.experts = [layers.Dense(expert_dim, activation=self.activation) for _ in range(num_experts)]

    def call(self, inputs):
        outputs = []
        for expert in self.experts:
            outputs.append(expert(inputs))
        return tf.reduce_mean(outputs, axis=0)

inputs = tf.keras.Input(shape=(input_dim,))
moe_layer = MoE(num_experts=8, expert_dim=64)(inputs)
model = tf.keras.Model(inputs=inputs, outputs=moe_layer)

В этом примере мы создаем пользовательский слой MoE, который содержит 8 экспертов, каждый из которых имеет размерность 64. В процессе вычисления мы получаем выходные данные от всех экспертов и вычисляем их среднее значение, что позволяет интегрировать их результаты.