LLM: Large Language Model
LLM (Large Language Model) — нейросеть-трансформер с десятками миллиардов до триллионов параметров, обученная на большом корпусе текста. Генерирует human-like output для любого NLP задачи: chat, code, summarize, translate. 2026 лидеры: GPT-5 / GPT-5 Pro (OpenAI), Claude Opus 4.7 / Sonnet 4.6 (Anthropic), Gemini 2.5 (Google), Llama 3 (Meta open), DeepSeek R1 (open). Параметры: 8B → 1.8T. Context window: 200k → 2M токенов.
Ниже: подробности, пример, смежные термины, FAQ.
Подробности
- Архитектура: Transformer (Vaswani et al 2017), decoder-only в большинстве
- Training: pretrain на text corpus (TB) + RLHF + instruction tuning
- Parameters (2026): small 8B, mid 70B, frontier 400B+ (sparse MoE эквивалент 1.8T)
- Inference cost: $0.15-15 за 1M токенов (API) vs self-host (A100/H100/B100)
- Context window 2026: Claude 1M stable, Gemini 2M, GPT-5 тоже 1M
Пример
# OpenAI API call
curl https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "gpt-5",
"messages": [{"role": "user", "content": "Explain TCP vs UDP"}]
}'Смежные термины
Больше по теме
Часто задаваемые вопросы
Open source LLM?
Llama 3 (Meta), Mistral Large, Qwen 2.5, DeepSeek R1 — free weights, MIT/Apache. Performance приближается к GPT-5.
Self-host — cost?
70B модель нужен сервер 2× H100 (~$80k) или cloud GPU $5/h. ROI при > 10M tokens/day.
Hallucinations?
LLM генерирует likely text, не factual. Mitigation: RAG (grounding) + fact-check output + low temperature (0.1-0.3 для facts).