Fine-tuning LLM
Fine-tuning — дополнительное training шаг после pretrain, когда model адаптируется к specific task / domain на ваших данных. Полный FT меняет все weights (требует много GPU). LoRA / QLoRA — только low-rank adapters (1% параметров → 10x быстрее, работает на 1 GPU). Use cases: JSON structured output, domain tone, coding style, non-English languages. OpenAI, Together.ai, Hugging Face AutoTrain — easy APIs.
Ниже: подробности, пример, смежные термины, FAQ.
Подробности
- Full fine-tuning: все weights обновляются. 70B нужен 8× H100
- LoRA: low-rank decomposition, 0.1-1% params. Runs on 1× A100 для 7B model
- QLoRA: LoRA + 4-bit quantization → 7B в 24GB RAM (consumer GPU)
- Data format: JSONL { messages: [{role, content}] } OpenAI, Alpaca format и др
- Training time: 1-10 часов для 1-10k examples на LoRA
Пример
# OpenAI fine-tuning (JSONL format)
# train.jsonl:
{"messages": [{"role":"user","content":"What is TCP?"},{"role":"assistant","content":"TCP — reliable stream protocol..."}]}
# Upload
openai api files.create -p fine-tune train.jsonl
# Create fine-tune
openai api fine_tuning.jobs.create -t file-abc -m gpt-4o-mini
# Monitor
openai api fine_tuning.jobs.retrieve ft-xyzСмежные термины
Больше по теме
Часто задаваемые вопросы
Нужен ли fine-tune?
Если prompt engineering + RAG не дают нужного качества, style или structured output — да. Иначе лучше optimize prompt.
Dataset size?
Минимум 100 examples для ощутимого effect. 1k-10k — рекомендованный range. Больше — diminishing returns.
Cost?
OpenAI gpt-4o-mini FT: $3 за 1M training tokens. Together.ai Llama 70B: ~$10. Full FT 70B в cloud — $500+.