BERT

Если модель видит контекст с обеих сторон, предсказывать следующее слово бессмысленно — оно уже видно. Поэтому 15% токенов маскируются, и задача — восстановить именно их.

• Из этих 15%: 80% заменяются на [MASK], 10% на случайный токен, 10% остаются нетронутыми — чтобы модель не полагалась на наличие маски.
• Токен [CLS] агрегирует представление всего текста и используется для классификации.
• NSP (предсказание следующего предложения) в поздних работах признали малополезным; RoBERTa от него отказалась.

• Для классификации берут выход [CLS] и линейный слой поверх.
• Для эмбеддингов не берите сырой [CLS] — он плохо приспособлен для косинусной близости; используйте mean pooling или модели, обученные контрастно (E5, SBERT).
• Максимальная длина — 512 токенов; длинные документы режут на окна или берут Longformer.
• Дообучение обычно 2–4 эпохи с lr $2\cdot 10^{-5}$; больше почти всегда ведёт к переобучению.

emb = model(**tokens).last_hidden_state          # (B, L, H)
mask = tokens["attention_mask"].unsqueeze(-1)
sent = (emb * mask).sum(1) / mask.sum(1)         # mean pooling с учётом паддинга