Разделы

24 разделов, 327 тем. Каждый раздел самодостаточен: начните с того, что нужно прямо сейчас.

Foundations

Основы — Математический фундамент машинного обучения

Data

Данные — Всё, что происходит с данными до модели

Synthetic Data Data preprocessing Missing values Outliers Feature engineering Encoding Normalization & Standardization Feature selection Dimensionality reduction Data leakage Train / Validation / Test split Imbalanced Data Data Labeling

Classical Machine Learning

Классическое машинное обучение — Модели, которые всё ещё выигрывают на табличных данных

Linear Regression Logistic Regression Decision Trees Random Forest Gradient Boosting XGBoost LightGBM CatBoost k-Means DBSCAN GMM PCA Stacking and Blending Isolation Forest k-NN Naive Bayes SVM

Deep Learning

Глубокое обучение — От перцептрона до диффузионных моделей

Diffusion Models Mixture of Experts MLP Backpropagation Activation functions Loss functions Optimizers CNN Attention Transformers Autoencoders VAE Normalization Layers Transfer Learning Perceptron RNN LSTM GRU GAN

NLP

Обработка естественного языка — От мешка слов до RAG

Computer Vision

Компьютерное зрение — Как модели видят изображения

Multimodal Models Image preprocessing CNN Object Detection Image Classification Segmentation OCR Vision Transformers Object Tracking Pose and Keypoints Feature extraction

Time Series

Временные ряды — Данные, у которых есть порядок

Transformer forecasting Stationarity Autocorrelation Exponential Smoothing Feature-based forecasting RNN/LSTM Anomaly detection Kalman Filter Intermittent Demand Hierarchical Forecasting AR / MA / ARIMA SARIMA Prophet

Unsupervised Learning

Обучение без учителя — Структура данных без разметки

Clustering Dimensionality Reduction Density Estimation Anomaly Detection Representation Learning HDBSCAN Spectral Clustering Association Rules

Reinforcement Learning

Обучение с подкреплением — Обучение через взаимодействие и награду

Offline RL MDP States / Actions / Rewards Value Functions Q-Learning Policy Gradient Actor-Critic PPO Multi-armed Bandits SARSA DQN

Topological Data Analysis

Топологический анализ данных — Форма данных как признак

TDA + Machine Learning TDA + Time Series Topology basics Metric spaces Simplicial complexes Homology Persistent Homology Persistence Diagrams Persistence Landscapes Betti Numbers Mapper Topological features

Metrics

Метрики — Чем измерять качество модели

Accuracy Precision Recall F1 ROC-AUC PR-AUC Log Loss MCC MAE MSE RMSE R² Adjusted R² Precision@K Recall@K MAP MRR NDCG Silhouette Score Davies–Bouldin Calinski–Harabasz Brier Score Cohen's Kappa Perplexity MAPE SMAPE

Model Evaluation

Оценка моделей — Как понять, что модель действительно работает

Cross-validation K-Fold Stratified K-Fold Bootstrap Statistical significance Confidence intervals Hypothesis testing A/B testing Calibration Error analysis Ablation studies Leave-One-Out

Model Interpretability

Интерпретируемость моделей — Почему модель приняла именно такое решение

Feature importance Permutation Importance SHAP LIME Partial Dependence ICE Counterfactual explanations

Optimization

Оптимизация обучения — Как именно модель приходит к своим весам

Gradient Descent SGD Momentum Adam AdamW Learning Rate Scheduling Batch size Regularization Weight Decay Early Stopping Gradient Clipping Mixed Precision RMSProp

Generative AI

Генеративный ИИ — Модели, которые создают, а не только классифицируют

Diffusion LLM Multimodal Models Prompting LoRA RLHF RAG Agents LLM Evaluation Distillation Generative Models Autoregressive Models VAE Fine-tuning Generative Losses GAN

MLOps

MLOps — Модель в проде, а не в ноутбуке

Feature Stores Drift Detection ML Pipelines Experiment Tracking MLflow Data Versioning Model Versioning Model Deployment Monitoring Retraining Docker Kubernetes CI/CD for ML

Practical ML

Практика ML — Как довести задачу от постановки до продакшена

Weak Supervision Problem formulation Baselines Feature engineering Hyperparameter tuning Grid Search Random Search Bayesian Optimization Debugging models Overfitting Underfitting Data leakage Production ML Active Learning

Mathematical Concepts

Математический справочник — Короткие определения для быстрой сверки

Vector Matrix Eigenvalue Eigenvector Norm Distance Gradient Hessian Probability Distribution Expectation Variance Covariance Entropy KL Divergence Cross-Entropy Bayes Theorem

Mathematical Analysis

Математический анализ — Пределы, производные, интегралы и оптимизация с ограничениями

Differential Equations Limits and Continuity Derivative Differentiation Rules Integral Taylor Series Series and Convergence Numerical Differentiation Multivariable Calculus Jacobian Lagrange Multipliers Convexity

Probability & Distributions

Теория вероятностей и распределения — Законы, по которым порождаются данные

Probability Axioms Random Variables Conditional Independence Law of Large Numbers Central Limit Theorem Normal Distribution Log-normal Distribution Power Law Poisson Distribution Exponential Distribution Binomial & Bernoulli Beta Distribution Heavy Tails Extreme Value Theory Markov Chains Bayesian Inference

Dynamical Systems & Fractals

Динамические системы и фракталы — Хаос, самоподобие и универсальные постоянные

Logistic Map Bifurcations Feigenbaum Constant Chaos Lyapunov Exponent Attractors Fractals Mandelbrot Set Fractal Dimension Self-similarity 1/f Noise Takens' Theorem Complex Systems

Graphs & Networks

Графы и сети — Данные, у которых есть структура связей

Graph Neural Networks Knowledge Graphs Graph Basics Centrality PageRank Community Detection Scale-free Networks Small World Network Motifs Graph Embeddings Message Passing Link Prediction

Data Engineering

Инженерия данных — Откуда берутся данные, на которых учится модель

Data Contracts Warehouse, Lake, Lakehouse File Formats Partitioning Analytical SQL ETL vs ELT Batch and Streaming Change Data Capture Orchestration Data Quality Idempotency & Exactly-once Spark Kafka

ML System Design

Системный дизайн ML-сервисов — Как спроектировать сервис вокруг модели

GPU Inference Privacy and Security LLM Serving Requirements and SLA Serving Architecture Online and Offline Features Cost Model Caching Batching and Queues Scaling Reliability Observability Experiment Infrastructure