Pensieve

Pensieve (Mao, Netravali, Alizadeh – ACM SIGCOMM 2017) – первая широко цитируемая демонстрация ABR на reinforcement learning. Модель берёт на вход недавний throughput, текущий уровень буфера, последний выбранный rendition и остаток контента, на выход даёт распределение вероятностей по следующему rendition-у. Обучение – A3C (Asynchronous Advantage Actor-Critic) на симулированных сетевых трейсах, снятых с реальных сотовых и ШПД-измерений. Обученная модель обошла BOLA и MPC на тестовых трейсах.

Pensieve был важен как proof-of-concept: показал, что ABR-алгоритм можно обучить end-to-end без явных моделирующих допущений и обойти аккуратные ручные эвристики. Несколько последующих работ распространили подход на per-content модели, edge-side ABR-решения и federated training. В продакшене встречается редко – большинство операторов предпочитают интерпретируемость и предсказуемость эвристических ABR.

Наследие Pensieve шире прямого использования. RL-подход повлиял на мышление об ABR в каждой крупной стриминговой команде. Bitmovin, THEO и несколько меньших вендоров плееров предлагают «ML-tuned» ABR-опции, основанные на Pensieve-стиле обучения. Per-title ABR Netflix, подстраивающий ABR-стратегию под каждый кусок контента, имеет Pensieve как интеллектуального предшественника.