Яндекс открыл технологию обработки данных в реальном времени
iXBT.com ·
Яндекс открыл исходный код YTsaurus Flow — технологии для непрерывной обработки больших потоков данных. Она позволяет анализировать события практически сразу после их появления, без ожидания накопления больших массивов информации.
Яндекс открыл исходный код YTsaurus Flow — технологии для непрерывной обработки больших потоков данных. Она позволяет анализировать события практически сразу после их появления, без ожидания накопления больших массивов информации.
YTsaurus Flow обрабатывает клики, показы, лайки, заказы и другие события в реальном времени. Это помогает сервисам быстрее учитывать изменения интересов пользователей, обновлять рекомендации и рекламные предложения, а также выявлять подозрительную активность.
Технология уже используется в сервисах Яндекса. В «Яндекс Рекламе» она обрабатывает более 100 ГБ данных и миллионы событий каждую секунду. По данным компании, раньше подготовка информации для дообучения некоторых рекламных моделей занимала свыше 10 часов. С YTsaurus Flow задержку удалось практически устранить.
Решение также применяется для анализа спроса в «Маркете», работы антифрод-систем, обновления данных в приложениях и подготовки информации для машинного обучения. При сбоях нагрузка распределяется между доступными серверами, а каждое событие обрабатывается один раз, без потерь и дублирования.
YTsaurus Flow создан командами Yandex Infrastructure и «Яндекс Рекламы». Технология доступна в открытом виде по лицензии Apache 2.0 и может использоваться в коммерческих проектах.