Город МОСКОВСКИЙ
00:39:38

YTsaurus SPYT: помогаем планировщику Apache Spark быть ещё эффективнее / Алексей Шишкин (Яндекс)

Аватар
HighLoadChannel
Просмотры:
7
Дата загрузки:
15.09.2024 10:15
Длительность:
00:39:38
Категория:
Обучение

Описание

Приглашаем на конференцию HighLoad++ 2025, которая пройдет 6 и 7 ноября в Москве!
Программа, подробности и билеты по ссылке: https://highload.ru/moscow/2025
________
Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++ 2023
Генеральный партнер конференции Garage Eight.

Презентация и тезисы:
https://highload.ru/spb/2023/abstracts/10222

При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
...

Нашли ошибку в видео? Пишите нам на support@ontico.ru

Рекомендуемые видео