Тимур Цыбиков
Тимур Цыбиков

Лекция 12. Spark

  • 8974
Загружено: Тимур Цыбиков . Категория: Обработка BigData . 18 мая 2015.
На этом видео:
Описание
Мотивация. RDD. Программная модель Spark. Higher-Order Functions. Трансформация RDD (Map, Reduce, Join, CoGroup, Union и Sample). RDD actions. SparkContext. Создание RDD. Общие переменные (broadcast, accumulator). Движок Apache Spark. Программный интерфейс Spark. Lineage. Зависимости между RDD (Narrow, Wide). Расписание задач. Отказоустойчивость RDD. Управление памятью. Приложения, которые подходят и не подходят для RDD.
Подробнее