Технологии больших данных

Входные требования: Базовые навыки программирования и веб-технологий, знание SQL и СУБД. Опыт работы с базами данных.

Зачетные единицы: 4

Курс: Основной

Язык курса: Английский

Цели

  • Выявление основных причин появления Больших Данных
  • Определение и идентификация Больших Данных
  • Поверхностное знакомство с технологиями обработки Больших Данных
  • Введение в парадигму MapReduce
  • Базовое знакомство с технологией Apache Hadoop и базовой инфраструктурой под неё
  • Базовое знакомство с технологией Apache Spark

Содержание

Технологии больших данных (Big Data) занимают одну из ведущих ролей в современных программных решениях больших компаний. В настоящее время эффективная обработка и анализ данных являются не только основой успешного развития бизнеса, но и преимуществом, способным сыграть решающую роль в конкурентной борьбе. Именно поэтому данный курс направлен на освоение навыков при работе и анализе Больших Данных. В ходе курса будет предложено краткое описание истории формирования, а также даны определения и идентификация направления Больших Данных. Будут даны основы работы с распределенной системой хранения файлов HDFS, а также основы работы с технологией Apache Hadoop и основы функционирования MapReduce. Также будет освоена технология Apache Spark и Spark Streaming. По завершению обучения студент будет обладать навыками работы с основными технологиями Большими Данными, такими как Apache Hadoop и Apache Spark.

Формат

Лабораторные и практические занятия

Оценка

Посещение лабораторных и практических занятий является обязательным. Итоговый контроль по дисциплине осуществляется в форме экзамена. Для успешного завершения курса студентам необходимо своевременно выполнять все задания на семинарах. Итоговая оценка зависит от работы студента на протяжении всего курса.