Все, что нужно знать для успешной работы с большими данными: методы аналитики и машинного обучения, принципы работы и функциональные возможности компонентов экосистемы Hadoop, безопасность озера данных, цифровизация бизнеса. О продукте: Сегодня информация — это основа любого бизнеса, инструмент эффективного управления и оптимизации рабочих процессов. Аналитика больших данных (Big Data) вашего бизнеса поможет своевременно выявить и даже предупредить множество проблем, от оттока клиентов до утечки персональных данных. Чтобы понимать возможности современных технологий и выбирать среди них наилучшее соотношение «стоимость/результат», менеджеру необходимо разбираться в базовых понятиях и прикладных решениях. Теоретический курс «Аналитика больших данных для руководителей» ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса, в том числе, в условиях импортозамещения. Аудитория: Руководство государственных предприятий и частных компаний, менеджеры и специалисты. Уровень подготовки: Предварительный опыт не требуется. Программа курса «Аналитика больших данных для руководителей» 1. Введение в Big Data (Большие данные) Большие данные и цифровизация бизнеса. Базовые принципы и отличия от классических подходов к работе с данными. Обзор методологии CRISP DM — модели жизненного цикла аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение. Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases). Тенденции в подходах Big Data и что актуально на сегодняшний день. Технологии Big Data в условиях импортозамещения. 2. Понимание Бизнеса (Business Understanding) Определение бизнес целей для проекта Big Data. Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases). Инициация проекта — критические факторы успеха. Основные проблемы. Оценка ситуации: риски, ROI, доступные ресурсы, оценка зрелости компании. Приоритизация задач: Что делаем, а что нет. Высокоуровневый план проекта. Начинаем формировать команду проекта: специалисты и их компетенции, роли. 3. Понимание данных (Data Understanding) Определение источников данных. Специфика работы с потоковыми данными и batch в Big Data. Принципы формирования Data Lake: выбор платформы. Первичный сбор и анализ данных: инструментарий и доступные методы. Описание данных и сбор метаданных. Data management и Data Governance. Оценка качества данных Data Quality. Основные трудности и проблемы, критические факторы успеха, роли и навыки. Разбор сценариев (cases) для фазы Data Understanding. 4. Подготовка данных (Data Preparation) Подготовка данных – подходы Data Science: нормализация, очистка, выборки, enrichment, форматирование данных. Подготовка данных – как процесс формирования Data Pipeline: Процессы ETL и ELT, Зонирование Data Lake и сегментирование данных, Назначение и сравнительная характеристика компонент экосистемы Apache Hadoop, NoSQL, DWH, платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии), Инструменты оркестрирования и автоматизации (Data Flow). И снова о Метаданных: Data Lineage, Data Provenance, Data Governance, … Безопасность больших данных. Основные трудности и проблемы, критические факторы успеха. Специалисты и их компетенции на данной стадии. 5. Выбор и построение моделей (Modeling) Классы аналитических задач и подходы к их решению. Обзор техник моделирования. Построение моделей и оценка моделей. Что нужно для успешного моделирования. Инструментарий для решения аналитических задач этапа моделирования. Оценка моделей и среда тестирования моделей: технические метрики оценки качества проведенного моделирования. А также песочницы, Machine & Deep learning, AI, Нейронные сети и многое другое. Команда Data Science и их компетенции. Основные трудности и проблемы фазы моделирования, критические факторы успеха. Облачные платформы для быстрой разработки. Место DevOps, MLOps для организации процессов разработки. Рассмотрение фазы моделирования на сквозных сценариях (cases): место, участники, взаимодействие с другими фазами и процессами. 6. Оценка результатов (Evaluation) Про бизнес-метрики оценки качества моделирования. Что делать если все плохо? – возвращаемся на предыдущие фазы. Рассматриваем данную стадию в рамках наших сценариев (cases). Отличия среды разработки и эксплуатации. Особенности этапа оценки. 7. Развертывание (Deployment) Планирование развертывания модели. Мониторинг и обслуживание модели. Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и MLOps. Задачи финального обеспечения фаз жизненного цикла Data Science: цикличность reviews, обновления и вывод из эксплуатации. 8.Финальная переоценка проекта Постанализ рисков и BIA, ROI и генерация ценности. Допущенные просчеты и методы их решения. Оценка процессов и оценка зрелости компании. Типичные ошибки применения CRISP DM. Альтернативные подходы и расширения CRISP DM (Domino, TDSP, SEMMA). Чему Вы научитесь: Разбираться в основных понятиях Больших Данных, Машинного обучения (Machine Learning), Искусственного интеллекта (Artificial Intelligence) понимать назначение компонентов экосистемы Hadoop, Spark, Kafka или терминов Data Lake, Delta Lake, знать, в чем отличие Apache Hadoop, Arenadata, NoSQL, MPP или Greenplum, выявить нюансы облачных решений, контейнеризации и применимости к вашей отрасли бизнеса, знать, что такое политики Data Governance, знать особенности применения методологий для реализации процессов аналитики больших данных на примере CRISP-DM. Что Вы получите: Окончив курс «Аналитика больших данных для руководителей» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.
