Во время курса слушатели узнают о шаблонах и методах проектирования данных, связанных с работой с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure. Курс начинается с основных технологий вычислений и хранения, которые используются для создания аналитического решения. Слушатели изучат, как спроектировать аналитические уровни обслуживания, и сосредоточатся на вопросах проектирования данных для работы с исходными файлами. Слушатели узнают, как интерактивно исследовать данные, хранящиеся в файлах в Azure Data Lake. Также, изучат различные методы приема, которые можно использовать для загрузки данных с помощью возможностей Apache Spark, имеющихся в Azure Synapse Analytics или Azure Databricks, или как принимать данные с помощью Azure Data Factory или конвейеров Azure Synapse. Слушатели также узнают о различных способах преобразования данных с помощью тех же технологий, которые используются для приема данных. Слушатели изучат, как отслеживать и анализировать производительность аналитической системы, чтобы оптимизировать производительность загрузки данных или запросов, которые отправляются к системам. Курс помогает понять важность реализации безопасности, чтобы гарантировать, что данные защищены при хранении или передаче. Курс объясняет, как данные в аналитической системе можно использовать для создания панелей мониторинга или построения прогнозных моделей в Azure Synapse Analytics.
По окончании курса слушатели смогут:
- изучать варианты вычислений и хранения для проектирования данных рабочих нагрузок в Azure;
- разрабатывать и реализовывать уровни обслуживания;
- понимать особенности проектирования данных;
- выполнять интерактивные запросы с использованием бессерверных пулов SQL;
- изучать, преобразовывать и загружать данные в хранилище данных с помощью Apache Spark;
- выполнять исследования и преобразования данных в Azure Databricks;
- получать и загружать данные в хранилище данных;
- преобразовывать данные с помощью Azure Data Factory или Azure Synapse Pipelines;
- интегрировать данные из записных книжек с помощью Azure Data Factory или конвейеров Azure Synapse;
- оптимизировать производительность запросов с помощью выделенных пулов SQL в Azure Synapse;
- анализировать и оптимизировать хранилище данных;
- поддерживать гибридную транзакционную аналитическую обработку (HTAP) с помощью Azure Synapse Link;
- обеспечивать комплексную безопасность с помощью Azure Synapse Analytics;
- выполнять потоковую обработку в реальном времени с помощью Stream Analytics;
- создавать решения для потоковой обработки с помощью Event Hubs и Azure Databricks;
- создавать отчеты с помощью интеграции Power BI с Azure Synpase Analytics;
- выполнять интегрированные процессы машинного обучения в Azure Synapse Analytics.
Аудитория
Курс предназначен для специалистов в области данных, архитекторов данных и специалистов по бизнес-аналитике, желающих узнать о проектировании данных и создании аналитических решений с использованием технологий платформы данных, существующих в Microsoft Azure. Курс также подойдет аналитикам данных и специалистам по данным, работающим с аналитическими решениями на базе Microsoft Azure.
Для эффективного обучения на курсе, слушатели должны обладать следующими знаниями и навыками:
Для прохождения курса желательно наличие знаний облачных вычислений и основных концепций данных, а также опыта работы с решениями для работы с данными. Также, будет полезно предварительное прохождение курсов «AZ-900 Основы Microsoft Azure» и «DP-900 Основы данных Microsoft Azure».
- Изучение вариантов вычислений и хранения для рабочих нагрузок проектирования данных
- Введение в Azure Synapse Analytics
- Описание Azure Databricks
- Введение в хранилище Azure Data Lake
- Описание архитектуры Delta Lake
- Работа с потоками данных с помощью Azure Stream Analytics
- Разработка и внедрение уровней обслуживания
- Разработка многомерной схемы для оптимизации аналитических рабочих нагрузок
- Масштабируемое преобразование без кода с помощью Azure Data Factory
- Заполнение медленно меняющихся измерений в конвейерах Azure Synapse Analytics
- Вопросы проектирования данных для исходных файлов
- Разработка современного хранилища данных с помощью Azure Synapse Analytics
- Защита хранилища данных в Azure Synapse Analytics
- Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics
- Изучение возможностей бессерверных пулов SQL в Azure Synapse
- Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse
- Создание объектов метаданных в бессерверных пулах SQL Azure Synapse
- Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse
- Исследование, преобразование и загрузка данных в хранилище данных с помощью Apache Spark
- Понимание проектирования больших данных с помощью Apache Spark в Azure Synapse Analytics
- Получение данных с помощью записных книжек Apache Spark в Azure Synapse Analytics
- Преобразование данных с помощью DataFrames в пулах Apache Spark в Azure Synapse Analytics
- Интеграция пулов SQL и Apache Spark в Azure Synapse Analytics
- Исследование и преобразование данных в Azure Databricks
- Описание Azure Databricks
- Чтение и запись данных в Azure Databricks
- Работа с DataFrames в Azure Databricks
- Работа с расширенными методами DataFrames в Azure Databricks
- Получение и загрузка данных в хранилище данных
- Использование лучших практик по загрузке данных в Azure Synapse Analytics
- Прием петабайтов с помощью Azure Data Factory
- Преобразование данных с помощью Azure Data Factory или Azure Synapse Pipelines
- Интеграция данных с Azure Data Factory или Azure Synapse Pipelines
- Масштабируемое преобразование без кода с помощью Azure Data Factory или Azure Synapse Pipelines
- Управление перемещением и преобразованием данных в Azure Synapse Pipelines
- Управление перемещением и преобразованием данных в Azure Data Factory
- Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse
- Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics
- Ознакомление с функциями разработчика хранилища данных в Azure Synapse Analytics
- Анализ и оптимизация хранилища данных
- Анализ и оптимизация хранилища данных в Azure Synapse Analytics
- Поддержка гибридной транзакционной аналитической обработки (HTAP) с помощью Azure Synapse Link
- Разработка гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics
- Настройка Azure Synapse Link с помощью Azure Cosmos DB
- Запросы к Azure Cosmos DB с пулами Apache Spark
- Запросы к Azure Cosmos DB с бессерверными пулами SQL
- Комплексная безопасность с помощью Azure Synapse Analytics
- Защита хранилища данных в Azure Synapse Analytics
- Настройка и управление секретами в Azure Key Vault
- Внедрение контроля соответствия для конфиденциальных данных
- Обработка потоков в реальном времени с помощью Stream Analytics
- Обеспечение надежного обмена сообщениями для приложений Big Data с помощью Azure Event Hubs
- Работа с потоками данных с помощью Azure Stream Analytics
- Получение потоков данных с помощью Azure Stream Analytics
- Создание решения для потоковой обработки с помощью Event Hubs и Azure Databricks
- Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks
- Создание отчетов с помощью интеграции Power BI с Azure Synpase Analytics
- Создание отчетов с помощью Power BI, используя его интеграцию с Azure Synapse Analytics
- Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics
- Использование интегрированного процесса машинного обучения в Azure Synapse Analytics