Курс предоставляет знания и навыки для автоматизированного управления данными и построения отчетности с использованием языка программирования Python, а также использования разных форматов данных и BI-серверов.
По окончании курса слушатели смогут:
- использовать мощные средства языка программирования Python для работы с данными и построения отчетности;
- использовать язык SQL для извлечения данных из Oracle и PostgreSQL и других реляционных баз данных;
- осуществлять экспорт данных в различные форматы;
- автоматизировать шаблонные процедуры бизнес-анализа.
Аудитория
Курс предназначен для бизнес-аналитиков и разработчиков отчетов, которые будут использовать язык Python для построения отчетов, управления отображением данных, генерации отчетности в стандартных форматах csv, html, Word, Excel, pdf.
Для эффективного обучения на курсе, слушатели должны обладать следующими знаниями и навыками:
- опыт работы с данными бизнес-анализа и формирования отчетов;
- понимания концепций языка SQL;
- понимания современных концепций программирования;
- необходимость автоматизировать работу с помощью SQL-запросов;
- необходимость автоматизировать подготовку отчетности.
- Инсталляция интерпретатора Python. Механизм PIP: создание песочницы для выполнения кода приложения, подготовка песочницы для работы с базами данных на примерах с Oracle и PostgreSQL
- «Привет, мир!» - первое приложение, созданное и запущенное в песочнице. Анатомия приложения. Примеры подключения и использования библиотек, использование модулей. Различные языковые конструкции, основные правила работы с языком Python
- Типы данных языка, встроенные типы данных. Объект. Правила PEP8, особенности использования
- Среда разработки для создания отчетности PyCharm. Утилита для конфигурации песочницы PIP, в которой будут работать механизмы создания отчетности, взаимодействия с Excel, Word и файлами формата pdf. Дополнение песочницы средствами для работы с базой данных Oracle и PostgreSQL, сходство и различия
- Обзор средств написания SQL-запросов в базы данных Oracle и PostgreSQL
- Что такое запрос в базу данных. Как выполняется запрос, основные синтаксические команды языка SQL. SELECT - основная команда SQL для аналитических запросов. Общее описание команды. Разделы SELECT, FROM, ORDER BY и другие на примерах простых запросов, с использованием штатных средств для работы с данными. Введение в план выполнения запроса. Что такое «декартово произведение двух множеств», и почему это «смерть» для базы данных. Аналитические функции в SQL-запросах, функции группировок и сортировок. Как ускорить выполнение сложных запросов, введение в оптимизацию SQL на примере базы данных. Обзор важности использования статистик, индексов, партиционирования данных, сохранения результатов выполнения запросов в памяти сервера для улучшения производительности SQL-запросов. Написание более сложных запросов SELECT, связывание нескольких таблиц, построение деревьев и виртуальных таблиц, оконные функции, вычисление промежуточных данных для их использования в запросе с помощью ROLLUP и CUBE. Типы данных в базе данных и как они используются в Python
- Программирование, объектная опция в Python, инкапсуляция, полиморфизм, наследование, абстракция. Введение в ООП и абстракции Python. Организация выгрузки данных из базы данных в стандартные файлы приложений MS Office
- Понятие @dataclass. Методы сортировки данных. Простые механизмы сравнения объектов, хранение объектов в Python. Списки, множества, кортежи, словари. Функциональность, разница, механизмы использования
- Правила доступа к данным из Python. Соединение с базой данных. Что такое курсор в Python и как он взаимодействует с базой данных. Введение в транзакционные механизмы. Передача параметров в SQL-запрос из Python, получение данных из курсора и размещение их в памяти аналитического приложения. Предварительная обработка данных перед отправкой их в отчеты, сортировки, создание дополнительных колонок, маркировка групп, выполнение дополнительных вычислений
- Получение данных для аналитических вычислений в Python-приложение из других источников данных, таких как REST и web-сервисы. Обзор механизмов подключения. Получение данных для дальнейшей обработки на примерах REST-сервисов. Протоколы обмена информацией и механизмы описания данных SOAP, WSDL, WADL. Стандарты для взаимодействия между приложениями JSON и XML. Python и серверы приложений и баз данных.
- Обзор пакетов Python для взаимодействия с файлами операционной системы, дальнейшей выгрузки данных, работы с Excel, Word, pdf-файлами, текстовыми файлами SCV
- Создание рабочей книги Excel средствами Python, заполнение книги листами, определение стилей форматирования, заполнение листа данными из Python, определение формул на листах, использование условного форматирования ячеек листа Excel из Python-приложения. Построение диаграмм для визуализации данных средствами Python в Excel
- Выгрузка данных из Python в документы Word. Использование шаблонов документов для их дальнейшего наполнения данными. Форматирование документа средствами Python