Курс надає знання та навички для автоматизованого управління даними та побудови звітності з використанням мови програмування Python, а також використання різних форматів даних та BI-серверів.
Після закінчення курсу слухачі зможуть:
- використовувати потужні засоби мови програмування Python для роботи з даними та побудови звітності;
- використовувати мову SQL для отримання даних з Oracle та PostgreSQL, а також інших реляційних баз даних;
- здійснювати експорт даних в різні формати;
- автоматизувати шаблонні процедури бізнес-аналізу.
Аудиторія
Курс призначений для бізнес-аналітиків та розробників звітів, які будуть використовувати мову Python для побудови звітів, управління відображенням даних, генерації звітності в стандартних форматах csv, html, Word, Excel, pdf.
Для ефективного навчання на курсі, слухачі повинні володіти такими знаннями і навичками:
- досвід роботи з даними бізнес-аналізу та формування звітів;
- розуміння концепцій мови SQL;
- розуміння сучасних концепцій програмування;
- необхідність автоматизувати роботу з допомогою SQL-запитів;
- необхідність автоматизувати підготовку звітності.
- Інсталяція інтерпретатора Python. Механізм PIP: створення пісочниці для виконання коду програми, підготовка пісочниці для роботи з базами даних на прикладах з Oracle та PostgreSQL
- «Привіт, світ!» - перший додаток, створений та запущений у пісочниці. Анатомія додатка. Приклади приєднання та використання бібліотек, використання модулів. Різні мовні конструкції, основні правила роботи з мовою Python
- Типи даних мови, вбудовані типи даних. Об'єкт. Правила PEP8, особливості використання
- Середовище розробки для створення звітності PyCharm. Утиліта для конфігурації пісочниці PIP, в якій будуть працювати механізми створення звітності, взаємодії з Excel, Word та файлами формату pdf. Доповнення пісочниці засобами для роботи з базою даних Oracle та PostgreSQL, подібність та відмінність
- Огляд засобів написання SQL-запитів в бази даних Oracle та PostgreSQL
- Що таке запит в базу даних. Як виконується запит, основні синтаксичні команди мови SQL. SELECT - основна команда SQL для аналітичних запитів. Загальний опис команди. Розділи SELECT, FROM, ORDER BY та інші на прикладах простих запитів, з використанням штатних засобів для роботи з даними. Вступ до плану виконання запиту. Що таке «декартове множення двох множин», та чому це «смерть» для бази даних. Аналітичні функції в SQL-запитах, функції групувань та сортувань. Як прискорити виконання складних запитів, вступ до оптимізації SQL на прикладі бази даних. Огляд важливості використання статистик, індексів, партиціонування даних, збереження результатів виконання запитів в пам'яті сервера для поліпшення продуктивності SQL-запитів. Написання більш складних запитів SELECT, зв'язування декількох таблиць, побудова дерев та віртуальних таблиць, віконні функції, обчислення проміжних даних для їх використання в запиті за допомогою ROLLUP та CUBE. Типи даних в базі даних та як вони використовуються в Python
- Програмування, об'єктна опція в Python, інкапсуляція, поліморфізм, успадкування, абстракція. Вступ до ООП та абстракцій Python. Організація вивантаження даних з бази даних в стандартні файли додатків MS Office
- Поняття @dataclass. Методи сортування даних. Прості механізми порівняння об'єктів, зберігання об'єктів в Python. Списки, множини, кортежі, словники. Функціональність, різниця, механізми використання
- Правила доступу до даних з Python. З'єднання з базою даних. Що таке курсор в Python та як він взаємодіє з базою даних. Вступ до транзакційних механізмів. Передача параметрів в SQL-запит з Python, отримання даних з курсора та розміщення їх в пам'яті аналітичного додатка. Попередня обробка даних перед відправленням їх в звіти, сортування, створення додаткових колонок, маркування груп, виконання додаткових обчислень
- Отримання даних для аналітичних обчислень в Python-додаток з інших джерел даних, таких як REST та web-сервіси. Огляд механізмів приєднання. Отримання даних для подальшої обробки на прикладах REST-сервісів. Протоколи обміну інформацією та механізми опису даних SOAP, WSDL, WADL. Стандарти для взаємодії між додатками JSON та XML. Python та сервери додатків та баз даних.
- Огляд пакетів Python для взаємодії з файлами операційної системи, подальшого вивантаження даних, роботи з Excel, Word, pdf-файлами, текстовими файлами SCV
- Створення робочої книги Excel засобами Python, заповнення книги листами, визначення стилів форматування, заповнення аркуша даними з Python, визначення формул на аркушах, використання умовного форматування комірок листа Excel з Python-додатка. Побудова діаграм для візуалізації даних засобами Python в Excel
- Вивантаження даних з Python в документи Word. Використання шаблонів документів для їх подальшого наповнення даними. Форматування документа засобами Python
- Особливості вивантаження даних в pdf-формат
- Публікація звіту на стандартному сервері додатків, на прикладі WildFly-сервера. Конфігурація сервера для публікації звітів в реальному часі та за розкладом. Легке створення web-сервера засобами Python для відправлення аналітичного звіту кінцевому користувачеві. Тестування власного аналітичного сервера
- Порівняння результатів з аналогічними BI-серверами, як-от Oracle BI, Microsoft BI тощо. Переваги та недоліки.