Data Modeling to extract data from REST API for Kubernetes Reporting measures

[voyager3]

Питон как полный по Тьюрингу язык теоретически может всё, что можно сделать на компьютере.

[Inostranka_02]

Питон как полный по Тьюрингу язык теоретически может всё, что можно сделать на компьютере.

Пара проблем -
1 Я его пока не знаю
2 Вопрос каои ценои он может сделать... ((
V SQL легко то что мне надо.

Но ладно, буду учить раз надо. В нашем случае он деиствительно удобнее - для наших нужд.
Короче, с горя подпишусь на проект где реляционные базы данных - хочу освоить Azure Data Factory, а не вот ето вот все!!!


PS-
Чуть-чуть похвастаюсь - сегодня, пока тут болтала, узнала что подкинули мне немного $ - повысили на $5К в год + бонус.
Не много, но, учитывая что я тут только 5 мес -)
Сказали что любят и рады и все такое - мне пока тоже ФАН.

Привету (you all -)) спасибо - как приложившим знания к моим $5К+еше $NK

[Uzito]

Питон как полный по Тьюрингу язык теоретически может всё, что можно сделать на компьютере.

Пара проблем -
1 Я его пока не знаю
2 Вопрос каои ценои он может сделать... ((

Для трансформации используя pandas самого питона и знать не нужно вобщем-то.

Вот пример https://towardsdev.com/create-an-etl-pi ... e436483ec9

что тут такого, что нельзя понять за полчаса?

[voyager3]

Когда я последний раз смотрел, драйверы для СУБД питоновские были леденящим душу трындецом с т.з. быстродействия. Но небольшую цсвшку туда-сюда гонять с помощью библиотек, которые в Питон не ходят, норм.

[Inostranka_02]

Пара проблем -
1 Я его пока не знаю
2 Вопрос каои ценои он может сделать... ((

Для трансформации используя pandas самого питона и знать не нужно вобщем-то.

Вот пример https://towardsdev.com/create-an-etl-pi ... e436483ec9

что тут такого, что нельзя понять за полчаса?

У нас уже ребята используют PySpark Python Notebook для data extraction from API JSON -> tabular format
Я пока не видела как именно - будет митинг и ознакомление
Интернет пишет что Панда ета в Lakehouse нельзя установить Но могу ошибаться


До етого я занималась частью ПОСЛЕ того kak данные стали таблицами - модель данных и метрики и load в warehouse -> semantec model Поетому отношусь с опаскои - вдруг там подвох какои-то или что-то очень сложное

У нас надо скомбинировать данные из REST API по Agents i Pools, чтобы они были связанны между собои - каждии Agent имеет PoolID, i надо system capabilities

[Inostranka_02]

Еще посмотрела... Оказывается есть все в етом Fabric. И то что наши ребята используют - имеется Synapse Analytics если не ошиблась с названием - оно ETL как раз может делать. Из API И вспоминаю мне слали ссылки на ето - короче все ето будет у меня next week.

Огромное спасибо за инфу и ссылки - voyager3, Uzito

Пишите если что-то еше сюда!