технический вопрос: Gitlab, Terraform, AWS

[Stantmn]

@Stantmn, благодаря @elpresidente*, вот здесь можно получить более качественные ответы на ваши вопросы: viewtopic.php?t=4069. Можно корректировать ваш запрос, добавляя больше деталей.

Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?

через 3 недели весь проект должен быть готов, а не только инфра

[Alexander Troyansky]

@Stantmn, благодаря @elpresidente*, вот здесь можно получить более качественные ответы на ваши вопросы: viewtopic.php?t=4069. Можно корректировать ваш запрос, добавляя больше деталей.

Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?

через 3 недели весь проект должен быть готов, а не только инфра

Попилить этот проект на параллельные части можно, чтобы за 3 недели это всё сделать, срезая углы к неудовольствию будущих сопровождающих проект, но особенно, если все самим, то я что-то сумневаюсь... Сочувствую

[elpresidente*]

Если ваши tf скрипты достаточно простые и/или их мало вы можете упростить себе задачу переписав их под native cloudformation. У вас сразу отпадет необходимость хранить и заботится о state.

[Alexander Troyansky]

Если ваши tf скрипты достаточно простые и/или их мало вы можете упростить себе задачу переписав их под native cloudformation. У вас сразу отпадет необходимость хранить и заботится о state.

1) за три недели нереально, хотя преимущество есть несомненное потому codepipilne хоть интегрированно cloudformation; однако
2) наш ИТ ворочает нос от cloudformation. Политика, йоптиль

[elpresidente*]

До сих пор с содроганием вспоминаю как у нас пол комады перед важным релизом пыталось разобраться почему tf который работал без проблем пол года резко сломался, при том что скрипты никто не трогал. Оказалось что один не в меру умный человек поправил infra в "буквально паре мест совсем чуть чуть" и в результате ts state != то что реально было в AWS.

[Mad Hatter]

До сих пор с содроганием вспоминаю как у нас пол комады перед важным релизом пыталось разобраться почему tf который работал без проблем пол года резко сломался, при том что скрипты никто не трогал. Оказалось что один не в меру умный человек поправил в "буквально паре мест совсем чуть чуть" и в резульстате ts state != то что реально было в AWS.

На Medium пробегала статья, где автор писал что TF не надо использовать вообще

[elpresidente*]

Тогда не было альтернатив tf, сейцас конечно совсем другая история.

[Jefe]

Тогда не было альтернатив tf, сейцас конечно совсем другая история.

А что сейчас вместо?

[Bobeg]

Этот ваш клауд та еще гавнища. Вот шо я вам скожу.

[Jefe]

Этот ваш клауд та еще гавнища. Вот шо я вам скожу.

Ну а какая альтернатива? Ну я больше с GCP работал, но проблемы с терраформом, и т.п. невилируются отсутствием колоссального множества других проблем.

[Uzito]

Этот ваш клауд та еще гавнища. Вот шо я вам скожу.

Ну а какая альтернатива? Ну я больше с GCP работал, но проблемы с терраформом, и т.п. невилируются отсутствием колоссального множества других проблем.

Google Cloud Deployment Manager?

[elpresidente*]

Тогда не было альтернатив tf, сейцас конечно совсем другая история.

Сейцас практически все cloud provider имеют свои хорошо развитые средства для infra management. Но если надо cloud agnostic solution то tf скорее всего по прежднему самое популярное решение.

[Mad Hatter]

Я его ради интереса на своём Proxmox сервере запускал. Работает

[Stantmn]

в общем пока временное решение это 2 терраформ скрипта. первый создает ec2 инстанс, готовый запускать второй основной инфра скрипт и запускать его из гитлаба по ssh или через ssm агента.
далее план использовать ecs с defenition task и подготовленным контейнером и запускать это из гитлаба

[Stantmn]

Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?

спасибо всем экспертам и кто дал советы. решение простое - запустить private Gitlab runner внутри vpc - и магия! Все работает! 3 недели? 2 дня с траблшутингом.

[Bobeg]

А можно ли деплойить докер контейнеры на не кубернетес а на простой лехкий рхел8, и на скока это хардер?

Калитес, инфры падкалодныя!

[Alexander Troyansky]

Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?

спасибо всем экспертам и кто дал советы. решение простое - запустить private Gitlab runner внутри vpc - и магия! Все работает! 3 недели? 2 дня с траблшутингом.

По условию задачи:

ночальница хоче мыв сделали простую лямбду, которая запускает terraform скрипт и хранит стейт в dynamo и чтобы никаких ec2

Или я чего то не понял?

[caltrain]

не знаю, принято ли тут задавать технические вопросы, или тут толко стеб. Но вроде тут много умных людей, или они просто себя так выдают
Дано: есть gitlab с со своей CI/CD, AWS и сторонний cloud(Confluent Kafka если это имеет значение), связанный с амазоном через privatelink. Есть еще Terraform, который должен управлять всеми ресурсами.
В gitlab можно запускать tf скрипт, он создает ресурсы на AWS, Kafka кластер в Confluent, но проблема в том, что управлять топиками и другими вещами можно только через privatelink. т.е. должно быть запущено внутри нашего vpc а не из gitlab.
вроде как есть 2 решения:
1. создать proxy c публичным ip и слать все что связанное с confluent через него и privatelink вроде как не очень секурно и надо все согласовывать с другими командами и их менеджерами
2. сделать vpc peering  между гитлаб и нашим aws vpc. но что-то я такого нагуглить не смог.
Есть кого-то идеи, предлоджения, размышления, рекомендации, как это все лучше сделать?
Ну или просто может поделитесь, как у вас это реализовано.

не пинайте, я в этих сетях и девопсе не особо пока разбираюсь, но приходится это делать.
тут еще ситуация: что ночальница хочет чтобы мыв сделали простую лямбду, которая запускает terraform скрипт и хранит стейт в dynamo и чтобы никаких ec2. Надо ей как-то доказать, что у лямбды таймаут 15 мин и стоит это дорого и все равно надо ec2 чтобы запускать скрипт там или в докере. поправьте, если я не прав. спорить с ней сильно нельзя. один поспорил, 31 марта идет на выход.

Почему я не удивлюсь, если начальница из тех самых? Никто никогда не видел ее кода, но в линкедин она была в топ 0.00 , а потом сразу архитектор и CTO.

Возможно, что есть https://developer.hashicorp.com/terrafo ... ocs/run/ui TF Cloud, где tf будет запускаться кем-то . Но кто платит за подписку?

[Alexander Troyansky]

не знаю, принято ли тут задавать технические вопросы, или тут толко стеб. Но вроде тут много умных людей, или они просто себя так выдают
Дано: есть gitlab с со своей CI/CD, AWS и сторонний cloud(Confluent Kafka если это имеет значение), связанный с амазоном через privatelink. Есть еще Terraform, который должен управлять всеми ресурсами.
В gitlab можно запускать tf скрипт, он создает ресурсы на AWS, Kafka кластер в Confluent, но проблема в том, что управлять топиками и другими вещами можно только через privatelink. т.е. должно быть запущено внутри нашего vpc а не из gitlab.
вроде как есть 2 решения:
1. создать proxy c публичным ip и слать все что связанное с confluent через него и privatelink вроде как не очень секурно и надо все согласовывать с другими командами и их менеджерами
2. сделать vpc peering  между гитлаб и нашим aws vpc. но что-то я такого нагуглить не смог.
Есть кого-то идеи, предлоджения, размышления, рекомендации, как это все лучше сделать?
Ну или просто может поделитесь, как у вас это реализовано.

не пинайте, я в этих сетях и девопсе не особо пока разбираюсь, но приходится это делать.
тут еще ситуация: что ночальница хочет чтобы мыв сделали простую лямбду, которая запускает terraform скрипт и хранит стейт в dynamo и чтобы никаких ec2. Надо ей как-то доказать, что у лямбды таймаут 15 мин и стоит это дорого и все равно надо ec2 чтобы запускать скрипт там или в докере. поправьте, если я не прав. спорить с ней сильно нельзя. один поспорил, 31 марта идет на выход.

Почему я не удивлюсь, если начальница из тех самых? Никто никогда не видел ее кода, но в линкедин она была в топ 0.00 , а потом сразу архитектор и CTO.

Возможно, что есть https://developer.hashicorp.com/terrafo ... ocs/run/ui TF Cloud, где tf будет запускаться кем-то . Но кто платит за подписку?

Посоны! Помогите написать функцию преобразования строки в целое, не используя библиотечных функций, ибо начальница не разрешает. Кто не согласен, тот на выход!
...

Посоны! Всё ж просто оказалось: используйте функцию atoi()

[alex_127]

Посоны! Всё ж просто оказалось: используйте функцию atoi()

я помню тот замечательный момент когда во всем продукте мы грохнули такие фунции чтобы избегать thread-local storage hit to get locale and started passing it explicitly...