vRO: интеграция с Яндекс.Облаком

vRealize Automation и vRealize Orchestrator легко интегрируются с различными публичными облаками, это позволяет создать единую корпоративную облачную платформу. Яндекс.Облако – новый игрок на этом рынке, и он ещё не имеет готовых плагинов/пакетов для интеграции со многими сторонними облачными решениями. Поэтому нам пришлось самостоятельно разрабатывать пакет для его интеграции с vRO.

Цель разработки первой версии пакета – подготовить минимальный набор инструментов для создания и управления виртуальными машинами в Яндекс.Облаке. Мы не ставили перед собой задачи реализовать полный набор процессов, соответствующий всем возможностям облака.

С чего обычно начинают работу? С изучения документации. И тут Вас ждёт основная проблема: документации мало и она очень сырая. Многие элементарные вопросы решаются только через обращение в поддержку, которая работает довольно оперативно.

Пакет интеграции vRO – Яндекс.Облако

v1.0.3

Аутентификация в API

Для работы Вам потребуется IAM-токен, он используется в заголовках запросов при обращении к Яндекс.Облаку через API:

 Authorization: Bearer <IAM-TOKEN>

Для получения IAM-токена создайте сервисный аккаунт и авторизованный ключ для него (не забудьте сохранить открытый и закрытый ключи). Далее есть два пути: создание токена через CLI или создание JWT-токена для обмена его на IAM-токен. Выбор за Вами, но в своих процессах мы используем JWT-токен и создаём его через python-скрипт (в документации есть примеры для всех основных языков программирования). Этот JWT-токен передаётся в https://iam.api.cloud.yandex.net/iam/v1/tokens, сервер вернёт в ответе сам IAM-токен и срок его действия:

 {
  "iamToken": "CggVAgAAAB...........AU4AVABWgA",
  "expiresAt": "2019-10-17T15:00:03.587843Z"
 }

Время жизни IAM-токена – 12 часов, поэтому его обновление лучше делать по расписанию, или проверять его “срок годности” перед отправкой API-запросов и получать при необходимости новый токен.

Процесс создания JWT-токена называется “Get JWT token”, а процесс получения нового IAM-токена: “Get new IAM token”. Результат выполнения запроса (токен и срок его действия) сохраняется в конфигурационном элементе “yandexCloud” (Library -> Yandex).

Основные процессы

В пакете Вы найдете только процессы для оркестратора. XaaS блюпринты для vRealize Automation нарисуете сами, или пишите, отправлю.

“New instance” – процесс создания новой виртуальной машины. Значения folderId и serviceAccountId берутся из конфигурационного элемента, всё остальное – входные параметры.
- Аттрибут content содержит пример запроса в формате JSON для создания стандартной VM и в элементе WF “Create request” значения его полей корректируются в соответствии с выбором пользователя.
- Чтобы пользователю при создании VM не указывать конкретный образ, в поле image подгружается не список стандартных образов, а список семейств образов и в элементе “Get image ID” для него выбирается самый свежий образ.
- При создании инстанса ему присваиваются две метки: имя владельца и название бизнес-группы. Обратите внимание, что имя метки должно соответствовать регулярному выражению [a-z][-_0-9a-z], а значение [-_0-9a-z].
“Day2 instance ops” – процесс управления развёрнутыми виртуальными машинами. Первая версия процесса позволяет использовать четыре базовые операции: stop, start, restart, delete.
- На входе процесс ожидает строку с описанием инстанса в формате: “vm_name (vm_id, vm_status)” и требуемое действие. Список инстансов в нужном формате возвращает action getInstancesByGroup, если передавать на вход имя бизнес-группы, то пользователь будет видеть только инстансы данной бизнес-группы.

Вспомогательные процессы и действия

Процессы получения информации о доступных ресурсах и сетях:

“Get clouds” – получение списка облаков, если ответ содержит только одно облако, то его ID сохраняется в конфигурационном элементе yandexCloud;
“Get folders” – получение списка папок в облаке по его ID. На момент написания статьи данный запрос не работал и даже рекомендации службы поддержки никак не помогли, поэтому значение folderId нужно задать вручную в конфигурационном элементе yandexCloud или при вызове процесса “Initialize” (см. ниже). Все попытки вызова этого процесса возвращают ошибку: “You are not authorized for this operation.”
“Get networks” – получение списка сетей;
“Get subnets” – получение списка подсетей. Если не указывать значение в subnetName, то возвращается полный список подсетей.
- Фильтрация подсетей по имени происходит добавлением в запрос фильтра в следующем формате: filter=name=’имя_подсети’.

Процессы, используемые при создании и управлении инстансами:

“Delete instance” – удаление инстанса по его ID;
“Get disk types” – получение списка доступных типов дисков. На текущий момент используется два типа дисков: network-ssd и network-hdd;

“Get images” – получение списка образов дисков в каталоге. Если в качестве folderId передать значение “standard-images”, то в ответе получите массив всех стандартных образов Яндекс.Облака. Пример описания одного образа:

{
     "productIds": [
         "f2edt1b5di3n9fs5ugq2"
     ],
     "os": {
         "type": "LINUX"
     },
     "id": "fd87i96n5740k9d2g3ac",
     "folderId": "standard-images",
     "createdAt": "2019-02-07T10:58:54Z",
     "name": "centos-7-1549536124",
     "description": "Free Linux distribution based on Red Hat Enterprise Linux. Official website and documentation: https://www.centos.org",
     "family": "centos-7",
     "storageSize": "1052770304",
     "minDiskSize": "8594128896",
     "status": "READY"
}

“Get instances” – получение списка инстансов. Возможна фильтрация данного списка по установленным в инстансах меткам (см. описание “New instance”), проверяется значение метки rbru_subtenant;

Подготовка пакета к работе

После установки этого пакета нужно подготовить к работе процесс “Get JWT token”:

создать сервисный аккаунт и авторизованный ключ;
поместить скрипт get-yandex-jwt-token.py и закрытую часть авторизованного ключа на сервер с SSH-доступом (для работы скрипта требуются модули python PyJWT и cryptography);
указать в данном скрипте ID сервисного аккаунта (service_account_id), ID используемого ключа (key_id) и путь до закрытого ключа;
прописать путь до скрипта на сервере SSH в конфигурационном элементе yandexCloud в аттрибут getJwtTokenScriptPath;
заменить в процессе “Get JWT token” вызов “Run SSH command (vrassh)” на свой процесс выполнения SSH-команд и настроить его параметры;
проверить работу процесса, он должен вернуть ключ.

Далее необходимо зарегистрировать в vRealize Orchestrator все REST-хосты и операции на них. Яндекс выбрал не совсем удобный для нас вариант с использованием выделенных доменов для различных групп API-запросов: один нужен для получения токена, другой для работы с сетями и т.д. Для реализованных в пакете процессов используется четыре домена. Чтобы Вам немного упростить начало работы, в папке Configuration имеется специальный процесс “Initialize”, который за Вас сделает:

Сохранение ID рабочего каталога и ID сервисного аккаунта в конфигурационном элементе yandexCloud;
Регистрацию REST хостов (4 шт) и сохранение ссылок на них в конфигурационном элементе: “Add Yandex REST hosts”;
Добавление всех используемых REST-операций: “Add Yandex REST operations”;
Получение нового IAM-токена: “Get new IAM token”;
Создание расписания для обновления IAM-токена.

Файлы к статье

vRO-Yandex.Cloud-Integration.zip – пакет интеграции.

"Всё, что нажито…"

Leave a comment Отменить ответ