host: "api-%envTag%.somedomain.com"

mkdir oursystem          # Основной chart
mkdir subcharts          # Charts для приложений
mkdir templates          # Переиспользуемые (типовые) шаблоны
mkdir templates/subchart # Типовые шаблоны для chart приложения

oursystem/
├── .helmignore
├── Chart.yaml
└── templates/
    ├── _helpers.tpl
    ├── configmap.yaml
    └── NOTES.txt

apiVersion: v1
kind: ConfigMap
metadata:
  name: oursystem-config
data:
  {{- include "toPropertiesYaml" .Values.global.configuration | indent 2 }}

{{- define "joinListWithComma" -}}
{{- $local := dict "first" true -}}
{{- range $k, $v := . -}}{{- if not $local.first -}}, {{ end -}}{{ $v -}}{{- $_ := set $local "first" false -}}{{- end -}}
{{- end -}}
{{- define "toPropertiesYaml" }}
{{- $yaml := . -}}
{{- range $key, $value := $yaml }}
{{- if kindIs "map" $value -}}
{{ $top:=$key }}
{{- range $key, $value := $value }}
{{- if kindIs "map" $value }}
{{- $newTop := printf "%s.%s" $top $key }}
{{- include "toPropertiesYaml" (dict $newTop $value) }}
{{- else if kindIs "slice" $value }}
{{ $top }}.{{ $key }}: {{ include "joinListWithComma" $value | quote }}
{{- else }}
{{ $top }}.{{ $key }}: {{ $value | quote }}
{{- end }}
{{- end }}
{{- else if kindIs "slice" $value }}
{{ $key }}: {{ include "joinListWithComma" $value | quote }}
{{- else }}
{{ $key }}: {{ $value | quote }}
{{- end }}
{{- end }}
{{- end }}

# Версии приложений для развертывания
versions:
  webapi:        "1.36.4082"
  analytics:     "0.1.129"
  publicapi:     "0.1.54"
  # Аналогично для каждого приложения
  ...
# Условия развертывания приложений (что попадает в релиз, а что - нет)
conditions:
  webapi:
    enabled: true
  analytics:
    enabled: true
  redis:
    enabled: true
  # Аналогично для каждого приложения
  ...

common:
  envTag: "%envTag%"
  envName: "oursystem-%envTag%"
  internalProtocol: http
  externalProtocol: https
  ...
webapi:
  name: webapi
  host: "api-%envTag%.somedomain.com"
  path: "/api/v2"
analytics:
  name: analytics
  host: "analytics-%envTag%.somedomain.com"
  path: "/api/v1"
redis:
  name: redis
  serviceName: redis-master
  internalProtocol: redis
  ...

env:
  - name: DEPLOY_ENVIRONMENT
    valueFrom:
      configMapKeyRef:
        name: oursystem-config
        key: "common.envName"
  - name: ProcessingRemoteConfiguration__RemoteAddress
    valueFrom:
      configMapKeyRef:
        name: oursystem-config
        key: "processing.serviceUrl"
  ...

...
dependencies:
  ...
  - name: reloader
    version: ">=0.0.89"
    repository: https://stakater.github.io/stakater-charts
    condition: reloader.enabled
  ...

...
conditions:
  ...
  reloader:
    enabled: true
  ...

helm create subcharts/webapi

webapi/
├── .helmignore
├── Chart.yaml
├── values.yaml
├── charts/
└── templates/
    ├── tests/
    ├── _helpers.tpl
    ├── deployment.yaml
    ├── hpa.yaml
    ├── ingress.yaml
    ├── NOTES.txt
    ├── service.yaml
    └── serviceaccont.yaml

mv subcharts/webapi/templates* templates/subchart

...
webapi:
  replicaCount: 2
  resources:
    limits:
      cpu: 6
      memory: 4Gi
    requests:
      cpu: 500m
      memory: 512Mi
...

...
redis:
  redisPort: 6379
  usePassword: false
  architecture: standalone
  cluster:
    enabled: false
    slaveCount: 0
  master:
    extraFlags:
      - "--maxmemory 1gb"
      - "--maxmemory-policy allkeys-lru"
    persistence:
      enabled: true
      size: 2Gi
  metrics:
    enabled: true

enabled: true
annotations:
  kubernetes.io/ingress.class: nginx
hosts:
  - host: "%ingressHost%"
    paths:
    - path: /
      backend:
        service:
          name: "%serviceName%"
tls:
  - hosts:
    - "%ingressHost%"

build_chart.sh
versions.yaml
oursystem/
├── .helmignore
├── Chart.yaml
├── templates/
│   ├── _helpers.tpl
│   ├── configmap.yaml
│   └── NOTES.txt
├── subcharts/
│   ├── analytics/
│   │   ├── Chart.yaml
│   │   └── values.yaml
│   │   ...
│   └── webapi
│       ├── Chart.yaml
│       └── values.yaml
└── templates/
    ├── resources.yaml
    ├── values.templ.yaml
    ├── values.ingress.yaml
    ├── variables.yaml
    └── subchart/
        ├── deployment.yaml
        ├── hpa.yaml
        ├── ingress.yaml
        ├── service.yaml
        └── serviceaccount.yaml

#!/bin/bash
# Определяем "глобальные" переменные сборочного скрипта
SUBCHARTS_PATH="subcharts"
SUBCHART_SCRIPTS_PATH="subchart-scripts"
TEMPLATES_PATH="templates"
MAIN_CHART_PATH="oursystem"
VERSIONS_FILE="versions.yaml"
VALUES_TEMPL_FILE="$TEMPLATES_PATH/values.templ.yaml"
MAIN_CHART_FILE="$MAIN_CHART_PATH/Chart.yaml"
MAIN_VALUES_FILE="$MAIN_CHART_PATH/values.yaml"
VARIABLES_FILE="$TEMPLATES_PATH/variables.yaml"
TMP_PATH="tmp"
SUBCHARTS_TMP_PATH="$TMP_PATH/subcharts"
CONFIG_TMP_FILE="$TMP_PATH/configuration.yaml"
OVERRIDES_TMP_FILE="$TMP_PATH/overrides.yaml"
# Копируем charts приложений во временную директорию
cp -r "$SUBCHARTS_PATH/" "$SUBCHARTS_TMP_PATH"
# Заменяем тэг среды, читаем конфигурационные переменные и версии
# $BRANCH_NUM определяется в CI пайплайне как номер ветки
# Для ветки develop BRANCH_NUM=dev
yaml=$(sed "s/%envTag%/$BRANCH_NUM/g" "$VARIABLES_FILE" | yq r - --stripComments)
versions=$(yq r "$VERSIONS_FILE" "versions" --stripComments)
conditions=$(yq r "$VERSIONS_FILE" "conditions" --stripComments)

# Считываем значения общих параметров
env_name=$(echo "$yaml" | yq r - "common.envName")
internal_proto=$(echo "$yaml" | yq r - "common.internalProtocol")
external_proto=$(echo "$yaml" | yq r - "common.externalProtocol")
# Формируем секцию для единого конфига системы
echo "$yaml" | yq p - "global.configuration" > $CONFIG_TMP_FILE
echo "" > $OVERRIDES_TMP_FILE
for key in $(echo "$yaml" | yq r - -p p "*")
do
  # Перебираем все секции из templates/variables.yaml
  if [[ $key != "common" ]]
  then
    # Копируем типовые шаблоны в subchart
    # Если в subchart какой-то шаблон переопределен, он не заменяется
    mkdir -p "$SUBCHARTS_TMP_PATH/$key/templates"
    cp -n templates/subchart/*.yaml "$SUBCHARTS_TMP_PATH/$key/templates"
    # Определяем параметры для приложения
    full_name="$env_name-$key"
    version=$(echo "$versions" | yq r - "$key")
    ingress=$(echo "$yaml" | yq r - "$key.host")
    path=$(echo "$yaml" | yq r - "$key.path")
    internal_proto_current=$(echo "$yaml" | yq r - "$key.internalProtocol")
    external_proto_current=$(echo "$yaml" | yq r - "$key.externalProtocol")
    service_name=$(echo "$yaml" | yq r - "$key.serviceName")
    sidecar_name=$(echo "$yaml" | yq r - "$key.sidecar.name")
    if [[ -z "$internal_proto_current" ]]
    then
      internal_proto_current=$internal_proto
    fi
    if [[ -z "$external_proto_current" ]]
    then
      external_proto_current=$external_proto
    fi
    # Записываем “вычисляемые” параметры приложения
    if [[ -z "$service_name" ]]
    then
      # Полное имя сервиса, если оно шаблонное
      yq w -i "$CONFIG_TMP_FILE" "global.configuration.$key.service" \
        "$full_name"
      # Полный URL для сервиса
      yq w -i "$CONFIG_TMP_FILE" "global.configuration.$key.serviceUrl" \
        "$internal_proto_current://$full_name$path"
    else
      # Полное имя сервиса, если оно задано в конфигурации
      yq w -i "$CONFIG_TMP_FILE" "global.configuration.$key.service" \
        "$env_name-$service_name"
      # Полный URL для сервиса
      yq w -i "$CONFIG_TMP_FILE" "global.configuration.$key.serviceUrl" \
        "$internal_proto_current://$env_name-$service_name$path"
    fi
    if [[ ! -z "$ingress" ]]
    then
      # Полный URL для Ingress приложения
      yq w -i "$CONFIG_TMP_FILE" "global.configuration.$key.ingressUrl" \
        "$external_proto_current://$ingress$path"
    fi
    if [[ ! -z "$version" ]]
    then
      # Записываем текущую версию приложения
      yq w -i "$CONFIG_TMP_FILE" "global.configuration.$key.version" \
        "$version"
    fi
    # Переопределяем имя приложения
    yq w -i "$OVERRIDES_TMP_FILE" "$key.nameOverride" "$key"
    yq w -i "$OVERRIDES_TMP_FILE" "$key.fullnameOverride" "$full_name"
    # Add an
    ingress_host=$(echo "$yaml" | yq r - "$key.host")
    if [[ ! -z "$ingress_host" ]]
    then
  # Добавляем определение для ingress на основе типового шаблона
      sed "s/%ingressHost%/$ingress_host/g" "$INGRESS_TEMPL_FILE" | \
        sed "s/%serviceName%/$full_name/g" - | \
        yq r - --stripComments | yq p - "$key.ingress" | \
        yq m -i "$OVERRIDES_TMP_FILE" -
    else
      # Отключаем ingress, если он не нужен
      yq w -i "$OVERRIDES_TMP_FILE" "$key.ingress.enabled" "false"
    fi
    # Записываем версию в subchart
    if [[ ! -z "$version" ]]
    then
      subchart="$SUBCHARTS_TMP_PATH/$key/Chart.yaml"
      yq w -i "$subchart" 'appVersion' "${version}"
      yq w -i "$subchart" 'version' "${version}"
    fi
  fi
done

# Формируем версию системы
version=$(yq r ${MAIN_CHART_FILE} "version" --stripComments)
IFS=. read major minor build <<< "${version}"
if [[ -z "${BRANCH_NUM}" ]]
then
  build="${CI_PIPELINE_IID}"  # Уникальный инкрементный номер пайплайна из Gitlab CI
else
  build="${CI_PIPELINE_IID}-env${BRANCH_NUM}"
fi
version="${major}.${minor}.${build}"
# Записываем версию в основной chart
yq w -i "${MAIN_CHART_FILE}" 'appVersion' "${version}"
yq w -i "${MAIN_CHART_FILE}" 'version' "${version}"
# Формируем полный файл values.yaml для основного chart
yq r "$VALUES_TEMPL_FILE" --stripComments | \
  yq m - "$OVERRIDES_TMP_FILE" "$RESOURCES_FILE" "$CONFIG_TMP_FILE" > $MAIN_VALUES_FILE
# Добавляем условия развертывания приложений
echo "$conditions" | yq m -i "$MAIN_VALUES_FILE" -
Собираем весь chart
helm dependency update ./oursystem --debug
helm package ./oursystem --debug

helm upgrade "${ENV_NAME}" "${CHART_NAME}" -i -n "${ENV_NAME}" --atomic --timeout 3m

helm upgrade system-dev "system-1.2.3456.tgz" -i -n system-dev --atomic --timeout 3m

if [[ ! ${BRANCH_NUM} =~ ^-?[0-9]+$ ]] # Variable from Gitlab CI
then
  VARIABLES_FILE="$TEMPLATES_PATH/variables.$CI_BUILD_REF_NAME.yaml" # Variable from Gitlab CI
  RESOURCES_FILE="$TEMPLATES_PATH/resources.$CI_BUILD_REF_NAME.yaml" # Variable from Gitlab CI
else
  VARIABLES_FILE="$TEMPLATES_PATH/variables.branch.yaml"
  RESOURCES_FILE="$TEMPLATES_PATH/resources.branch.yaml"
fi