@echo off
setlocal EnableDelayedExpansion
@REM для сбора используются счётчики, перечисленные в _1_counters.cfg
@REM счётчики называются только на английском, на русском это просто описание
@REM
@REM запуск сбора данных:
@REM    при каждом входе на удалённый рабочий стол исправить _1_counters.cfg:
@REM    1)  посмотреть номер своей терминальной сессии консольной командой
@REM        query session
@REM
@REM    2)  вписать этот номер в _1_counters.cfg, например, RDP-Tcp 9
@REM
@REM    3)  перерегистрировать сброщик запуском данного файла
@REM
@REM    4)  замер производительности производится запуском _2_task_run_X.cmd и длится 2 минуты
@REM
@REM удаление старого сборщика данных
logman delete -n RemoteFX_1
logman delete -n RemoteFX_2
logman delete -n RemoteFX_3
logman delete -n RemoteFX_4
logman delete -n RemoteFX_5
for /F "usebackq delims= " %%a IN (`query session ^| find "Administrator"`) DO (
    set "x=%%a"
    set "x=!x:~9,10!"
    echo !x!
    type NUL>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% Video Decoder Usage>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% Video Encoder Usage>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% GPU Memory Usage>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% GPU Usage>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\Processor Information^(_Total^)^\%% Processor Time>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Loss Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Current TCP Bandwidth>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Current UDP Bandwidth>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Total Sent Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\TCP Sent Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\UDP Sent Rate>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Total Received Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\TCP Received Rate>>_1_counters.cfg
    echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\UDP Received Rate>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Output Frames/Second>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Input Frames/Second>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Server Resources>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Network Resources>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Client Resources>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Frame Quality>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Average Encoding Time>>_1_counters.cfg
    echo ^\User Input Delay per Session^(Max^)^\Max Input Delay>>_1_counters.cfg
    echo.>>_1_counters.cfg
    echo ^\RemoteFX Graphics^(^*^)^\Graphics Compression ratio>>_1_counters.cfg
    echo ^\NVIDIA GPU^(^*^)^\%% FB Usage>>_1_counters.cfg
    @REM счётчик памяти не работает, сброс кэша счётчиков также не помог
    @REM    https://docs.microsoft.com/ru-ru/troubleshoot/windows-server/performance/manually-rebuild-performance-counters
    echo ^\Memory^\%% Committed Bytes In Use>>_1_counters.cfg
    echo ^\Memory^\Available Bytes>>_1_counters.cfg
)
@REM и регистрация нового сборщика
logman create counter -n RemoteFX_1 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #1 void GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_2 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #2 3D GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_3 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #3 wmp GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_4 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #4 youtube GPO X" -cf "%~dp0_1_counters.cfg"
logman create counter -n RemoteFX_5 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #5 webGL GPO X" -cf "%~dp0_1_counters.cfg"
@REM pause
@REM exit

@REM запускаем сбор данных
logman stop RemoteFX_1
logman stop RemoteFX_2
logman stop RemoteFX_3
logman stop RemoteFX_4
logman stop RemoteFX_5

@echo off
@REM смена кодировки нужна для powershell-скрипта "%~dpn0.ps1"
chcp 65001
@REM работаем в текущей папке скрипта
cd "%~dp0logs"
@REM включаем расширения для переопределения переменных в цикле
setlocal EnableDelayedExpansion
@REM цикл по двоичным файлам мониторинга
FOR /F "usebackq delims=." %%a IN (`dir *.blg /b`) DO (
    set "blg=%%a.blg"
    set "csv=%%a.csv"
    @REM convert binary to csv
    relog "!blg!" -f csv -o "!csv!" -y
)
@REM имена cmd и powershell скриптов должны совпадать
start "%~dpn0.ps1" /WAIT /B pwsh.exe -Command "& {%~dpn0.ps1 -en:$False}"
@REM справка reglog - утилиты работы с журналами производительности
@REM https://docs.microsoft.com/ru-ru/windows-server/administration/windows-commands/relog

[CmdletBinding()]
param (
    [switch] $en       = $False  # substitute ru alias of counters by real en name
)
$WorkDir = $MyInvocation.MyCommand.Definition | Split-Path -Parent
$LogsDir = Join-Path -Path $WorkDir -ChildPath 'logs'
$EncodeFrom = [System.Text.Encoding]::GetEncoding(1251)
$EncodeTo = New-Object System.Text.UTF8Encoding $False
$names = @(
    New-Object psobject -Property @{ 'ru' = 'Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода' ; 'en' = 'User Input Delay per Session\Max Input Delay'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Входящих кадров в секунду' ; 'en' = 'RemoteFX Graphics\Input Frames/Second'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Исходящих кадров в секунду' ; 'en' = 'RemoteFX Graphics\Output Frames/Second'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Среднее время кодирования' ; 'en' = 'RemoteFX Graphics\Average Encoding Time'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Качество кадра' ; 'en' = 'RemoteFX Graphics\Frame Quality'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Коэффициент сжатия графических данных' ; 'en' = 'RemoteFX Graphics\Graphics Compression ratio'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Общая скорость отправки' ; 'en' = 'RemoteFX Network\Total Sent Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Общая скорость приема' ; 'en' = 'RemoteFX Network\Total Received Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Потери' ; 'en' = 'RemoteFX Network\Loss Rate'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — недостаточно сетевых ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Network Resources'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — у сервера недостаточно ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Server Resources'}
    New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — у клиента недостаточно ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Client Resources'}
    New-Object psobject -Property @{ 'ru' = 'Сведения о процессоре(_Total)\% загруженности процессора' ; 'en' = 'Processor Information(_Total)\% Processor Time'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% GPU Usage' ; 'en' = 'NVIDIA GPU\% GPU Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% GPU Memory Usage' ; 'en' = 'NVIDIA GPU\% GPU Memory Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% Video Decoder Usage' ; 'en' = 'NVIDIA GPU\% Video Decoder Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% Video Encoder Usage' ; 'en' = 'NVIDIA GPU\% Video Encoder Usage'}
    New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% FB Usage' ; 'en' = 'NVIDIA GPU\% FB Usage'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Пропускная способность текущего UDP-подключения' ; 'en' = 'RemoteFX Network\Current UDP Bandwidth'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Пропускная способность текущего TCP-подключения' ; 'en' = 'RemoteFX Network\Current TCP Bandwidth'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость отправки UDP-данных' ; 'en' = 'RemoteFX Network\UDP Sent Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость получения UDP-данных' ; 'en' = 'RemoteFX Network\UDP Received Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость отправки TCP-данных' ; 'en' = 'RemoteFX Network\TCP Sent Rate'}
    New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость получения TCP-данных' ; 'en' = 'RemoteFX Network\TCP Received Rate'}
)
$Heads = @()
foreach ($f in Get-ChildItem -Path $LogsDir -File -Filter '*.csv')
{
    $FileContent = $f | Get-Content -Encoding $EncodeFrom
    $HeadOrig = $FileContent[0]
    # приводим заголовки к единому виду, убираем ненужное
    # "\\TESTGPU\NVIDIA GPU(#0 GRID M60-1Q (id=1, NVAPI ID=513))\% GPU Memory Usage"
    if ($HeadOrig -match '.*(?<hostname>\\\\[a-zA-Z0-9]*\\).*')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['hostname'], '')
    }
    if ($HeadOrig -match '.*NVIDIA GPU(?<gpu>\(#[A-Z0-9 ]*-[A-Z0-9]* \(id=[0-9,]* NVAPI ID=[0-9]*\)\))')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['gpu'], '')
    }
    # "\\TESTGPU\Графика RemoteFX(RDP-Tcp 55)\Входящих кадров в секунду"
    if ($HeadOrig -match '.*(?<session>\(RDP-Tcp[ 0-9]*\)).*')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['session'], '')
    }
    # "(PDH-CSV 4.0) (Russia TZ 2 Standard Time)(-180)"
    if ($HeadOrig -match '.*(?<time>\(.*\) \(.*Time\)\([0-9 +-]*\))')
    {
        $HeadOrig = $HeadOrig.Replace($Matches['time'], 'Time')
    }
    if ($en)
    {
        $HeadOrig = ($HeadOrig -split '","') -replace '"', ''
        foreach ($h in $HeadOrig)
        {
            if ($h -notin $names.ru) { continue }
            $n = $names | Where-Object {$_.ru -eq $h}
            $HeadOrig[($HeadOrig.IndexOf($h))] = $n.en  # $h = $n.en не работает
        }
        $HeadOrig = '"{0}"' -f ($HeadOrig -join '","')
    }
    $FileContent[0] = $HeadOrig  # перезапись заголовка
    $FileContent | Out-File -Encoding $EncodeTo -FilePath $f.FullName
    $Heads += $f.Name + $HeadOrig  # сохранение заголовка
}
# вывод заголовков столбцов в отдельный файл для доп. контроля порядка, названий и т.д.
$Heads | Out-File -Encoding $EncodeTo -FilePath (Join-Path -Path $LogsDir -ChildPath 'heads.txt')

import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.ticker import EngFormatter  # для вывода форматированных единиц измерения
plt.rcParams['figure.max_open_warning'] = 30  # порог предупреждения при одновременном построении нескольких рисунков
%matplotlib inline
# импорт данных csv-файлов
t21 = pd.read_csv('./logs/test #2 3D GPO 1.csv', na_values=' ')
t20 = pd.read_csv('./logs/test #2 3D GPO 0.csv', na_values=' ')  # , encoding='cp1251')
t31 = pd.read_csv('./logs/test #3 wmp GPO 1.csv', na_values=' ')
t30 = pd.read_csv('./logs/test #3 wmp GPO 0.csv', na_values=' ')
t31_prev = pd.read_csv('./logs/test #3 wmp GPO 1 anomaly.csv', na_values=' ')
t41 = pd.read_csv('./logs/test #4 youtube GPO 1.csv', na_values=' ')
t40 = pd.read_csv('./logs/test #4 youtube GPO 0.csv', na_values=' ')
# слияние результатов каждого теста: сначала рекомендованные GPO, потом default GPO
t2 = pd.concat([t21, t20],           join='inner', axis=1)
t3 = pd.concat([t31, t30, t31_prev], join='inner', axis=1)
t4 = pd.concat([t41, t40],           join='inner', axis=1)
# разные наборы для итерации и рисования в цикле
dataframes = [t2, t3, t4]
ax_titles = ['test #2: 3D benchmark', 'test #3: play 1080p video', 'test #4: play 1080p youtube video']
legend = ['GPU acceleration', 'default', 'GPU, anomaly']
img_sx, img_sy = 15, 5  # размеры одного ряда графиков
fgs = [  # макет графиков  # yunit ед. изм., ylabel метка Y-оси, ydata колонка из датафрейма
    {'yunit': 'ms',     'ylabel': 'Input Delay',            'ydata': 'Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода'},
    {'yunit': 'fps',    'ylabel': 'RemoteFX input FPS',     'ydata': 'Графика RemoteFX\Входящих кадров в секунду'},
    {'yunit': 'fps',    'ylabel': 'RemoteFX output FPS',    'ydata': 'Графика RemoteFX\Исходящих кадров в секунду'},
    {'yunit': 'bps',    'ylabel': 'Tx Speed',               'ydata': 'Сеть RemoteFX\Общая скорость отправки'},
    {'yunit': 'bps',    'ylabel': 'Rx Speed',               'ydata': 'Сеть RemoteFX\Общая скорость приема'},
    {'yunit': '%',      'ylabel': 'Tx / Rx Loss',           'ydata': 'Сеть RemoteFX\Потери'},
    {'yunit': '%',      'ylabel': 'CPU Usage',              'ydata': 'Сведения о процессоре(_Total)\% загруженности процессора'},
    {'yunit': '%',      'ylabel': 'GPU Usage',              'ydata': 'NVIDIA GPU\% GPU Usage'},
    {'yunit': '%',      'ylabel': 'GPU Memory Usage',       'ydata': 'NVIDIA GPU\% GPU Memory Usage'},
    {'yunit': '%',      'ylabel': 'GPU Decoder Usage',      'ydata': 'NVIDIA GPU\% Video Decoder Usage'},
    {'yunit': '%',      'ylabel': 'GPU Encoder Usage',      'ydata': 'NVIDIA GPU\% Video Encoder Usage'},
    {'yunit': 'ms',     'ylabel': 'Encoding Time',          'ydata': 'Графика RemoteFX\Среднее время кодирования'},
    {'yunit': '%',      'ylabel': 'Frame Quality',          'ydata': 'Графика RemoteFX\Качество кадра'},
    {'yunit': '%',      'ylabel': 'Compression: enc byte / in byte', 'ydata': 'Графика RemoteFX\Коэффициент сжатия графических данных'},
    {'yunit': 'fps',    'ylabel': 'FPS Loss by network',    'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — недостаточно сетевых ресурсов'},
    {'yunit': 'fps',    'ylabel': 'FPS Loss by server',     'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — у сервера недостаточно ресурсов'},
    {'yunit': 'fps',    'ylabel': 'FPS Loss by client',     'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — у клиента недостаточно ресурсов'},
    {'yunit': '%',      'ylabel': 'GPU Framebufer Usage',   'ydata': 'NVIDIA GPU\% FB Usage'},
    {'yunit': 'bps',    'ylabel': 'Tx Speed UDP',           'ydata': 'Сеть RemoteFX\Скорость отправки UDP-данных'},
    {'yunit': 'bps',    'ylabel': 'Rx Speed UDP',           'ydata': 'Сеть RemoteFX\Скорость получения UDP-данных'},
    {'yscale': 1000,    'yunit': 'bps', 'ylabel': 'Bandwidth UDP', 'ydata': 'Сеть RemoteFX\Пропускная способность текущего UDP-подключения'},
    {'yunit': 'bps',    'ylabel': 'Tx Speed TCP',           'ydata': 'Сеть RemoteFX\Скорость отправки TCP-данных'},
    {'yunit': 'bps',    'ylabel': 'Rx Speed TCP',           'ydata': 'Сеть RemoteFX\Скорость получения TCP-данных'},
    {'yscale': 1000,    'yunit': 'bps', 'ylabel': 'Bandwidth TCP', 'ydata': 'Сеть RemoteFX\Пропускная способность текущего TCP-подключения'},
]

for i in range(len(fgs)):  # сколько метрик, столько рисунков (рядов диаграмм)
    fig, axs = plt.subplots(1, 3, figsize=(img_sx, img_sy), sharex='col', sharey='row', gridspec_kw=dict(hspace=0, wspace=0, ))  # width_ratios=[1, 1, 1]
    fig_name = fgs[i]['ydata'].split('\\')[1]
    fig.suptitle(f'Рис. {i + 1:>2}. {fig_name}', fontsize=14)  #, color='grey')  # имя рисунка
    fig.patch.set_facecolor('white')  # фон рисунка белый вместо прозрачного
    axs[0].set(ylabel=fgs[i]['ylabel'])  # подпись Y-оси только на первых (левых) графиках из трёх
    axs[2].yaxis.set_tick_params(labelleft=False, labelright=True, which='major')  # дублируем значения справа
    for ax, d, title in zip(axs, dataframes, ax_titles):  # на каждый тест своя диаграмма
        ax.plot(d.index.values, d[fgs[i]['ydata']] * (fgs[i].get('yscale', 1)))  # строим график
        ax.set_title(title)  #, color='grey')  # заголовок диаграммы
        ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале
        ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды
        ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале
        ax.yaxis.set_major_formatter(EngFormatter(unit=fgs[i]['yunit']))  # по Y у каждого графика своя ед. изм.
        # расчёт средних и вывод в легенду диаграммы "на лету"
        avg = [EngFormatter(places=0).format_eng(avg * (fgs[i].get('yscale', 1))) for avg in d[fgs[i]['ydata']].mean()]
        lgn = [f'avg {m}{fgs[i]["yunit"]}, {l}' for l, m in zip(legend, avg)]
        ax.legend(lgn, fontsize=8)  # отображение легенды графика
        ax.grid(axis='y')  # горизонтальная сетка
        ax.set_xlim(0,119)  # метка "120" засоряла график
        if ax == axs[1]:  # выделяем аномалии на средней диаграмме
            ax.axvline(x=15, linestyle=":", color='C0')
            ax.axvline(x=58, linestyle=":", color='C0')
            ax.axvline(x=101, linestyle=":", color='C0')
        fig.tight_layout()  # (pad=0.4, w_pad=1.5, h_pad=30.0)

# один рисунок  # plt.style.available  # plt.style.use('seaborn-whitegrid')
fig, axs = plt.subplots(len(fgs), 3, figsize=(img_sx, img_sy * len(fgs)), sharex='col', sharey='row', gridspec_kw=dict(hspace=0.2, wspace=0))
fig.patch.set_facecolor('white')  # фон рисунка белый вместо прозрачного
# заголовки только вверху
[ax.set_title(title) for ax, title in zip(axs[0], ax_titles)]  # ax.set_title(title, color='grey')
for i in range(len(fgs)):
    axs[i,0].set(ylabel=fgs[i]['ylabel'])
    fig_name = fgs[i]['ydata'].split('\\')[1]
    axs[i,1].set(xlabel=f'Рис. {i + 1:>02}. {fig_name}')
    # axs[i,1].xaxis.label.set_color('grey')
    axs[i,2].yaxis.set_tick_params(labelleft=False, labelright=True, which='major')
    for ax, d, title in zip(axs[i], dataframes, ax_titles):
        ax.plot(d.index.values, d[fgs[i]['ydata']] * (fgs[i].get('yscale', 1)))
        ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале
        ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды
        ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале
        ax.yaxis.set_major_formatter(EngFormatter(unit=fgs[i]['yunit']))  # по Y у каждого графика своя ед. изм.
        # расчёт средних и изменение легенды диаграммы "на лету"
        avg = [EngFormatter(places=0).format_eng(avg * (fgs[i].get('yscale', 1))) for avg in d[fgs[i]['ydata']].mean()]
        lgn = [f'avg {m}{fgs[i]["yunit"]}, {l}' for l, m in zip(legend, avg)]
        ax.legend(lgn, fontsize=8)  # отображение легенды графика
        ax.grid(axis='y')  # горизонтальная сетка
        ax.set_xlim(0,119)  # метка "120" засоряла график
        if ax == axs[i,1]:  # выделяем аномалии на средней диаграмме
            ax.axvline(x=15, linestyle="--", color='C0')
            ax.axvline(x=58, linestyle="--", color='C0')
            ax.axvline(x=101, linestyle="--", color='C0')