VPM (Все сообщения пользователя)

----- Получаем цену последней сделки с графика цены 
      local I = getNumCandles(tag.price)   
      while I==nil or I==0 do
         sleep (100)
         I = getNumCandles(tag.price)
      end
       if I<=4 then toLog(log,  'Недостаточно бар для продолжения работы ' .. tostring(I) ) return end
      
      local newber = I > I1 I1=I

Эталонная структура сигнала
Signal = {
    dir     = "BUY" | "SELL" | "NONE",
    score   = 0..100,
    class   = "A" | "B" | "C" | "NONE",
    regime  = "TREND" | "RANGE" | "TRANSITION" | "VOLATILE",
    rr      = number,
}

-- Принцип:
1. Определяем Regime;
2. Считаем SignalScore;
3. Проверяем Risk/Reward;
4. Только потом -> торговое решение.

local bar_cur1 = getCandlesByIndex(tag.price,0,I-1,1)[0]
      while not bar_cur1 or bar_cur1==nil do
            sleep (100);
            I = getNumCandles(tag.price);   
            bar_cur1 = getCandlesByIndex(tag.price,0,I-1,1)[0];
      end

--[[ Как выбораем метод (Памятка)?
Кто уже или еще? не очень дружен со cтатистикой и методами анализа, могу порекомендовать (в сваободном достепе Эл. с примерами на lua 5.1): 
John R. Hauser "Numerical Methods for Nonlinear Engineering Models"

1. Используйте AGC когда. Нужно сохранить форму волны для визуального анализа. Работаете с осцилляторами в реальном времени. Важна минимальная задержка.
2. Используйте Z-score когда. Данные приблизительно нормально распределены. Нужны статистически значимые пороги. Работаете с mean-reverting стратегиями.
3. Используйте Robust scaling когда. Есть выбросы и тяжелые хвосты. Данные не нормально распределены. Нужна устойчивость к экстремальным движениям.
4. Используйте Percentile когда. Важны ранги и относительное положение. Работаете с непараметрическими статистиками. Нужна полная независимость от распределения.

Вывод. Не существует универсального лучшего метода. AGC прекрасен для своей ниши (осцилляторы, визуализация), но для машинного обучения и статистических решений нужен более тонкий подход. Реализуйте адаптивную систему, которая для каждой метрики анализирует распределение и автоматически выбирает оптимальный метод нормализации. Это даст преимущества каждого подхода без их недостатков.
--]]
-------------------------------
-- АДАПТИВНАЯ СИСТЕМА НОРМАЛИЗАЦИИ
-------------------------------
function CandleManager:adaptiveNormalize(data, method, parameters)
    parameters = parameters or {}
    
    -- Анализ характеристик временного ряда
    local stats = self:calculateTimeSeriesStats(data)
    
    -- Автоматический выбор метода если не указан явно
    if not method then
        method = self:selectNormalizationMethod(stats)
    end
    
    if method == "AGC" then
        return self:AGC(data, parameters.alpha or 0.991)
    elseif method == "ZSCORE" then
        return self:ZScoreNormalize(data, parameters)
    elseif method == "ROBUST" then
        return self:robustScale(data, parameters)
    elseif method == "PERCENTILE" then
        return self:percentileNormalize(data, parameters)
    elseif method == "ADAPTIVE" then
        return self:adaptiveHybridNormalize(data, stats, parameters)
    else
        return self:minMaxScale(data)
    end
end

-------------------------------
-- АНАЛИЗ СТАТИСТИК ВРЕМЕННОГО РЯДА
-------------------------------
function CandleManager:calculateTimeSeriesStats(data)
    local stats = {}
    
    -- Базовые статистики
    stats.mean = self:mean(data)
    stats.std = self:stdDev(data)
    stats.min = math.min(unpack(data))
    stats.max = math.max(unpack(data))
    
    -- Анализ выбросов (outliers)
    stats.skewness = self:skewness(data)
    stats.kurtosis = self:kurtosis(data)
    
    -- Анализ волатильности (кластеризация)
    stats.volatility_clustering = self:detectVolatilityClustering(data)
    
    -- Тест на нормальность (приблизительный)
    stats.is_normal = math.abs(stats.skewness) < 1 and stats.kurtosis < 3.5
    
    -- Коэффициент вариации
    stats.coefficient_of_variation = stats.std / math.abs(stats.mean)
    
    return stats
end

-------------------------------
-- АВТОМАТИЧЕСКИЙ ВЫБОР МЕТОДА НОРМАЛИЗАЦИИ
-------------------------------
function CandleManager:selectNormalizationMethod(stats)
    -- Если данные приблизительно нормальны
    if stats.is_normal and stats.coefficient_of_variation < 2 then
        return "ZSCORE"
    
    -- Если есть выбросы (тяжелые хвосты)
    elseif math.abs(stats.skewness) > 1 or stats.kurtosis > 4 then
        return "ROBUST"
    
    -- Сильная кластеризация волатильности
    elseif stats.volatility_clustering then
        return "ADAPTIVE"
    
    -- Стабильный диапазон, мало выбросов
    else
        return "AGC"
    end
end

-- Специализированные методы нормализации:

-- 1. Robust Scaling (устойчивый к выбросам)
function CandleManager:robustScale(data, parameters)
    local median = self:median(data)
    local q75 = self:quantile(data, 0.75)
    local q25 = self:quantile(data, 0.25)
    local iqr = q75 - q25
    
    local normalized = {}
    for i = 1, #data do
        if iqr ~= 0 then
            normalized[i] = (data[i] - median) / iqr
        else
            normalized[i] = 0
        end
    end
    
    return normalized
end

-- 2. Percentile Normalization
function CandleManager:percentileNormalize(data, parameters)
    local sorted = {}
    for i, v in ipairs(data) do sorted[i] = v end
    table.sort(sorted)
    
    local normalized = {}
    for i = 1, #data do
        local rank = 0
        for j = 1, #sorted do
            if sorted[j] <= data[i] then rank = rank + 1 end
        end
        normalized[i] = (rank / #sorted) * 2 - 1  -- [-1, 1]
    end
    
    return normalized
end

-- 3. Adaptive Hybrid Normalization
function CandleManager:adaptiveHybridNormalize(data, stats, parameters)
    -- Разделяем данные на режимы: тренд и шум
    local trend = self:EMA(data, parameters.trend_period or 20)
    local noise = {}
    
    for i = 1, #data do
        noise[i] = data[i] - (trend[i] or data[i])
    end
    
    -- К тренду применяем AGC, к шуму - Robust scaling
    local normalized_trend = self:AGC(trend, 0.995)
    local normalized_noise = self:robustScale(noise)
    
    -- Комбинируем с весами
    local combined = {}
    local trend_weight = parameters.trend_weight or 0.7
    
    for i = 1, #data do
        combined[i] = trend_weight * (normalized_trend[i] or 0) + 
                     (1 - trend_weight) * (normalized_noise[i] or 0)
    end
    
    return combined
end

-- Пример применения в вашем Navigator
function Navigator:enhancedNormalizeMetrics(
                                            EMA20, 
                                            EMA50, 
                                            ATR, 
                                            RSI, 
                                            Vol, 
                                            SMA_Vol, 
                                            sentiment
                                            )

    -- Собираем метрики
    local raw_metrics = {
        (EMA20-EMA50)/ATR,     -- Нормализованный тренд
        (RSI-50)/25,           -- Моментум
        (ATR/close-0.01)/0.05, -- Волатильность
        (Vol/SMA_Vol-1),       -- Объем
        sentiment              -- Настроения
    }

    -- Анализируем каждую метрику и применяем оптимальную нормализацию
    local normalized_metrics = {}
    local method_per_metric = {}
    
    for i, metric in ipairs(raw_metrics) do
        local metric_data = {metric} -- В реальности это будет история метрики
        
        local stats = CandleManager:calculateTimeSeriesStats(metric_data)
        local best_method = CandleManager:selectNormalizationMethod(stats)
        
        normalized_metrics[i] = CandleManager:adaptiveNormalize(
                                                                metric_data, best_method
                                                                )[1] -- Берем последнее значение
        
        method_per_metric[i] = best_method
    end
    
    -- Логируем выбранные методы для отладки (обращаем внимание на точность)
    log_write("Normalization methods: " .. table.concat(method_per_metric, ", "))
    
    return normalized_metrics
end

--[[Automatic Gain Control (AGC) Автоматическая регулировка усиления
Цель AGC - обеспечить единообразный внешний вид индикатора независимо от диапазона колебаний цены. 
Процесс AGC делит текущую цену на абсолютное значение недавнего максимального колебания, 
так что нормализованная форма волны имеет максимум 1 или минимум -1.
--]]
function Cached.AGC() -- Automatic Gain Control (Oscillator © 2013 John F. Ehler)
    
    local abs=math.abs
    
    local Peak={},{}
    local Out={}

    return function( I,FSettings,ds )
        local I = (I or 1)
        local ds = (ds or nil)
        local FSettings = (FSettings or {})
        local v_t = (FSettings.v_t or 'C')
        local x = (FSettings.x or nil)
        --------------------------------------
        local p0 = x or Value(I, v_t, ds) or 0;
        if I == 1 then
            Peak={}; Peak[I]=0;
            Out={}; Out[I]=0;
        end
        
        ----------------------------------------
        -- Automatic Gain Control (AGC) Автоматическая регулировка усиления
        local peak1 = I > 1 and Peak[I-1] or p0;
        local peak = 0.991 * peak1;
        if abs( p0 ) > peak then peak = abs( p0 ) end
        local out1 = I>1 and Out[I-1] or p0;
        local out=0; if peak~=0 then out=p0/peak end
        ----------------------------------------
        
        Peak[I] = peak
        Out[I] = out
        ----------------------------------------
        return out,out1
    end
end

local is_run = true

if _G.message then
    print = function(...) _G.message(table.concat({...}, ", ")) end
end

-- Таблица для управления корутинами
local coroutines = {}
local coroutine_queue = {}

-- Функция для добавления корутины в очередь
local function create_task(process_func, description, done_callback, err_callback, ctx)
    local task = {
        coroutine = coroutine.create(process_func),
        description = description,
        done_callback = done_callback,
        err_callback = err_callback,
        ctx = ctx,
        done = false,
        error = false
    }
    
    table.insert(coroutine_queue, task)
    return task
end

-- Функция для выполнения корутин (аналог Dispatch)
local function ProcessCoroutines()
    if #coroutine_queue == 0 then
        return
    end

    local i = 1
    while i <= #coroutine_queue do
        local task = coroutine_queue[i]
        
        if task.done or task.error then
            -- Задача завершена, удаляем из очереди
            if not task.silent then
                if task.done then
                    print('Задача выполнена успешно: '..tostring(task.description))
                elseif task.error then
                    print('Задача не выполнена: '..tostring(task.description))
                end
                if task.response_mes and task.response_mes ~= '' then
                    print('\t'..task.response_mes)
                end
            end
            
            if task.done and task.done_callback then
                task.done_callback(task.ctx, task.response_mes)
            elseif task.error and task.err_callback then
                task.err_callback(task.ctx, task.response_mes)
            end
            
            table.remove(coroutine_queue, i)
        else
            -- Выполняем корутину
            local status = coroutine.status(task.coroutine)
            if status == 'dead' then
                task.done = true
            elseif status == 'suspended' then
                local success, result = coroutine.resume(task.coroutine)
                if not success then
                    task.error = true
                    task.response_mes = tostring(result)
                elseif coroutine.status(task.coroutine) == 'dead' then
                    task.done = true
                    task.response_mes = tostring(result)
                end
            end
            i = i + 1
        end
    end
    
    if #coroutine_queue == 0 then
        print('Очередь корутин пуста')
    end
end

-- Асинхронная версия создания источника данных
local function create_ds(ctx, done_callback, err_callback, wait_time)
    if not ctx then return end

    wait_time = wait_time or 60
    local start_time = os.time()

    local process = function()
        local ds, err = _G.CreateDataSource(ctx.class_code, ctx.sec_code, ctx.interval)
        if not ds then
            error(err)
        end

        ds.interval = ctx.interval
        ds.class_code = ctx.class_code
        ds.sec_code = ctx.sec_code
        ds.description = ctx.class_code..'|'..ctx.sec_code..', интервал '..tostring(ds.interval)
        ds.done_request = false
        ctx.ds = ds

        print('Заказ данных '..ds.description)

        while os.time() - start_time < wait_time do
            local size = ds:Size()
            if size > 0 then
                ds.done_request = true
                coroutine.yield(true, false, 'Получены бары '..ds.description..', размер: '..tostring(size))
                return
            end
            coroutine.yield(false, false, 'Ожидание данных...')
        end
        
        error('Не удалось инициализировать инструменты за время '..tostring(wait_time)..' сек.')
    end

    create_task(
        process,
        'Заказ данных '..ctx.class_code..'|'..ctx.sec_code,
        done_callback,
        err_callback,
        ctx
    )
end

-- Асинхронная версия счетчика
local function counter(i, limit)
    local x = 0
    local process = function()
        while x < limit do
            x = x + 1
            if x >= limit then
                coroutine.yield(true, false, string.format('%i: Счетчик до %i завершен', i, limit))
                return
            else
                coroutine.yield(false, false, string.format('%i: Счетчик на %i из %i', i, x, limit))
            end
        end
    end

    create_task(process, 'Счетчик до '..tostring(limit))
end

local sec_list = {
    {class_code = 'TQBR', sec_code = 'SBER', interval = 1},
    {class_code = 'TQBR', sec_code = 'SBER', interval = 2},
    {class_code = 'TQBR', sec_code = 'SBER', interval = 5},
    {class_code = 'TQBR', sec_code = 'SBER', interval = 10},
    {class_code = 'TQBR', sec_code = 'SBER', interval = 20},
    {class_code = 'TQBR', sec_code = 'GAZP', interval = 10},
    {class_code = 'TQBR', sec_code = 'GAZP', interval = 2},
    {class_code = 'TQBR', sec_code = 'GAZP', interval = 5},
    {class_code = 'TQBR', sec_code = 'LKOH', interval = 5},
    {class_code = 'TQBR', sec_code = 'FEES', interval = 5},
    {class_code = 'SPBFUT', sec_code = 'SiZ5', interval = 5},
    {class_code = 'SPBFUT', sec_code = 'RIZ5', interval = 5},
    {class_code = 'SPBFUT', sec_code = 'RIZ5', interval = 15},
    {class_code = 'SPBFUT', sec_code = 'SRZ5', interval = 30},
}

function main()
    for i = 1, #sec_list do
        counter(i, i*2)
        create_ds(sec_list[i])
    end
    
    -- Основной цикл выполнения
    while is_run do
        ProcessCoroutines()  -- Обрабатываем корутины вместо задач
        sleep(100)
    end
end

function OnStop()
    is_run = false
end

    for i = 1, #sec_list do
        counter(i, i*2)
        create_ds(sec_list[i])
    end
Пока цикл for i = 1, #sec_list do не завершен, подвешен не исполняется основной цикл  while is_run do Так?


    while is_run do
        Dispatch()
        sleep(100)
    end

   Тип   Дата   Время   Сообщение
1      18.11.2025   15:26:30   Заказ данных TQBR|SBER, интервал 1
2      18.11.2025   15:26:30   Заказ данных TQBR|SBER, интервал 2
3      18.11.2025   15:26:30   Заказ данных TQBR|SBER, интервал 5
4      18.11.2025   15:26:30   Заказ данных TQBR|SBER, интервал 10
5      18.11.2025   15:26:30   Заказ данных TQBR|SBER, интервал 20
6      18.11.2025   15:26:30   Заказ данных TQBR|GAZP, интервал 10
7      18.11.2025   15:26:30   Заказ данных TQBR|GAZP, интервал 2
8      18.11.2025   15:26:30   Заказ данных TQBR|GAZP, интервал 5
9      18.11.2025   15:26:30   Заказ данных TQBR|LKOH, интервал 5
10      18.11.2025   15:26:30   Заказ данных TQBR|FEES, интервал 5
11      18.11.2025   15:26:30   Заказ данных SPBFUT|SiZ5, интервал 5
12      18.11.2025   15:26:30   Заказ данных SPBFUT|RIZ5, интервал 5
13      18.11.2025   15:26:30   Заказ данных SPBFUT|RIZ5, интервал 15
14      18.11.2025   15:26:30   Заказ данных SPBFUT|SRZ5, интервал 30
15      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных SPBFUT|SiZ5, интервал 5
16      18.11.2025   15:26:30    Получены бары SPBFUT|SiZ5, интервал 5, размер: 23300
17      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных SPBFUT|RIZ5, интервал 5
18      18.11.2025   15:26:30    Получены бары SPBFUT|RIZ5, интервал 5, размер: 33461
19      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных SPBFUT|RIZ5, интервал 15
20      18.11.2025   15:26:30    Получены бары SPBFUT|RIZ5, интервал 15, размер: 12794
21      18.11.2025   15:26:30   Задача выполнена успешно: Счетчик до 2
22      18.11.2025   15:26:30    1: Счетчик до 2 завершен
23      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|SBER, интервал 1
24      18.11.2025   15:26:30    Получены бары TQBR|SBER, интервал 1, размер: 10499
25      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|SBER, интервал 2
26      18.11.2025   15:26:30    Получены бары TQBR|SBER, интервал 2, размер: 3255
27      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|SBER, интервал 5
28      18.11.2025   15:26:30    Получены бары TQBR|SBER, интервал 5, размер: 6302
29      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|SBER, интервал 10
30      18.11.2025   15:26:30    Получены бары TQBR|SBER, интервал 10, размер: 3052
31      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|SBER, интервал 20
32      18.11.2025   15:26:30    Получены бары TQBR|SBER, интервал 20, размер: 3027
33      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|GAZP, интервал 10
34      18.11.2025   15:26:30    Получены бары TQBR|GAZP, интервал 10, размер: 3052
35      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|GAZP, интервал 2
36      18.11.2025   15:26:30    Получены бары TQBR|GAZP, интервал 2, размер: 3255
37      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|GAZP, интервал 5
38      18.11.2025   15:26:30    Получены бары TQBR|GAZP, интервал 5, размер: 6302
39      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|LKOH, интервал 5
40      18.11.2025   15:26:30    Получены бары TQBR|LKOH, интервал 5, размер: 3103
41      18.11.2025   15:26:30   Задача выполнена успешно: Заказ данных TQBR|FEES, интервал 5
42      18.11.2025   15:26:30    Получены бары TQBR|FEES, интервал 5, размер: 3101
43      18.11.2025   15:26:30   Задача выполнена успешно: Счетчик до 4
44      18.11.2025   15:26:30    2: Счетчик до 4 завершен
45      18.11.2025   15:26:30   Задача выполнена успешно: Счетчик до 6
46      18.11.2025   15:26:30    3: Счетчик до 6 завершен
47      18.11.2025   15:26:30   Задача выполнена успешно: Счетчик до 8
48      18.11.2025   15:26:30    4: Счетчик до 8 завершен
49      18.11.2025   15:26:31   Задача выполнена успешно: Счетчик до 10
50      18.11.2025   15:26:31    5: Счетчик до 10 завершен
51      18.11.2025   15:26:31   Задача выполнена успешно: Счетчик до 12
52      18.11.2025   15:26:31    6: Счетчик до 12 завершен
53      18.11.2025   15:26:31   Задача выполнена успешно: Счетчик до 14
54      18.11.2025   15:26:31    7: Счетчик до 14 завершен
55      18.11.2025   15:26:31   Задача выполнена успешно: Счетчик до 16
56      18.11.2025   15:26:31    8: Счетчик до 16 завершен
57      18.11.2025   15:26:31   Задача выполнена успешно: Счетчик до 18
58      18.11.2025   15:26:31    9: Счетчик до 18 завершен
59      18.11.2025   15:26:32   Задача выполнена успешно: Счетчик до 20
60      18.11.2025   15:26:32    10: Счетчик до 20 завершен
61      18.11.2025   15:26:32   Задача выполнена успешно: Счетчик до 22
62      18.11.2025   15:26:32    11: Счетчик до 22 завершен
63      18.11.2025   15:26:32   Задача выполнена успешно: Счетчик до 24
64      18.11.2025   15:26:32    12: Счетчик до 24 завершен
65      18.11.2025   15:26:32   Задача выполнена успешно: Счетчик до 26
66      18.11.2025   15:26:32    13: Счетчик до 26 завершен
67      18.11.2025   15:26:32   Задача выполнена успешно: Счетчик до 28
68      18.11.2025   15:26:32    14: Счетчик до 28 завершен
69      18.11.2025   15:26:33   Задача выполнена успешно: Заказ данных SPBFUT|SRZ5, интервал 30
70      18.11.2025   15:26:33    Получены бары SPBFUT|SRZ5, интервал 30, размер: 3013
71      18.11.2025   15:26:33   Очередь задач пуста

function createDS(class, symbol, interval)
    for i = 1, 20 do
        local ds, err = CreateDataSource(class, symbol, interval)
        if ds then return ds end
        sleep(100)
    end
    return nil
end

  local ds, Error = nil, ''
        local count = 0
        repeat

            ds, Error = CreateDataSource(class, symbol, interval)
            if ds == nil then
                count = count + 1
                sleep(100)
            end

        until (ds or count == 1000)

-- Создаем источник данных свечей
    local error_desc = ''
    ds, error_desc  = CreateDataSource(class_code, sec_code, 60 ) -- ,"last"
    message( tostring(error_desc) ..' '.. type(ds))
    if ds then
        --sleep(1000)
        local result = ds:SetEmptyCallback() -- SetUpdateCallback(onCandleUpdate) --
        message("Источник свечей создан, размер: " .. ds:Size() ..' '..tostring(result) )
    else
        message("ОШИБКА: Не удалось создать источник свечей " .. tostring(error_desc))
        return
    end

   TYPE   DATE   TIME   MESSAGE
1   1   17.11.2025   12:05:06   Скрипт инициализирован
2   1   17.11.2025   12:05:06   === ПРОСТОЙ РОБОТ ЗАПУЩЕН ===
3   1   17.11.2025   12:05:06   1. bid true boolean
4   1   17.11.2025   12:05:06   2. offer true boolean
5   1   17.11.2025   12:05:06   3. last true boolean
6   1   17.11.2025   12:05:06   1. Level_II true boolean
7   1   17.11.2025   12:05:06   nil table
8   1   17.11.2025   12:05:06   Источник свечей создан, размер: 6950 true
9   1   17.11.2025   12:05:36   Статус: 31 итераций, Bid=97970.000000, Offer=97980.000000
10   1   17.11.2025   12:05:36   получать данные с сервера, размер: 6950 true
11   1   17.11.2025   12:05:36   Свеча: O=295.1 H=296.0 L=295.1 C=295.6
12   1   17.11.2025   12:06:06   Статус: 61 итераций, Bid=97960.000000, Offer=97980.000000
13   1   17.11.2025   12:06:06   получать данные с сервера, размер: 6950 true
14   1   17.11.2025   12:06:06   Свеча: O=295.1 H=296.0 L=295.1 C=295.6
15   1   17.11.2025   12:06:34   Робот остановлен по команде
16   1   17.11.2025   12:06:35   Робот остановлен