Добрый день, Эта тема в основном для начинающих строителей роботов. -------------------------- На вопрос как сохранить или как передать данные в другой скрипт и приложение, я рекомендую начать с обмена через файлы. -------------------- Как правило в ответ получаю - через файлы - это медленно. На вопрос -откуда Вы это знаете -обычно ответа нет. ---------------- Аналогичный вопрос возникает при попытке передать данные из одного приложения в другое. --------------- Тем кто, знает С for Lua, рекомендую mapping files, как самый универсальный и быстрый способ обмена, если Вас не устраивает обычный обмен через файлы. --------------- В этой теме я покажу как "медленно" реализуется обмен через файлы. =============== Тест обмена через файлы в одном приложении. ------------------- Написал вот такой тест:
Код
pD ="D:/QUIK_SCRIPT/nk_bot/Data/"
fn=pD..name..".log"; Log=io.open(fn,"w");
pDA ="D:/QUIK_SCRIPT/nk_bot/DataA/"
fnA=pDA..name..".log"; LogA=io.open(fnA,"w");
--------------------
local nF=nkevent.ccf(fn);
local nFA=nkevent.ccf(fnA);
local _,_,dHMS1=nkvm.D();
for j=1,100 do
local _,_,dHMS=nkvm.D(); d=(1000000.*(dHMS-dHMS1))//1;
Log:write(j..","..dHMS..","..d.."\n");Log:flush();
while true do
if nkevent.wcf(nF) then dHMS1=dHMS; local C=Log; Log=LogA; LogA=C; local x=nF; nF=nFA; nFA=x break; end
end
end
Что он делает? Создаем на диске два каталога Data и DataA до запуска скрипта. Скрипт открывает в каждом из каталогов файл test.log. ------------------- Далее в цикле 100 раз производится запись с нечетным j в файл в Каталоге Data. При обнаружении записи в файл , производим запись в файл в каталоге DataA по четным значениям j. ------------------ Таким образом, в файл каталога Data записываются ответы на запись в файл каталога DataA и наоборот. --------------------- Каждая запись содержит значения j, текущее время и задержку обнаружения записи в очередной файл.
Самое смешное то , что задержка измеряется в мкс и составляет в среднем не более 10 . т.е. 0.000001 сек. ------------------------- Это медленно?
Пользователь
Сообщений: Регистрация: 30.01.2015
13.01.2024 08:06:33
Вот результаты теста обмена данными через файл двух приложений. ----------------- Запускаю два приложения на луа. Каждое приложение записывает свое сообщение в файл в ответ на поступившее сообщение от другого приложения. Поступившее сообщение выводится в окно приложения. вот так это работает а это содержимое файла через который выполняется обмен сообщениями Первое число в строке - задержка между сообщениями в мкс. Второе число - размер файла в данный момент. В среднем задержка обмена составляет 0.2 ms или 0.0002 сек.
Через файлы это хорошо, сам пользую. Как для передачи, так и для сохранения для последующего запуска. Вот только бэкапится приходится т.к. при коллизиях и вывыливании терминала в дамп файлы частенько бьются. А поскольку в файл писать приходится часто это становится проблемой.
Пользователь
Сообщений: Регистрация: 30.01.2015
13.01.2024 16:45:01
Последний эксперимент - mapping files. Создается файл, в который два скрипта пишут письма друг другу по очереди, так же как во втором эксперименте. --------------- Однако в этом случае. делается проекция файла в память. Приложения фактически обмениваются через память, при этом выполняется и запись в файл. ------------- картинка работы приложений.
В файл каждое приложение выводит текущее время с квантом 0.1 мкс. Для определения задержки обмена сообщения на экран отключены Первое число - длина текста в строке Результат в файле:
Величина задержки получилась менее 3 мкс. ------------------- Таким образом, при обмене не то что потоков, а приложений, через файлы с отображением в память задержка сообщений не более 3 мкс.
Пользователь
Сообщений: Регистрация: 30.01.2015
13.01.2024 16:48:47
Цитата
Kolossi написал: Через файлы это хорошо, сам пользую. Как для передачи, так и для сохранения для последующего запуска. Вот только бэкапится приходится т.к. при коллизиях и вывыливании терминала в дамп файлы частенько бьются. А поскольку в файл писать приходится часто это становится проблемой.
Как видно из экспериментов выше, время обмена через файлы, особенно с отображением в память, меньше, чем вызов не сложной функций на любом скриптовом языке. --------------------- Но если это разные потоки или приложения, то надо синхронизировать, чтобы не было проблем. ------------------ Я предпочитаю синхронизацию без блокировки. Проблем нет.
Пользователь
Сообщений: Регистрация: 30.01.2015
16.01.2024 13:20:26
сделал тест обмена данными приложения Lua и Python. -------------------- для mapping falles скорость обмена 21 МБ/сек. Просто файлами 0.8 МБ/сек. Аналогично между приложениями на Lua. ------------------ Функции обмена реализованы на С.
Пользователь
Сообщений: Регистрация: 27.12.2022
16.01.2024 13:28:55
А если диск виртуальный, то как по сравнению с маппинг филес?
Пользователь
Сообщений: Регистрация: 30.01.2015
16.01.2024 16:38:57
Цитата
Serge123 написал: А если диск виртуальный, то как по сравнению с маппинг филес?
У меня нет виртуального диска. Могу предположить что разницы в скорости нет так как обмен практически через память , но в маппинге параллельно получаем файл в энергонезависимой памяти (диске). и нет надобности тратить память на виртуальный диск. Ну и безусловно, если данных сотни гигабайт или терабайты, то никакой виртуальный диск не поможет. ------------------------------ Возможно обмен через Shared Memory будет быстрее.
Пользователь
Сообщений: Регистрация: 30.01.2015
02.12.2025 20:23:12
Говорят, что все новое - это хорошо забытое старое. --------------------- Решил обновить тему обмена данными между скриптами. Выше я привел результаты тестов. ---------------------------- Но вопрос у меня следующий. --------------------------- Знаете ли Вы какая у Вас будет задержка обмена данными между Вашими скриптами? ----------------------------- Если не знаете, то могу Вас удивить. ----------------------- Величина этой задержки будет равна значению функции sleep, которую Вы ставите в цикле main. Если вы написали sleep(1000) то какой бы метод обмены Вы не применили задержка передачи данных будет 1 секунда. --------------------------- В итоге реально вы не получите задержку менее 15 ms, что соответствует sleep(10). Отказаться от sleep можно лишь используя Event OS. ----------------------- Из этого можно следующий вывод. Если Вы не профессионально пишите софт, то для обмена данными как между скриптами так и с другими приложениями например на питоне применение обмена через файлы самый простой, быстрый и надежный способ, если Вы знаете как его правильно реализовать. ---------------------------- И еще один печальный вывод. Функция main это отдельный поток. Казалось бы , что запустив 5 скриптов можно получить робота с 5 потоками и будет он в 5 раз быстрее считать. Но как бы не так. В каждом скрипте поток будет тормозится на время sleep. и в итоге ускорение либо будет либо нет. Скорее нет. ------------------------------ Т е sleep в потоке - это тормоз.
Пользователь
Сообщений: Регистрация: 30.01.2015
02.12.2025 20:31:47
Чтобы получить действительно ускорение расчетов на основе множества скриптов надо использовать Event OS не только для синхронизации колбеков QUIK и потока main, но и для синхронизации обмена между скриптами. В этом случае обмен имет смысл строить на основе Memory-mapped files. При этом скорость обмена между скриптами по сравнению с обменом через файлы будет примерно в 100 и более раз быстрее.
