Форум QUIK [тема: Синхронизация потоков в своей dll на с++]

Синхронизация потоков в своей dll на с++

Wed, 25 Nov 2015 15:14:30 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
В последнем вопросе имелось ввиду:
Можно ли при завершении потока делать lua_unref(L, thread_L_ref); в самОм новом-созданном потоке, т.е. внутри функции потока myThread(LPVOID param) ?
25.11.2015 15:14:30, Дмитрий.

Синхронизация потоков в своей dll на с++

Wed, 25 Nov 2015 15:12:22 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
Michael Bulychev пишет:

====quote====
Дмитрий пишет:
Добрый день. Перечитал старый форум, но внятного ответа так и не нашёл. Наверняка уже многие делали то же, что и я, и многие ещё будут делать. Поэтому хочу уточнить один важный момент.
Есть Lua - скрипт, в котором подключается своя библиотека на c++. В этой библиотеке создаётся несколько потоков.Например, 1 поток будет отправлять заявки в Quik, другой поток будет читать таблицу параметров, ещё несколько потоков будут подписываться на ТВС и перебирать все сделки через CreateDataSource (а их может быть миллионы). В общем каждый поток будет одновременно запускать какие-то Lua-функции. А Lua - стек у нас только один. Вопрос:
нужно ли синхронизировать эти потоки и гарантировать вызов lua функций из dll в одно время только однажды ? Если да, то получается, что пока какой-то поток, например перебирает все сделки в цикле (миллион), то заявки отправлять нельзя ? Параметры читать нельзя ? Все задачи будут ждать завершения какого-то одного потока ? А если нужно одновременно в разных потоках вызвать CreateDataSource, каждый со своим инструментом, и одновременно их записывать в какие-либо массивы ?

=============
Добрый день.
Я бы настоятельно советовал Вам посмотреть в сторону coroutine в Lua. Уверен, что их возможности полностью покроют описанные Вами задачи.
Но если желание наплодить потоков в своей библиотеке непреодолимо, то рекомендации ниже:
1. Линкуйте свою библиотеку с qlua.dll
2. Если пункт два вызывает вопросы, то убедитесь что в папке с терминалом (там же, где лежит info.exe и qlua.dll) присутствует файл lua5.1.dll собранный нами. Проверить это можно в свойствах файла:

3.Для каждого отдельного потока, который работает с Lua перед его запуском необходимо проделать примерно следующее:
====code====

   DWORD WINAPI myThread(LPVOID param) 
{    
   lua_State  * L  =  (lua_State * )param;  
    ..  ..   
    return   0 ;
}   
 .. . 
//вот тут формируется новый стек Lua для потока
lua_gc(L, LUA_GCSTOP,  0 );  
thread_L_stack  =  lua_newthread(L); 
thread_L_ref  =  luaL_ref( callbackCode, LUA_REGISTRYINDEX); 
lua_pushvalue(callbackCode,  -  1 );  
lua_gc(L, LUA_GCRESTART,  0 );  
 .. .    
CreateThread(NULL,  0 , myThread, (LPVOID) tread_L_stack,  0 , NULL);

============= 4. При завершении работы поток не должен вызывать lua_close(thread_L), это приводит к закрытию всей Lua для скрипта.
5. для того чтобы сборщик мусора при завершении все корректно убрал необходимо сделать:
====code====

  lua_unref(L, thread_L_ref);

============= Вроде все.
Но я бы все таки настоятельно рекомендовал использовать Lua coroutine

=============
А что такое в коде "callbackCode" ?
По описанию функции там должен быть lua_State. Какой подставлять - L или thread_L_stack ?

И можно ли при завершении потока делать thread_L_stack в самОм новом-созданном потоке, т.е. внутри функции потока myThread(LPVOID param) ?
25.11.2015 15:12:22, Дмитрий.

Синхронизация потоков в своей dll на с++

Mon, 02 Mar 2015 18:19:07 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Добрый день,
Добавлю свой стакан бензина в костер дискуссии.
--------------------------
Есть как минимум два варианта
1) несколько скриптов с обменом информацией между скриптами
2) несколько потоков и один из них main с дополнительной синхронизацией потоков
----------------------------
Хотя поток входных данных с сервера один, но это не мешает сделать параллельную обработку,
так как обработка данных умным роботом требует значительных ресурсов.
А обработку по разным инструментам можно делать параллельно без проблем.
-------------------------------
Из собственного опыта замечу,
что в QUIKe на существующем уровне реализуются оба способа( реализовал год назад оба)
02.03.2015 18:19:07, Николай Камынин.

Синхронизация потоков в своей dll на с++

Mon, 02 Mar 2015 08:03:40 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
Constantin Constantin пишет:

====quote====
lergen пишет:
Ок спасибо понятно. Похоже что реально многопоточность можно получить только разделив функции между разными скриптами.

=============
Параллельно будет работать только код в main. Все колбаки вызываются в основном потоке Квика.

=============
Ну хотя бы так.
02.03.2015 08:03:40, lergen.

Синхронизация потоков в своей dll на с++

Sun, 01 Mar 2015 11:09:00 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
lergen пишет:
Ок спасибо понятно. Похоже что реально многопоточность можно получить только разделив функции между разными скриптами.

=============
Параллельно будет работать только код в main. Все колбаки вызываются в основном потоке Квика.
01.03.2015 11:09:00, Constantin Constantin.

Синхронизация потоков в своей dll на с++

Sun, 01 Mar 2015 10:25:54 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
lergen пишет:
Похоже что реально многопоточность можно получить только разделив функции между разными скриптами.

=============
в самом простом случае - Да.

И даже это нельзя будет назвать истинной многопоточностью - потому что квик работает с одним потоком данных и остальные скрипты просто будут ждать своей очереди для доступа к нему.
01.03.2015 10:25:54, sam063rus.

Синхронизация потоков в своей dll на с++

Sun, 01 Mar 2015 09:36:02 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
Constantin Constantin пишет:
lergen , корутины работают по принципу кооперативной многопоточности, то есть пока один поток явно не отдаст управление, другой не продолжит свое выполнение. Фактически работает один поток с переключением на разные точки исполнения программы.

=============
Ок спасибо понятно. Похоже что реально многопоточность можно получить только разделив функции между разными скриптами.
01.03.2015 09:36:02, lergen.

Синхронизация потоков в своей dll на с++

Sat, 28 Feb 2015 11:34:16 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
lergen, корутины работают по принципу кооперативной многопоточности, то есть пока один поток явно не отдаст управление, другой не продолжит свое выполнение. Фактически работает один поток с переключением на разные точки исполнения программы.
28.02.2015 11:34:16, Constantin Constantin.

Синхронизация потоков в своей dll на с++

Sat, 28 Feb 2015 10:44:57 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Дмитрий,
1) Вот здесь:
"ещё несколько потоков будут подписываться на ТВС и перебирать все сделки через CreateDataSource (а их может быть миллионы). "
У Вас огромные резервы в повышении производительности.
Рекомендую полностью пересмотреть Вашу концепцию обработки информации.
-----------------------------------------------
2) Следует учитывать что сораунды не позволяют задействовать множество ядер в процессоре или множество процессоров в кластере.
Они позволяют переключаться лишь между фрагментами алгоритма в рамках одного ядра.
28.02.2015 10:44:57, Николай Камынин.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 22:25:52 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
имеется ввиду не потоки операционной сисиемы, а псевдомногопочность на основе LUA. Почитайте здесь:
http://quik2dde.ru/viewtopic.php?id=131
http://quik2dde.ru/viewtopic.php?id=130
27.02.2015 22:25:52, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 21:42:46 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
По поводу *coroutine* вопрос. В руководстве по Люа coroutine описывается как средство создания многопоточной среды. В данном случае многопоточность означает одновременное исполнение в двух потоках или это о другом?
27.02.2015 21:42:46, lergen.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 10:20:53 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Спасибо. Буду думать как лучше сделать.
27.02.2015 10:20:53, Дмитрий.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 09:05:06 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
Michael Bulychev пишет:
Можно считать, что "обычная" C-функция является частным случаем C closure, у которой нет upvalues.

=============
да. уже прочитал: http://www.lua.org/pil/27.3.3.html
27.02.2015 09:05:06, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 08:47:49 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Можно считать, что "обычная" C-функция является частным случаем C closure, у которой нет upvalues.
27.02.2015 08:47:49, Michael Bulychev.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 08:32:26 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
просто для меня понятия: просто функция и closure - несколько различаются.
27.02.2015 08:32:26, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 08:20:16 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
sam063rus пишет:
Michael Bulychev

получается, если верить Вашим словам - то у Вас должно быть так:
#define lua_register(L,n,f) (lua_pushcfunction(L, (getNumberOf)), lua_setglobal(L, ("getNumberOf" ;) ))

=============
отсюда, разворачиваем макросы, получаем:
#define lua_pushcfunction(L,f) lua_pushcclosure(L, (f), 0)

т.е. в итоге:

lua_pushcclosure(L, getNumberOf)
lua_setfield(L, GLOBALSINDEX, "getNumberOf"

вот про это я и спрашиваю. Почему именно lua_pushcclosure?
27.02.2015 08:20:16, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 08:16:37 +0300

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:53:14 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Michael Bulychev

получается, если верить Вашим словам - то у Вас должно быть так:
#define lua_register(L,n,f) (lua_pushcfunction(L, (getNumberOf)), lua_setglobal(L, ("getNumberOf")))
27.02.2015 07:53:14, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:46:33 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
ладно. не хотите говорить - не надо.
27.02.2015 07:46:33, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:45:07 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
====code====

#define lua_register(L,n,f) (lua_pushcfunction(L, (f)), lua_setglobal(L, (n)))

=============
27.02.2015 07:45:07, Michael Bulychev.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:43:08 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
)))тогда другой вопрос: а как?)))
27.02.2015 07:43:08, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:40:08 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Нет
27.02.2015 07:40:08, Michael Bulychev.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:36:04 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
но ведь именно так вы регистрируете в qlua свои функции?
27.02.2015 07:36:04, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:34:24 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
sam063rus пишет:
как добавлять из C++ новые функции через closure.

=============
Поясните свою мысль? Для чего это?
27.02.2015 07:34:24, Michael Bulychev.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 07:29:54 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Michael Bulychev

К Вам предложение, дополнить на общеизвестном форуме соответствующие темы, а также написать больше примеров того, как добавлять из C++ новые функции через closure.
27.02.2015 07:29:54, sam063rus.

Синхронизация потоков в своей dll на с++

Fri, 27 Feb 2015 06:51:05 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.

====quote====
Дмитрий пишет:
Добрый день. Перечитал старый форум, но внятного ответа так и не нашёл. Наверняка уже многие делали то же, что и я, и многие ещё будут делать. Поэтому хочу уточнить один важный момент.
Есть Lua - скрипт, в котором подключается своя библиотека на c++. В этой библиотеке создаётся несколько потоков.Например, 1 поток будет отправлять заявки в Quik, другой поток будет читать таблицу параметров, ещё несколько потоков будут подписываться на ТВС и перебирать все сделки через CreateDataSource (а их может быть миллионы). В общем каждый поток будет одновременно запускать какие-то Lua-функции. А Lua - стек у нас только один. Вопрос:
нужно ли синхронизировать эти потоки и гарантировать вызов lua функций из dll в одно время только однажды ? Если да, то получается, что пока какой-то поток, например перебирает все сделки в цикле (миллион), то заявки отправлять нельзя ? Параметры читать нельзя ? Все задачи будут ждать завершения какого-то одного потока ? А если нужно одновременно в разных потоках вызвать CreateDataSource, каждый со своим инструментом, и одновременно их записывать в какие-либо массивы ?

=============
Добрый день.
Я бы настоятельно советовал Вам посмотреть в сторону coroutine в Lua. Уверен, что их возможности полностью покроют описанные Вами задачи.
Но если желание наплодить потоков в своей библиотеке непреодолимо, то рекомендации ниже:
1. Линкуйте свою библиотеку с qlua.dll
2. Если пункт два вызывает вопросы, то убедитесь что в папке с терминалом (там же, где лежит info.exe и qlua.dll) присутствует файл lua5.1.dll собранный нами. Проверить это можно в свойствах файла:

3.Для каждого отдельного потока, который работает с Lua перед его запуском необходимо проделать примерно следующее:

====code====

 DWORD WINAPI myThread(LPVOID param) 
{    
   lua_State *L = (lua_State*)param;  
   ....  
   return 0;
}   
... 
//вот тут формируется новый стек Lua для потока
lua_gc(L, LUA_GCSTOP, 0);  
thread_L_stack = lua_newthread(L); 
thread_L_ref = luaL_ref( callbackCode, LUA_REGISTRYINDEX); 
lua_pushvalue(callbackCode, -1);  
lua_gc(L, LUA_GCRESTART, 0);  
...    
CreateThread(NULL, 0, myThread, (LPVOID) tread_L_stack, 0, NULL);

============= 4. При завершении работы поток не должен вызывать lua_close(thread_L), это приводит к закрытию всей Lua для скрипта.
5. для того чтобы сборщик мусора при завершении все корректно убрал необходимо сделать:
====code====

lua_unref(L, thread_L_ref);

============= Вроде все.
Но я бы все таки настоятельно рекомендовал использовать Lua coroutine
27.02.2015 06:51:05, Michael Bulychev.

Синхронизация потоков в своей dll на с++

Thu, 26 Feb 2015 20:37:02 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
тема многопоточности, а тем более многопоточности в QLUA - тянет на целую книгу. в одном топике - вам тут никто не ответит на весь список ваших вопросов. Для начала, почитайте вот этот форум: quik2dde.ru. После того, как ВЕСЬ! его прочитаете - прочитайте ещё раза 2.

====quote====
Дмитрий пишет:
Перечитал старый форум, но внятного ответа так и не нашёл.

=============
а потому что его и нет))) внятный ответ должны дать Вы сами, бо как изначально, LUA задумывалась, как однопоточная, потом к ней добавили корутины, дочерние состояния (child lua_State) и пр.

====quote====
Дмитрий пишет:
Наверняка уже многие делали то же, что и я, и многие ещё будут делать.

=============
увы, таких единицы, если считать, чтоб всё ещё СТАБИЛЬНО работало. Дело в том, что сама QLUA постоянно меняется и постоянно допиливается. поэтому, пока не будет нормальной/стабильной "базы" - все наши "устремления" - лишь жалкие поделки, особенно, принимая во внимание изначальную полную "сопливость" штатной дкументации по QLUA.
26.02.2015 20:37:02, sam063rus.

Синхронизация потоков в своей dll на с++

Thu, 26 Feb 2015 19:11:04 +0300

Синхронизация потоков в своей dll на с++ в форуме Программирование на языке Lua.
Добрый день. Перечитал старый форум, но внятного ответа так и не нашёл. Наверняка уже многие делали то же, что и я, и многие ещё будут делать. Поэтому хочу уточнить один важный момент.
Есть Lua - скрипт, в котором подключается своя библиотека на c++. В этой библиотеке создаётся несколько потоков.Например, 1 поток будет отправлять заявки в Quik, другой поток будет читать таблицу параметров, ещё несколько потоков будут подписываться на ТВС и перебирать все сделки через CreateDataSource (а их может быть миллионы). В общем каждый поток будет одновременно запускать какие-то Lua-функции. А Lua - стек у нас только один. Вопрос:
нужно ли синхронизировать эти потоки и гарантировать вызов lua функций из dll в одно время только однажды ? Если да, то получается, что пока какой-то поток, например перебирает все сделки в цикле (миллион), то заявки отправлять нельзя ? Параметры читать нельзя ? Все задачи будут ждать завершения какого-то одного потока ? А если нужно одновременно в разных потоках вызвать CreateDataSource, каждый со своим инструментом, и одновременно их записывать в какие-либо массивы ?
26.02.2015 19:11:04, Дмитрий.