Форум QUIK [тема: Утечка памяти]

Утечка памяти

Fri, 23 Sep 2016 06:45:49 +0300

Утечка памяти в форуме Система QUIK.

====quote====
swerg написал:

====quote====

=============
вы ошибаетесь
=============
приведи свои аргументы
23.09.2016 06:45:49, тот самый.

Утечка памяти

Fri, 23 Sep 2016 06:32:42 +0300

Утечка памяти в форуме Система QUIK.

====quote====
тот самый написал:

====quote====
Николай Камынин написал:
Про сериализацию это конечно хорошо, но когда КВИК зачинали, это слово не применялось.

=============
отнюдь...

====quote====
Николай Камынин написал:
В квике использованы проецируемые в память файлы - это основной метод винды для работы с большими массивами.

=============
кулаком себя в грудь бьёшь?

проецируемые файлы - используются квиком лишь для межпроцессного взаимодействия со всякими метастоками и trans2quik-ми
=============
вы ошибаетесь
23.09.2016 06:32:42, swerg.

Утечка памяти

Thu, 22 Sep 2016 06:29:40 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Николай Камынин написал:
Про сериализацию это конечно хорошо, но когда КВИК зачинали, это слово не применялось.

=============
отнюдь...

====quote====
Николай Камынин написал:
В квике использованы проецируемые в память файлы - это основной метод винды для работы с большими массивами.

=============
кулаком себя в грудь бьёшь?

проецируемые файлы - используются квиком лишь для межпроцессного взаимодействия со всякими метастоками и trans2quik-ми
22.09.2016 06:29:40, тот самый.

Утечка памяти

Thu, 22 Sep 2016 05:50:37 +0300

Утечка памяти в форуме Система QUIK.

====quote====
тот самый написал:

====quote====
Vladimir написал:
А если оперативки 8 ГБ, есть ли разница? Quik же бывает только 32битный, т.е. не может использовать всю память? Т.е. вопрос: можно ли на нем развертывать большие проекты на клуа с сотней ботов?
=============
Размер оперативки - в QUIK-е - влияет лишь на количество одновременно открытых окон и то, до определённого предела.
Как уже говорил - QUIK - относится к системам с обязательной сериализацией данных. То есть, любой "чих" пользователя, а также ЛЮБОЕ изменение в принимаемых и отправляемых транзакциях - он сериализует на ДИСК. Потому что биржевые данные - это реальные деньги. Отсюда и то, что он даже не сжимает данные при хранении на диске - потому что так быстрей.
=============
Про сериализацию это конечно хорошо, но когда КВИК зачинали, это слово не применялось.
В квике использованы проецируемые в память файлы - это основной метод винды для работы с большими массивами.

22.09.2016 05:50:37, Николай Камынин.

Утечка памяти

Thu, 22 Sep 2016 03:51:24 +0300

Утечка памяти в форуме Система QUIK.

====quote====
тот самый написал:
можно было бы, конечно, "пофантазировать" на тему применения жёстких ссылок в NTFS но....
проще купить SSD - специально для QUIK-а.
Размер папки QUIK-а - ну... скажем так... - в среднем.. - 1ГБ.
Если купить самый сопливенький SSD - размеров в 128ГБ - то, его ресурса - хватит, минимум лет на 10 интенсивного использования ТОЧНО.
Цена вопроса - около 3000руб.
=============
отличная статья о сравнении SSD vs SAS vs SCSI:https://habrahabr.ru/post/200464/
SSD - делает их всех по всем фронтам))))
22.09.2016 03:51:24, тот самый.

Утечка памяти

Sat, 17 Sep 2016 20:21:10 +0300

Утечка памяти в форуме Система QUIK.

====quote====
тот самый написал:
Как уже говорил - QUIK - относится к системам с обязательной сериализацией данных. То есть, любой "чих" пользователя, а также ЛЮБОЕ изменение в принимаемых и отправляемых транзакциях - он сериализует на ДИСК. Потому что биржевые данные - это реальные деньги. Отсюда и то, что он даже не сжимает данные при хранении на диске - потому что так быстрей.
=============
таким образом, он НЕ использует столько оперативной памяти - т.к. банально, может пропасть питание и всё улетучится, а по максимуму использует дисковый кеш, который представлен вполне понятными и доступными его файлами с расширениями *.dat, *.ini, *.log

т.е. смысла в 8ГБ оперативки - абсолютно НИКАКОГО.
17.09.2016 20:21:10, тот самый.

Утечка памяти

Sat, 17 Sep 2016 20:16:39 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Vladimir написал:
А если оперативки 8 ГБ, есть ли разница? Quik же бывает только 32битный, т.е. не может использовать всю память? Т.е. вопрос: можно ли на нем развертывать большие проекты на клуа с сотней ботов?
=============
Размер оперативки - в QUIK-е - влияет лишь на количество одновременно открытых окон и то, до определённого предела.
Как уже говорил - QUIK - относится к системам с обязательной сериализацией данных. То есть, любой "чих" пользователя, а также ЛЮБОЕ изменение в принимаемых и отправляемых транзакциях - он сериализует на ДИСК. Потому что биржевые данные - это реальные деньги. Отсюда и то, что он даже не сжимает данные при хранении на диске - потому что так быстрей.
17.09.2016 20:16:39, тот самый.

Утечка памяти

Sat, 17 Sep 2016 20:10:42 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Николай Камынин написал:
Большой проект с сотней роботов невозможно развертывать в QLUA .
=============

====quote====
Николай Камынин написал:
При сотнях роботов надо использовать многопоточность, API C for LUA, и выделенные сервера.

=============
так...всё-таки можно или нельзя?....

====quote====
Николай Камынин написал:
При использовании API C нет проблем задействовать любой объем оперативной памяти.
=============
с этим нет никаких проблем - т.к. когда вы программируете на С++ то, имеет значение лишь количество переданных и принятых интерфейсных переменных, а то, сколько Вы будете использовать память - ВООБЩЕ не имеет значение. Наглядный пример - VCLUA. Это, отнюдь не маленький проект - но, это не мешает ему с его богатой функциональностью.

Просто для того, чтоб иметь возможность запускать 100 роботов - нужно уже задумываться о своём полноценном торговом движке, а не плодить 100 скриптов по одному роботу в каждом (и...считай, как минимум - по одному потоку на скрипт).
Даже в современных 3D-играх - не создают 100 потоков.
17.09.2016 20:10:42, тот самый.

Утечка памяти

Sat, 17 Sep 2016 11:01:02 +0300

Утечка памяти в форуме Система QUIK.
Imersio Arrigo,
спасибо, не знал, что символические ссылки можно создавать также и для файлов.
17.09.2016 11:01:02, Старатель.

Утечка памяти

Sat, 17 Sep 2016 03:19:57 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Старатель написал:
Только при чём здесь жёсткие/символические ссылки NTFS?
=============
Сохдаем виртуальный диск.
Символическим ссылками создаем там файлы конфигурации.
И указываем этот путь квику в качестве рабочего каталога.
В результате файло с данными будет на виртуалке, а изменения настроек храниться где нужно.
17.09.2016 03:19:57, Imersio Arrigo.

Утечка памяти

Fri, 16 Sep 2016 11:07:49 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Imersio Arrigo написал:

====quote====
тот самый написал:
можно было бы, конечно, "пофантазировать" на тему применения жёстких ссылок в NTFS но....

=============
Не жестких, а символических.
=============

Пофантазировать можно. Только при чём здесь жёсткие/символические ссылки NTFS?
16.09.2016 11:07:49, Старатель.

Утечка памяти

Fri, 16 Sep 2016 06:36:46 +0300

Утечка памяти в форуме Система QUIK.
Vladimir написал:

====quote====

====quote====
Imersio Arrigo написал:

====quote====
Тогда при таком требовании, Вы должны отдавать себе отчет в том, что когда программа выжрет всю оперативку (а при наличии на машине ее меньше 4Г это случится очень быстро) вся система просто встанет колом.

=============
...
=============
А если оперативки 8 ГБ, есть ли разница? Quik же бывает только 32битный, т.е. не может использовать всю память? Т.е. вопрос: можно ли на нем развертывать большие проекты на клуа с сотней ботов?
=============
Большой проект с сотней роботов невозможно развертывать в QLUA .
По двум причинам - медленность VM LUA и медленная реакция QUIK.
При сотнях роботов надо использовать многопоточность, API C for LUA, и выделенные сервера.
При использовании API C нет проблем задействовать любой объем оперативной памяти.
16.09.2016 06:36:46, Николай Камынин.

Утечка памяти

Fri, 16 Sep 2016 05:35:27 +0300

Утечка памяти в форуме Система QUIK.

====quote====
тот самый написал:
можно было бы, конечно, "пофантазировать" на тему применения жёстких ссылок в NTFS но....

=============
Не жестких, а символических.
За три минуты пишется скрипт который автоматизирует _вот_это_все_ и можно отлично работать.

Правда я подозреваю что скорость дискового обмена не самое узкое место.
16.09.2016 05:35:27, Imersio Arrigo.

Утечка памяти

Thu, 15 Sep 2016 19:50:26 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Vladimir написал:

====quote====
Imersio Arrigo написал:

====quote====
Тогда при таком требовании, Вы должны отдавать себе отчет в том, что когда программа выжрет всю оперативку (а при наличии на машине ее меньше 4Г это случится очень быстро) вся система просто встанет колом.

=============
...
=============
А если оперативки 8 ГБ, есть ли разница? Quik же бывает только 32битный, т.е. не может использовать всю память? Т.е. вопрос: можно ли на нем развертывать большие проекты на клуа с сотней ботов?
=============
Может.
Как раз за счет этих самых файлов данных, которые кэширует в памяти ОС.
15.09.2016 19:50:26, swerg.

Утечка памяти

Thu, 15 Sep 2016 18:56:25 +0300

Утечка памяти в форуме Система QUIK.
можно было бы, конечно, "пофантазировать" на тему применения жёстких ссылок в NTFS но....
проще купить SSD - специально для QUIK-а.
Размер папки QUIK-а - ну... скажем так... - в среднем.. - 1ГБ.
Если купить самый сопливенький SSD - размеров в 128ГБ - то, его ресурса - хватит, минимум лет на 10 интенсивного использования ТОЧНО.
Цена вопроса - около 3000руб.
15.09.2016 18:56:25, тот самый.

Утечка памяти

Thu, 15 Sep 2016 10:08:39 +0300

Утечка памяти в форуме Система QUIK.

====quote====
s_mike@rambler.ru написал:
Создайте ярляк для info.exe и укажате в нем путь к рабочей папке. Она и будет каталогом временных файлов.
=============
Это будет каталог не только для временных файлов, но и файлов настроек, архива графиков. Не хочется их переносить на виртуальный диск.
15.09.2016 10:08:39, Старатель.

Утечка памяти

Thu, 15 Sep 2016 09:19:25 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Imersio Arrigo написал:

====quote====
Тогда при таком требовании, Вы должны отдавать себе отчет в том, что когда программа выжрет всю оперативку (а при наличии на машине ее меньше 4Г это случится очень быстро) вся система просто встанет колом.

=============
...
=============
А если оперативки 8 ГБ, есть ли разница? Quik же бывает только 32битный, т.е. не может использовать всю память? Т.е. вопрос: можно ли на нем развертывать большие проекты на клуа с сотней ботов?
15.09.2016 09:19:25, Vladimir.

Утечка памяти

Thu, 15 Sep 2016 06:49:01 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Старатель написал:
Предлагаю добавить настройку, где можно было бы задать каталог для временных файлов, таких как info.log, curr_data.log, alltrade.dat, чтобы их можно было бы перенести на виртуальный диск в оперативной памяти для ускорения работы терминала.
=============
можно добавить к таким файлам атрибут "Системный" - тогда сама ОС - будет оптимизировать их в файловой системе для наилучшего быстродействия скорости доступа.
15.09.2016 06:49:01, тот самый.

Утечка памяти

Thu, 15 Sep 2016 00:27:01 +0300

Утечка памяти в форуме Система QUIK.
Создайте ярляк для info.exe и укажате в нем путь к рабочей папке. Она и будет каталогом временных файлов.
15.09.2016 00:27:01, s_mike@rambler.ru.

Утечка памяти

Wed, 14 Sep 2016 22:55:02 +0300

Утечка памяти в форуме Система QUIK.
Предлагаю добавить настройку, где можно было бы задать каталог для временных файлов, таких как info.log, curr_data.log, alltrade.dat, чтобы их можно было бы перенести на виртуальный диск в оперативной памяти для ускорения работы терминала.
14.09.2016 22:55:02, Старатель.

Утечка памяти

Mon, 18 Jan 2016 21:09:05 +0300

Утечка памяти в форуме Система QUIK.
Оказалось сбросился фильтр таблицы всех сделок и принимал всё подряд. Ещё помогло удаление info.log. Я дико извиняюсь. Был не прав.
18.01.2016 21:09:05, Макс Крутой.

Утечка памяти

Thu, 14 Jan 2016 19:34:49 +0300

Утечка памяти в форуме Система QUIK.
https://ru.wikipedia.org/wiki/%D0%A3%D1%82%D0%B5%D1%87%D0%BA%D0%B0_%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D0%B8
14.01.2016 19:34:49, Макс Крутой.

Утечка памяти

Thu, 14 Jan 2016 19:05:55 +0300

Утечка памяти в форуме Система QUIK.
http://forum-archive.quik.ru/forum/quik/119341/120333/?view=list
14.01.2016 19:05:55, Макс Крутой.

Утечка памяти

Thu, 14 Jan 2016 18:58:48 +0300

Утечка памяти в форуме Система QUIK.
Господа певцы! Почему когда я сворачиваю Фаирфокс, объём занимаемой им памяти не уменьшается? Так что теорию про то что винда куда-то там скидывает оставьте для девушек в кабаке. Стасик! Может позовёшь разработчика?
14.01.2016 18:58:48, Макс Крутой.

Утечка памяти

Tue, 17 Nov 2015 16:49:17 +0300

Утечка памяти в форуме Система QUIK.
вкратце, суть в том, что файловое хранилище квика - не оптимизированно для быстрой загрузки/модификации. Это раз...
Во-вторых,
<начиная с этого момента высказываю исключительно собственное мнение - мои мысли (неначём не основанное)>
в основном, квиковцы не считывают разом целый блок параметров, а считывают каждый параметр по отдельности ("по-dword-но"). Попутно проверяют его корректность, что несомненно отражается на занимаемой памяти - т.к. в этот момент, в ОЗУ могут накапливаться результаты промежуточных вычислений конкретных функций обработки конкретных параметров.
В-третьих,
не удивлюсь,
если открытие и закрытие файла параметров (одного из файлов (ну или базы данных сериализуемых параметров)) осуществляется после обработки каждого блока параметров (в худшем случае после каждого параметра).
Этого никак не избежать и никуда от этого не деться в той или иной степени. Выручить может лишь то, если заранее известен размер файла сериализации (т.е. он изначально спроектирован с необходимой избыточностью). В таком случае, будет просто достаточно один раз открыть этот файл (получить его хендл), а не постоянно обращаться к ядру ОС за этим. А доступ/чтение/модификацию параметров - осуществлять по заранее известным смещениям внутри этого файла. Т.е., в этом месте, таким образом, отпадает надобность в парсинге сохранённых параметров и определении (расчёте) смещения для функций вида fileseek (предполагается, что оно уже заранее известно). А значит, уменьшается потребность памяти и увеличивается быстродействие.
В-четвёртых,
для более быстрой работы с параметрами квика - необходимо производить общее обслуживание файловой системы. т.е. запускать такие программы, как CHKDISK. Также желательно использовать файловую систему NTFS на диске где размещён квик (думаю, что это уже не актуально - бо как она сейчас у каждого и так стоит)
Кроме того, важно время от времени проводить частичную дефрагментацию. В проприетарных высокоскоростных серверных приложениях за этим следит отдельный драйвер режима ядра, который следит за физическим размещением наиболее критичных к быстродействию файлов.
В-пятых,
SSD, конечно, весьма сильно выручает ситуацию. Но и тут, приходит момент когда он не спасает, если не заниматься тривиальным техобслуживанием файловой системы.

-------------------
Поначалу, я тоже цеплялся к разработчикам по этому поводу. Но когда посмотрел и проанализировал основные современные подходы в высокоскоростной сериализации данных, представленные на рынке - то, вопросов к разработчикам поубавилось. К тому же, биржевые данные, в особенности, учёт клиентских позиций и транзакций - являются объектами строгой сериализации, обязанными выполняться "на каждый чих" в системе. Соответственно, это всё в любом случае не может занимать мало место и требует определённого запаса по быстродействию.
17.11.2015 16:49:17, тот самый.

Утечка памяти

Tue, 13 Oct 2015 12:40:06 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Дмитрий пишет:
Добрый день!
Провел сегодня несложный эксперимент - в 14:30 выключил терминал, после чего полностью отключил использование файла подкачки в настройках Windows и перезагрузил компьютер. После запуска терминал занял около 650 мб ОЗУ. Через час терминал занимал уже всего лишь 125 мб. Я разорвал соединение с сервером и тут же снова его установил, после чего наблюдал точно такую же картину, как и ранее при использовании файла подкачки - терминал начал загружать данные в память и через некоторое время занял около 550 мб.
Это подтверждает высказанное мною ранее предположение о том, что описанная мною проблема слишком длительной загрузки данных с диска в ОЗУ связана не с медленной работой операционной системы с файлом подкачки, а с тем, что сам терминал в процессе своей работы удаляет из памяти не нужные ему в текущий момент данные, а затем сам же начинает их при необходимости загружать из своих файлов данных на диске. И именно этот процесс загрузки терминалом данных из своих файлов оказывается настолько неэффективным по скорости, что приводит к неспособности терминала продолжать нормальную работу в течение нескольких минут и разрыву соединения сервером по тайм-ауту.
Поэтому прошу рассмотреть вопрос о возможности повышения скорости загрузки данных терминалом из своих файлов или о возможности введения дополнительной настройки, позволяющей запретить самому терминалу (а не ОС Windows) временно освобождать оперативную память в расчете на последующую загрузку данных из файлов терминала, хранящихся на диске.

=============
Добрый день,

Скорость чтения данных из файлов Вы можете увеличить посредством использования более быстрого жесткого диска, например SSD.
13.10.2015 12:40:06, Stanislav Tvorogov.

Утечка памяти

Mon, 12 Oct 2015 15:52:48 +0300

Утечка памяти в форуме Система QUIK.
Добрый день!
Провел сегодня несложный эксперимент - в 14:30 выключил терминал, после чего полностью отключил использование файла подкачки в настройках Windows и перезагрузил компьютер. После запуска терминал занял около 650 мб ОЗУ. Через час терминал занимал уже всего лишь 125 мб. Я разорвал соединение с сервером и тут же снова его установил, после чего наблюдал точно такую же картину, как и ранее при использовании файла подкачки - терминал начал загружать данные в память и через некоторое время занял около 550 мб.
Это подтверждает высказанное мною ранее предположение о том, что описанная мною проблема слишком длительной загрузки данных с диска в ОЗУ связана не с медленной работой операционной системы с файлом подкачки, а с тем, что сам терминал в процессе своей работы удаляет из памяти не нужные ему в текущий момент данные, а затем сам же начинает их при необходимости загружать из своих файлов данных на диске. И именно этот процесс загрузки терминалом данных из своих файлов оказывается настолько неэффективным по скорости, что приводит к неспособности терминала продолжать нормальную работу в течение нескольких минут и разрыву соединения сервером по тайм-ауту.
Поэтому прошу рассмотреть вопрос о возможности повышения скорости загрузки данных терминалом из своих файлов или о возможности введения дополнительной настройки, позволяющей запретить самому терминалу (а не ОС Windows) временно освобождать оперативную память в расчете на последующую загрузку данных из файлов терминала, хранящихся на диске.
12.10.2015 15:52:48, Дмитрий.

Утечка памяти

Mon, 12 Oct 2015 07:24:09 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Дмитрий пишет:

====quote====
Gridmer пишет:
При сворачивании любой программы винда ее скидывает из памяти в файл подкачки. При разворачивании начинает оттуда подгружать обратно.

=============
Все несколько сложней. При разворачивании квика совсем не обязательно начнется подгрузка данных из файла подкачки в память.
Зато такая подгрузка может начаться и при свернутом окне терминала, если ему в процессе работы вдруг понадобятся какие-то данные, которые были ранее удалены из памяти и, возможно, сброшены в файл подкачки (я не уверен, что они подгружаются из файла подкачки, а не из файлов данных самого терминала).
И процесс такой подгрузки данных с диска в память может оказаться настолько длительным, что в итоге связь с сервером разорвется по тайм-ауту.

Поэтому было бы здорово, если бы разработчики добавили настройку в терминал, которая позволяла бы запретить удаление данных из памяти с последующей из загрузкой с диска при необходимости, а заставляла бы вместо этого постоянно держать все данные терминала в оперативной памяти.
Прошу зарегистрировать такое пожелание на доработку.

=============
Добрый день,

Мы рассмотрели Ваше пожелание. По итогам его анализа сообщаем Вам, что пожелание отклонено по причине, что быстродействие механизма виртуальной памяти в актуальных версиях ОС позволяет не обращать внимание на тот факт, в каком месте находятся данные - в оперативной памяти или в файле подкачки.
12.10.2015 07:24:09, Stanislav Tvorogov.

Утечка памяти

Tue, 22 Sep 2015 10:08:27 +0300

Утечка памяти в форуме Система QUIK.

====quote====
Дмитрий пишет:
Imersio Arrigo , я не собираюсь дальше продолжать с Вами спор, т.к. считаю это бесполезной тратой времени.

=============
Да я собственно с вами не спорю, а пытаюсь обратить ваше внимание на то, что вы смешиваете теплое с мягким.
Но, Ваше право, ответ: "я нехочу разбираться, я хочу пи-пи-пи" тоже принимается :)
22.09.2015 10:08:27, Imersio Arrigo.

Утечка памяти

Tue, 22 Sep 2015 10:02:32 +0300

Утечка памяти в форуме Система QUIK.
Imersio Arrigo, я не собираюсь дальше продолжать с Вами спор, т.к. считаю это бесполезной тратой времени.

Если у разработчиков возникнут какие-то вопросы на эту тему, то я им предоставлю всю необходимую информацию.

====quote====
Imersio Arrigo пишет:
Подайте заявку в контору на реализацию пожелания. Возможно его и примут. примерно через десятьтыщлет...

=============
Уже подал, пожелание зарегистрировано:
https://forum.quik.ru/messages/forum1/message8857/topic928/#message8857
22.09.2015 10:02:32, Дмитрий.