Оптимизация использования памяти QUIK

Страницы: 1
RSS
Оптимизация использования памяти QUIK, Оптимизация использования памяти QUIK при работе с Таблицей обезличенных сделок
 
Добрый день Уважаемые разработчики !
При работе с Quik создаются файлы alltrade.dat (такой же по объему что и занимаемый Quik в RAM), а также info.log в связи с повышением объемов поступающей информации, размеры указанных файлов становятся значительными. Просьба предоставить возможность пользователям выбора различных путей сохранения для файлов alltrade.dat и info.log, особенно info.log который способен кратно превосходить по размеру размер alltrade.dat (непонятно почему не самоочищается). Данная опция обеспечит возможность расположения этих файлов на HDD, в то время как программа сама будет находиться на SSD (чтобы не затирать SSD временными большими файлами).
И еще одно пожелание, можно ли предусмотреть возможность автоуменьшения размера info.log без остановки работы программы ?
Таблица обезличенных сделок используется Lua scprit-ами и отключение с последующим включением только для того, чтобы визуально проконтролировать чрезмерные размеры info.log создают большие неудобства.
Указанные пожелания объективно диктуются возрастающим количеством сделок на бирже и реально востребованы.

Спасибо заранее.
 
Ограничьте объем получаемых данных в вашем терминале QUIK.
https://www.finam.ru/education/likbez/kak-snizit-potreblyaemyiy-trafik-v-terminale-quik-i-izbezhat-poteri-svyazi-s-serverom-20200304-14330/
https://forum.quik.ru/forum1/topic840/

Дада, снижение траффика - это как раз путь уменьшения размера служебных файлов.
А если вы считаете, что все, что вы получаете, вам требуется - то тогда и служебные файлы будут вот такими, да.
 
Цитата
Albert Eritsyan написал:
Данная опция обеспечит возможность расположения этих файлов на HDD, в то время как программа сама будет находиться на SSD (чтобы не затирать SSD временными большими файлами).

Странное желание.
Основное время запуска QUIK (а только это время волнует пользователя) занимает как раз чтение файлов с накопленными данными.
Если у вас нет места на SSD - просто перенесите весь QUIK на HDD. Ну если вы готовы мириться с упавшей от этого скоростью запуска терминала.
 
Цитата
swerg написал:
Ограничьте объем получаемых данных в вашем терминале QUIK.
https://www.finam.ru/education/likbez/kak-snizit-potreblyaemyiy-trafik-v-terminale-quik-i-izbezhat-poteri-svyazi-s-serverom-20200304-14330/
https://forum.quik.ru/forum1/topic840/

Дада, снижение траффика - это как раз путь уменьшения размера служебных файлов.
А если вы считаете, что все, что вы получаете, вам требуется - то тогда и служебные файлы будут вот такими, да.
Это же, всего лишь временное решение проблемы, которую с неизбежностью придется решить в связи с возросшим объемом сделок, плюс подключение зарубежных бирж.
Речь, всего лишь о предоставлении возможностей сохранения этих файлов по указанным пользователем путям.
Не говоря уже о том, что всю таблицу обезличенных сделок держать в RAM, при условии уже их нахождения на HDD, ну просто незачем, в RAM можно держать только последнюю часть таблицы, при необходимости (т.е. обращении программы к прежним данным интрадей, их можно поднять с HDD).
В чем проблема то ?
В конечном случае по предложенному пусти для уменьшения трафика вообще нужно отключить получение информации о сделках, тогда на трафике точно можно сэкономить, но вопрос то был поднят совершенно иной, а именно для начала дать возможность сохранения этих файлов по путям, указываемым пользователем.
И речь не о жалобе на размеры служебных файлов, а о том как с ними оптимально работать практически не изменив код программы, ведь программа все равно получает путь сохранения служебных файлов. предоставление же опции для больших файлов, ну совершенно безвредная и малозначительная коррекция кода.
 
Цитата
swerg написал:
Цитата
Albert Eritsyan написал:
Данная опция обеспечит возможность расположения этих файлов на HDD, в то время как программа сама будет находиться на SSD (чтобы не затирать SSD временными большими файлами).

Странное желание.
Основное время запуска QUIK (а только это время волнует пользователя) занимает как раз чтение файлов с накопленными данными.
Если у вас нет места на SSD - просто перенесите весь QUIK на HDD. Ну если вы готовы мириться с упавшей от этого скоростью запуска терминала.
Реально, куда больше времени уходит после чтения данных с дисков на синхронизацию и начало получение данных с сервера, вот тут-то info.log может разрастись до гигантских размеров. Пользователей же волнует суммарное время, а не время чтения с диска, так как им нужно синхронизированное поступление данных с сервера, последнее при переподключении терминала и превалирует над временем чтения с диска.
Но, воля Ваша, оценивайте как "странное" желание.
 
Цитата
swerg написал:
Ограничьте объем получаемых данных в вашем терминале QUIK.
https://www.finam.ru/education/likbez/kak-snizit-potreblyaemyiy-trafik-v-terminale-quik-i-izbezhat-poteri-svyazi-s-serverom-20200304-14330/
https://forum.quik.ru/forum1/topic840/

Дада, снижение траффика - это как раз путь уменьшения размера служебных файлов.
А если вы считаете, что все, что вы получаете, вам требуется - то тогда и служебные файлы будут вот такими, да.
Было бы здорово, если бы выбор списка инструментов по таблице обезличенных сделок можно было бы сделать через Lua script, а не вручную, тогда может быть поднятый вопрос на некоторое время был  бы отложен. Но, все равно, увеличивающийся объем сделок, требует коррекции подхода в поднятом вопросе.
Именно поэтому и предоставление опции выбора путей видится самым безобидным решением на данный момент..
 
Цитата
Albert Eritsyan написал:
Цитата
swerg написал:
 
Цитата
Albert Eritsyan  написал:
Данная опция обеспечит возможность расположения этих файлов на HDD, в то время как программа сама будет находиться на SSD (чтобы не затирать SSD временными большими файлами).
 
Странное желание.
Основное время запуска QUIK (а только это время волнует пользователя) занимает как раз чтение файлов с накопленными данными.
Если у вас нет места на SSD - просто перенесите весь QUIK на HDD. Ну если вы готовы мириться с упавшей от этого скоростью запуска терминала.
Реально, куда больше времени уходит после чтения данных с дисков на синхронизацию и начало получение данных с сервера, вот тут-то info.log может разрастись до гигантских размеров. Пользователей же волнует суммарное время, а не время чтения с диска, так как им нужно синхронизированное поступление данных с сервера, последнее при переподключении терминала и превалирует над временем чтения с диска.
Но, воля Ваша, оценивайте как "странное" желание.
Для хранения данных в КВИК используется проецируемые в память файлы т е данные хранятся на диске, а в рам отображаются лишь нужные страницы файлов.
При работе в реальном времени информация с сохраненных файлов используется лишь на несколько процентов, так как история данных в реальных сделках не используется.
Поэтому на скорость торговли размер сохраненных файлов не влияет.
На скорость влияют те циклы, которыми как правило заполнены самопальные программы торговли.
 
Кроме того, циклы используют даже программы индикаторов разработчиков, что является крайне расточительным и не профессиональным решением для программ реального времени.
Учитесь обходится без циклов в прогах реального времени и будет Вам счастье.
---------------
Применение векторов на C в скриптах на луа сократит требуемый объем памяти и повысит быстродействие в десять и более раз.
 
Цитата
nikolz написал:
Цитата
Для хранения данных в КВИК используется проецируемые в память файлы т е данные хранятся на диске, а в рам отображаются лишь нужные страницы файлов.
При работе в реальном времени информация с сохраненных файлов используется лишь на несколько процентов, так как история данных в реальных сделках не используется.
Поэтому на скорость торговли размер сохраненных файлов не влияет.
На скорость влияют те циклы, которыми как правило заполнены самопальные программы торговли.
По факту на конец торгового дня Quik в RAM занял 1,5 Гб, alltrade.dat около 1.4Гб, info.log около 2,6 Гб. Как то странно проецируется alltrade в RAM, при проецировании столько памяти в RAM не должно было выделиться, а должны были выделиться только под нужные страницы файлов.
Данные по Quik 8.13.0.106. Такая же картина по другим версиям Quik.
 
Цитата
Albert Eritsyan написал:
Цитата
По факту на конец торгового дня Quik в RAM занял 1,5 Гб, alltrade.dat около 1.4Гб, info.log около 2,6 Гб. Как то странно проецируется alltrade в RAM, при проецировании столько памяти в RAM не должно было выделиться, а должны были выделиться только под нужные страницы файлов.
Данные по Quik 8.13.0.106. Такая же картина по другим версиям Quik.
Разумеется об info.log говорить не приходится, какова логика логирования, и почему лог файл принимает такие размеры, не понятно. Именно поэтому и просьба дать возможность пользователю указать путь сохранения в другом месте, так как  размер info.log не предсказуем.
 
Albert Eritsyan, Добрый день!

1)
Цитата
Просьба предоставить возможность пользователям выбора различных путей сохранения для файлов alltrade.dat
При перезапуске терминала минимум раз в сутки (рекомендуется) и настройке клиентского места ( верхнее меню Система / Настройки / Основные настройки/ Программа/   Сохранение данных -  "Очищать данные после смены даты"),
       автоматически обеспечивается очистка файловых хранилищ. Если какие-то отдельные файлы необходимо сохранить, Вы можете сделать их резервную копию на своё усмотрение перед очередным запуском программы.
2)
Цитата
предусмотреть возможность автоуменьшения размера info.log без остановки работы программы ?
Таблица обезличенных сделок используется Lua scprit-ами и отключение с последующим включением только для того, чтобы визуально проконтролировать чрезмерные размеры info.log создают большие неудобства.
При сохранении корректного регламента обслуживания терминала (п. 1)  файловые хранилища не должны разрастаться и вызывать проблемы в работе терминала в т.ч. при использовании скриптов.  Используемые скрипты, должны должны быть написаны таким образом, чтобы не оказывать лишнюю нагрузку на терминал.

Если есть сомнения в корректной работе функций QLUA с файловыми хранилищами программы, то для анализа эффекта, пожалуйста, пришлите на почту quiksupport@arqatech.com архив терминала, на котором эффект воспроизводился, скрипт или его минимальный и достаточный код, и дамп процесса во время наблюдения эффекта/работы скрипта.

3)
Цитата
Было бы здорово, если бы выбор списка инструментов по таблице обезличенных сделок можно было бы сделать через Lua script, а не вручную, тогда может быть поднятый вопрос на некоторое время был  бы отложен.
Ваше пожелание зарегистрировано.  Мы постараемся рассмотреть его и сообщить Вам результаты анализа. Впоследствии, по результатам анализа, будет приниматься решение о реализации пожелания в будущих версиях ПО.
 
Цитата
Анастасия написал:
2)
Цитата
предусмотреть возможность автоуменьшения размера info.log без остановки работы программы ?
Таблица обезличенных сделок используется Lua scprit-ами и отключение с последующим включением только для того, чтобы визуально проконтролировать чрезмерные размеры info.log создают большие неудобства.
При сохранении корректного регламента обслуживания терминала (п. 1)  файловые хранилища не должны разрастаться и вызывать проблемы в работе терминала в т.ч. при использовании скриптов.  Используемые скрипты, должны должны быть написаны таким образом, чтобы не оказывать лишнюю нагрузку на терминал.

Если есть сомнения в корректной работе функций QLUA с файловыми хранилищами программы, то для анализа эффекта, пожалуйста, пришлите на почту  quiksupport@arqatech.com  архив терминала, на котором эффект воспроизводился, скрипт или его минимальный и достаточный код, и дамп процесса во время наблюдения эффекта/работы скрипта.
Здравствуйте Анастасия !
Речь, всего лишь, о предоставлении опции сохранения файлов alltrade.dat и info.log по путям, указанным пользователем, а не о некорректной работе терминала. Что касается размеров указанных файлов, они образуются при выполнении указанного Вами п. 1 в конце торгового дня, а не сразу же, т.е. постепенно возрастают по мере поступления информации в терминал пользователя.
Просьба зарегистрировать пожелание предоставления пользователю возможности выбора путей сохранения этих файлов без глобальных изменений кода Quik.
 
Цитата
Albert Eritsyan написал:
Как то странно проецируется alltrade в RAM, при проецировании столько памяти в RAM не должно было выделиться, а должны были выделиться только под нужные страницы файлов.

Значит с точки зрения Windows именно столько и требуется выделить "под нужные страницы файлов".
"Проецирует" в память - операционка, не QUIK.
 
Цитата
Albert Eritsyan написал:
Просьба зарегистрировать пожелание предоставления пользователю возможности выбора путей сохранения этих файлов без глобальных изменений кода Quik.

Я так и не понял: что вам мешает перенести весь QUIK на нужный HDD?
И никакой опции не понадобится.
 
Albert Eritsyan, Здравствуйте!

     Если  файловые хранилища разрастаются к концу дня с учётом перезапуска, возможно, следует проверить настройки терминала и выполнить рекомендации по ссылкам:

     FAQ: Возможные проблемы с производительностью и рекомендации по их устранению — форум QUIK

     FAQ: Оптимизация производительности клиентского места QUIK — форум QUIK


     Также, Вы можете перенести всю папку с терминалом в любое удобное расположение.  
Страницы: 1
Читают тему (гостей: 1)
Наверх