Резкое увеличение размера alltrades.dat при переходе на Quik v.8

Страницы: 1
RSS
Резкое увеличение размера alltrades.dat при переходе на Quik v.8, Размер файла alltrades.dat при переходе c Quik v.6 на Quik v.8 увеличивается более, чем в 1,5 раза при том же количестве сделок
 
Добрый день!

Я перешёл с Quik v.6 на Quik v.8 и обнаружил, что размер файла alltrades.dat резко возрос.  Для меня это ВАЖНО, т.к. в конце каждого торгового дня я архивирую каталог Квика для последующего анализа.
Например, в прошлое воскресенье (28.06.2020) я подключился к серверу как с помощью Quik6, так и с помощью Quik8. (То есть был скачан торговый день 26.06.2020, пятница.) Подключение в воскресенье было выполнено с целю исключить потоки информации, поступающие в течение активного торгового дня.  Квик в обоих случая подключался только на время поступления данных о сделках на ММВБ, т.е. при достижении времени 23:50 в сделках, поступающих в Таблицу всех сделок (ТВС), выполнялось разъединение (Alt+Q).
В Quik6 управлять объёмом заказываемых данных нельзя, в Quik8 я заказал максимальный объём данных в ТВС.

Число сделок в обоих случаях получилось практически одинаковым:
 Quik6 -- 2,621,584 сделки,
 Quik8 -- 2,664,411 сделок (т.е. отличие от Quik6 на полтора процента).
А вот отличие размеров файлов alltrades.dat было более чем существенным:
 Quik6 -- 319 Мбайт,
 Quik8 -- 509 Мбайт.
То есть объём этого файла возрос на 60% -- почти на 200 Мбайт!

Нельзя ли что-нибудь сделать (изменить какие-либо настройки), чтобы сделать размер файла alltrades.dat в Quik8 таким же, как в Quik6?  Ведь в Quik8 этот файл содержит такое же количество сделок, что и в Quik6!  На что тратятся ещё 200 Мбайт?!

Для меня это (повторюсь) более чем СУЩЕСТВЕННО из-за ежедневной архивации каталога Квика для последующего анализа.
 
Цитата
Борис написал:
На что тратятся ещё 200 Мбайт?!
Во-первых, многие поля стали 64-битными. Во-вторых, зарезервировали больше места под каждый тик. На вопросы зачем да почему ответить может только арка, если захочет, но обсуждать формат они вряд ли станут, а в общих чертах не знаю, что можно добавить к сказанному.

Цитата
Борис написал:
Нельзя ли что-нибудь сделать
Если архивируете, сжатие в зип или в рар может существенно уменьшить размер, раз эдак в 10. Если жаль диска в течение дня, можно попробовать включить сжатие непосредственно системой (в свойствах файла атрибуты - другие - сжимать содержимое для экономии места), но это теоретически тормозов добавит, практически не пробовал вообще.
 
Цитата
Борис написал:
Я перешёл с Quik v.6 на Quik v.8 и обнаружил, что размер файла alltrades.dat резко возрос.
Это случилось при переходе на квик7. Вы проспали целую эпоху.
Цитата
Борис написал:
В Quik6 управлять объёмом заказываемых данных нельзя, в Quik8 я заказал максимальный объём данных в ТВС.
С чего бы это в квик6 нельзя управлять? также фильтр есть по классам и бумагам.
Цитата
Борис написал:
А вот отличие размеров файлов alltrades.dat было более чем существенным:  Quik6 -- 319 Мбайт,  Quik8 -- 509 Мбайт.То есть объём этого файла возрос на 60% -- почти на 200 Мбайт!
Что больше пугает? 200М или 60%??

Ну да, новый квик стал получать и хранить больше данных. Я думаю это можно увидеть сравнив таблицы всех сделок в 6 и 7-8 квике.

Ну так, как уже сказали, они отлично архивируются.

И кстати. Сравните изменение размера файла info.log за тот же период. Думаю будете неприятно удивлены.

А можно поинтересоваться, с какой целью вообще делается ежедневная архивация всего каталога??
Может весь-то каталог не нужен, а нужно в конце торговой сессии просто экспортировать все нужные данные куда-то в хранилище? и только те поля которые интересуют.
Это должно дать следующие моменты: 1) не хранить лишние ненужные данные. 2) более эффективная/удобная организация выгруженных данных. 3) возможность временного анализа целостных данных за накопленный перион.
 
Anton, спасибо за ответ!

Действительно, буду теперь паковать.
И сохраняю надежду, что, может быть, представители ARQA тоже как-то прокомментируют эту ситуацию.
 
Imersio Arrigo,  спасибо за ответ!

Цитата
Imersio Arrigo написал:
Это случилось при переходе на квик7. Вы проспали целую эпоху.
Ну, почему же проспал.  Я попробовал перейти на Quik7,  но он неприятнейшим образом зависал -- как при запуске программы (это бы ещё ладно),  но и при каждом установлении/восстановлении связи с сервером (на 1...2мин).  Посмотрев форум, я увидел, что это общая проблема, и решил, что такой квик мне не нужен.
Quik8 в этом отношении намного лучше.

Цитата
Imersio Arrigo написал:
Что больше пугает? 200М или 60%??
Конечно, 200М.  60% указано как обоснование того, что такое увеличение нельзя объяснить незначительной (1.5%) разницей в количестве сделок.

Цитата
Imersio Arrigo написал:
А можно поинтересоваться, с какой целью вообще делается ежедневная архивация всего каталога??
Чтобы иметь полную картину торгового дня, включая моменты, которые я на данный момент ещё не экспортирую и не храню отдельно (например, список ордеров).  Также есть возможность, что со временем возникнет необходимость экспортировать что-то ещё, ныне не экспортируемое.

Цитата
Imersio Arrigo написал:
Сравните изменение размера файла info.log за тот же период. Думаю будете неприятно удивлены.
Сравню.  Может быть, Вы могли бы мне сказать, какая информация хранится в этом файле?
 
Цитата
Борис написал:
Ну, почему же проспал.  Я попробовал перейти на Quik7,  но он неприятнейшим образом зависал
Судя по отзывам тут - с 8 все сильно хуже.
Цитата
Борис написал:
Чтобы иметь полную картину торгового дня, включая моменты, которые я на данный момент ещё не экспортирую и не храню отдельно
Но ведь это картина на конец дня по сути. Что это дает?
Да и, мне кажется, что хранить все сделки по всем инструментам вам не нужно. вы же не анализируете все инструменты. Поэтому имеет смысл зафильтровать поток сделок. Это уменьшит объем данных в разы.
Цитата
Борис написал:
Может быть, Вы могли бы мне сказать, какая информация хранится в этом файле?
Я-то откуда знаю. Что-то сохраняется. Народ жалуется на растущий объем.
Лично меня это не трогает никак. Места на винте хватает. Архивов я не делаю.

Для меня вся информация заключена в графиках. Но их не проблема всегда актуальные получить с сервера.
Поэтому я и интересуюсь зачем вы это делаете.
 
Цитата
Imersio Arrigo написал:
Поэтому я и интересуюсь зачем вы это делаете.
Для численной (программной) обработки.  В том числе по бумагам, которые сейчас мне неинтересны, но потом могут стать интересны. Какие именно -- заранее сказать невозможно.
 
https://www.moex.com/ru/orders?historicaldata
 
Цитата
новичок написал:
https://www.moex.com/ru/orders?historicaldata
Все сделки и все заявки - Тип А
1 рынок (месяц / год ) – 15 000 руб. / 150 000 руб.
1 инструмент (месяц / год ) – 4 500 руб. / 45 000 руб.

Дорого блин.
 
Цитата
Imersio Arrigo написал:
Все сделки и все заявки - Тип А
Дык это фулл ордер лог. Аналог ТВС это тип C.
 
новичок,  спасибо за полезную ссылку!

Пригодится для закрытия неизбежно возникающих пробелов!
 
Уважаемые разработчики Quik!

Не могли бы вы ответить на два вопроса:

1) В файле alltrades.dat содержится только таблица всех сделок или что-то ещё, кроме неё?

2) Что содержится в файле info.log и какими настройками можно влиять на размер этого файла?  Есть ли утилиты для просмотра содержимого этого файла?
 
Цитата
Борис написал:
Уважаемые разработчики Quik!

Не могли бы вы ответить на два вопроса:

1) В файле alltrades.dat содержится только таблица всех сделок или что-то ещё, кроме неё?

2) Что содержится в файле info.log и какими настройками можно влиять на размер этого файла?  Есть ли утилиты для просмотра содержимого этого файла?
Добрый день.

1. В файле alltrade.dat хранится полученная информация по таблице всех (обезличенных) сделок.

2. Размер файла info.log зависит от количества получаемой с сервера информации, и чем меньше информации заказывается с сервера, тем меньше размер файла. Если размер файла сказывается на работе программы (тормозит при запуске, наблюдаются зависания терминала), то можете сократить количество получаемой с сервера информации. Кроме отключения опции "получать пропущенные данные" установите опцию "Исходя из настроек открытых пользователем таблиц".
Страницы: 1
Читают тему (гостей: 1)
Наверх