Для писателей роботов

Страницы: 1
RSS
Для писателей роботов
 
Рекомендую ознакомиться :
https://habr.com/ru/articles/680872/
 
nikolz,  Ознакомился. Тем, кто впаривает свои поделия лохам, возможно, и полезная заметка, но кроме них - никому. Одно название чего стоит: "Интеграция QUIK в инфраструктуру или API"! Интеграция сраной прикладной задачи?! Куда?! Зачем?!

"QUIK для большинства серьёзных (!) игроков рынка является очень популярной системой". Ну, допустим, что остальное дерьмо ещё хуже.. Я, во всяком случае, ничего другого искать не хочу.

"Для разных продуктов системы требуются разные версии библиотек". Ну так пишите на чистом Lua, забульте про все библиотеки как страшный сон, и будет вам ЩАСТЬЕ!

"Множество продуктов линейки QUIK используют БД MS SQL". О, Господи! Только этого говна нам и не хватало!

"Транспортная часть представляет собой проприетарный протокол, защищённый шифрованием". Ну так забудь про него - не твоё это свинячье дело!

Дальше разные сопли про кодировки, ODBC, какой-то QUIK Exporter, RealTime данные, API, файлы данных сервера и клиента - короче, о чём угодно, кроме торговли. О! Автор стал объяснять, что такое "портфель клиента"! Причём так классно, что сразу становится ясно: автор в этой теме ни уха ни рыла. Да, впрочем, и в любой другой, кроме разве что словоблудия: дальше пошли "In-Memory базы", "эффективно построенные индексы", "механизмы хранения данных основанные на базах временных рядов", какие-то дебильные "замеры с милли или микросекундами". Заканчивается всё гениальнейшим выводом: "Не надо гнаться за "фичами", главное функциональность".
 
В данной статье меня заинтересовало следующее:

Также необходимо помнить, что объём передаваемых данных в сторону клиентов, так и в QuikExporter ограничен для обеспечения стабильности работы.

Попробуем немного посчитать. У нас есть 10000 клиентов, у каждого из них 3 счёта в валюте (рубли, доллары, евро). Плюс к этому портфель на 30 бумаг. При этом лимиты у нас существуют в двух днях(Т0 и Т+). 10000*3*2+10000*30*2 = 60000+600000 = 660000 элементов. Пропускная способность не сильно производительного mssql сервера примерно 1500-2000 транзакций в секунду. Итого для загрузки информации о портфелях в промежуточную базу нужно 660000/2000 = 330 секунд, это 5 с половиной минут.

и это:

Ниже скрипт для автоматического разбора группы файлов из бинарного формата в человекочитаемый.

quik_candlefile_dat_parser.py

и это:
Дело в том, что в момент начала фазы передачи данных таблиц MoneyLimits и DepoLimits, QUIK Exporter полностью блокирует приём любых данных кроме этих, до окончания передачи.



















 
Еще очень прикольно,
что есть API и его раздают брокерам,
а их клиентам -  фиг вам,
хотя за все платят клиенты.
----------------
 
Я, конечно, не знаю давность информации и конфигурацию оборудования, но вот это: "Пропускная способность не сильно производительного mssql сервера примерно 1500-2000 транзакций в секунду" вызывает сомнения.
20-30к в секунду - это нормально. Бывает и 200к.

А если взять другие базы данных, то там 100-200к - это просто норма, не говоря уже про документные базы. Если бы, для примера Quik был на NYSE, то при 1,5к - просто все встало бы.
И, кстати, оставаться сейчас на транзакционной базе данных для прокси сервера, уже выглядит странно.

Так что, если это так, то все настолько печально, что даже уже не вызывает никаких эмоций прибитая гвоздями кодировка win-1251.
 
Цитата
написал:
Я, конечно, не знаю давность информации и конфигурацию оборудования, но вот это: " Пропускная способность не сильно производительного mssql сервера примерно 1500-2000 транзакций в секунду "   вызывает сомнения.
20-30к в секунду - это нормально. Бывает и 200к.

А если взять другие базы данных, то там 100-200к - это просто норма, не говоря уже про документные базы. Если бы, для примера Quik был на NYSE, то при 1,5к - просто все встало бы.
И, кстати, оставаться сейчас на транзакционной базе данных для прокси сервера, уже выглядит странно.

Так что, если это так, то все настолько печально, что даже уже не вызывает никаких эмоций прибитая гвоздями кодировка win-1251.
Вы немного путаете. В данном случае речь идет о сервере.
Раньше читал выступление разработчиков QUIK в котором они сами говорили что их сервера обеспечивают скорость 1000 транзакций в секунду.
Если стало лучше , то поправит.
 
... поправят.
 
Не вижу связи между названием темы здесь и содержанием статьи. Уж для чего-чего, а для решения прикладных задач на клиентской стороне QUIK вся эта муть нахрен не нужна. С серверами и "интеграциями" сисадмины брокера пусть сношаются.
 
В этой статье меня тоже заинтересовало это:

"Ниже скрипт для автоматического разбора группы файлов из бинарного формата в человекочитаемый.

quik_candlefile_dat_parser.py"

но скрипт так и не заработал.
Может быть кто-то подскажет как бинарные файлы квика раскрыть?
 
Цитата
написал:
В этой статье меня тоже заинтересовало это:
"Ниже скрипт для автоматического разбора группы файлов из бинарного формата в человекочитаемый. quik_candlefile_dat_parser.py"

но скрипт так и не заработал.
Может быть кто-то подскажет как бинарные файлы квика раскрыть?
Это скрипт для разбора серверных dat файлов. На клиенте другой формат.
 
Занимательно, что на хабре так и не появились комментарии. Весьма редкий случай.

Статья описывает организацию серверной части QUIK у брокера. Лично я не встречал столько подробного описания в открытых источниках ранее.
Какую пользу могут вынести роботописатели в терминале QUIK - не очень понимаю. Ну кроме понимания, что "всё не просто"
 
Цитата
modred написал:
Может быть кто-то подскажет как бинарные файлы квика раскрыть?

Для графиков клиентского места, существует специальный редактор, который, в том числе умеет сохранять информацию в текстовый файл.
https://arqatech.com/upload/iblock/4d8/QMinEditor.zip

Зачем скрипт не понятно

Цитата
funduk написал:
Это скрипт для разбора серверных dat файлов. На клиенте другой формат.
Судя по коду, нет.

А вообще, в статье процентов 30-40 либо не правда, либо описано не достаточно полным образом, так и хочется добавить "а еще есть то-то и то-то" и многое что в статье названо "нельзя", на самом деле легко настраивается.

Статью писал человек явно опытный, но не имеющий достаточно информации.
 
Судя по откликам, писатели ничего не увидели интересного.
Поэтому выскажу свое мнение.
------------
Про возможность конвертации данных из TXT в формат DAT и обратно.
---------------------
Есть два случая, когда надо дописать данные в архив свечей в формате DAT.
---
1) Иногда в истории появляются пропущенные дни, которые хотелось бы восстановить.
---
2) Для тестирования алгоритмов на истории нужна история больше чем 3000 свечей, доступных с сервера.
--
Пока единственный способ получить больше - это накапливать историю в реальном времени.
--------------------
Да, в статье рассказываются проблемы (особенности ) работы брокеров с сервером.
Но не стоит забывать, что все клиенты брокера получают инфу от этого сервера.
проблемы сервера - проблемы клиентов.
--------------
В статье есть два интересных момента.
Первый касается загрузки данных по клиентам. Пусть и упрощенно, но показано, что клиенты могут курить бамбук многие минуты.
------------------
Второй момент связан с загрузкой состояния счетов, при которой блокируются остальные потоки. т е опять клиенты курят бамбук.
---------------------
В статье говорится о скорости ядра в 2000 транзакций. Раньше читал о 1000.  
Писатели и буратины, могут просто посчитать сколько ждать ответки с биржи, когда рынок активно торгуется.
-------------------------  
Прикольно читать чистосердечные признания типа:
Ничего не понял (не увидел, не внюхал).
Всегда интересовало, зачем чел это пишет?
Ну не понял, твоя проблема.
Не интересует, не читай.  
 
Цитата
nikolz написал:
<...>
Всегда интересовало, зачем чел это пишет?
<...>
Вместо "чел" подставь "nikolz", вместо "это" - 95% собственных опусов. Вот это будет правильная постановка вопроса.
 
Цитата
nikolz написал:
Про возможность конвертации данных из TXT в формат DAT и обратно.---------------------Есть два случая, когда надо дописать данные в архив свечей в формате DAT.---1) Иногда в истории появляются пропущенные дни, которые хотелось бы восстановить.
Когда я нашёл эту статью (за пару месяцев до данной темы), я ровно для этого её и использовал, так что она полезна. Про остальные моменты в статье -- уже не уверен, т.к. они, в отличие от формата (по факту), могли поменяться.
Страницы: 1
Читают тему
Наверх