Корректность тиковых данных

Страницы: 1
RSS
Корректность тиковых данных
 
Решил сверить тиковые данные RTS с тем, что приходит через финамовский QUIK. Смотрю на тикер SVZ5. Они не очень хорошо согласуются.

Кто вообще отвечает за корректность тиковых данных? Их предоставляют ваши сервера или у брокеров свой канал к бирже? Если вы, то имеется ли у брокера техническая возможность докрутить свой дополнительный метчинг сделок от своих клиентов, исполнять их не выводя на биржу и добавлять результаты к потоку данных с биржи? (в логах QUIK могут быть сделки, которых нет в тиковых данных на бирже?). И наоборот, чем можно объяснить то, что в тиковых данных биржи сделка есть, а в QUIK'е ее нет и близко.
 
Да было бы неплохо посравнивать ленты, стаканы у разных брокеров, вряд ли кто то будет химичить с этим как на форексе, но всё же…
Предлагаю расшарить по например ленте за определённый день фьюча Si от разных брокеров с боевых счетов и сравнить
(Просто взять таблицу ленты скопировать(ctrl+C) и вставить в блокнот или эксель и сохранить как csv пример https://www.dropbox.com/s/938djfkpcxprzqk/SiZ5.10.12.15.rar)
Тока надо синхронизироваться чтобы за один день было от хотя бы двух разных брокеров

я могу нарисовать графики и выложить здесь результаты сравнения, там уже подумаем, кого чествовать а кого в тюрьму :shock:
 
По количеству строк сходится (700 716 тиков).

Тиковые данные по индексам, транслируемые в QUIK, могут не совпадать с теми, что скачиваются с сайта "Финама". См., например, индекс MICEX. У "Финама" есть некие объёмы, чего нет в QUIK (по крайней мере, у меня).
 
Данную проблему поднимал почти год назад: Архив графиков.
Проблема в том, что на сервере QUIK нет никакого контроля качества принимаемой информации. И, если в результате какого-либо сбоя на одном из узлов передачи данных между шлюзом биржи и сервером QUIK часть данных "потеряется", то это так и останется незаметным для сотрудников брокера, пока (и если) кто-нибудь из бдительных пользователей не сообщит им об этом.
Проблема отсутствия части сделок в ТВС, и как следствие - части данных на графиках, - явление не редкое: по одному только инструменту более 2% в год.  
Надо делать так, как надо. А как не надо - делать не надо.
 
Цитата
Truf пишет:
Решил сверить тиковые данные RTS с тем, что приходит через финамовский QUIK. Смотрю на тикер SVZ5. Они не очень хорошо согласуются.

Кто вообще отвечает за корректность тиковых данных? Их предоставляют ваши сервера или у брокеров свой канал к бирже? Если вы, то имеется ли у брокера техническая возможность докрутить свой дополнительный метчинг сделок от своих клиентов, исполнять их не выводя на биржу и добавлять результаты к потоку данных с биржи? (в логах QUIK могут быть сделки, которых нет в тиковых данных на бирже?). И наоборот, чем можно объяснить то, что в тиковых данных биржи сделка есть, а в QUIK'е ее нет и близко.
Добрый день.

Тиковые графики строятся по таблице всех сделок, если Вы говорите, что данные не корректны, то необходимо этот вопрос решать на стороне брокера.
Смотреть, какие данные приходят с биржи и какие попадают в QUIK. Поэтому обратитесь к брокеру, если он затрудниться ответить, то необходимо, что он с вашим вопросом пришел к нам. Будем разбираться.
Для изучения проблемы желательно предоставить: Выгруженные все сделки из QUIK по одному, проблемному инструменту и  все сделки по инструменту со стороны биржи.
 
Цитата
Egor Zaytsev пишет:
решать на стороне брокера.
Смотреть, какие данные приходят с биржи и какие попадают в QUIK
Правильно ли я понимаю, что когда вы поставляете QUIK брокеру, он его подключает к бирже сам, через свой канал. У вас же тоже есть свой сервер и свое подключение, которое используется для построения как минимум архива графиков. Т.о. если данные не согласуются в таблице обезличенных сделок - то это проблема брокера, если с историческими графиками - то проблема у вас?
 
Цитата
bondar пишет:
Да было бы неплохо посравнивать ленты, стаканы у разных брокеров, вряд ли кто то будет химичить с этим как на форексе, но всё же…
На данном этапе лично меня химичание брокеров не сильно интересует. Просто, есть большой архив тиковых данных по ФОРТС в открытом доступе из наиболее доверенного, как мне кажется, источника - это ftp'шник самого RTS, на который я сослался в первом посте. Это - отличный источник данных для различных статистических исследований и машинного обучения. И вот именно он сильно не похож, на то, что я увидел в QUIK. Нужно будет еще посидеть, подумать и оценить на сколько, а также почему.

Если мы сравним данные QUIK'ов разных брокеров - мы может быть и увидим небольшую разницу. Но их разница с тем, что лежит на сервере RTS в разы больше и она никак не может быть объяснена химичанием. Я боюсь напороться например на то, что биржа сплитит или объединяет сделки по тикам и выдает их брокерам в таком виде, а себе в архив пишет как было на самом деле. Или наоборот - брокер получает как на самом деле, а архив RTS постобработан. И встанет вопрос о том, что данные с фтп'шника RTS, будь они 100 раз правильнее данных в терминалах, в исследованиях использоваться не могут, т.к. расходятся с практикой. Например:
Цитата
_sk_ пишет:
По количеству строк сходится (700 716 тиков).
А у RTS приблизительно 1.5 млн тиков.

В общем, надо посмотреть, поразглядывать. Отпишусь потом по результатам.
 
Цитата
Truf пишет:
Цитата
Egor Zaytsev пишет:
решать на стороне брокера.
Смотреть, какие данные приходят с биржи и какие попадают в QUIK
Правильно ли я понимаю, что когда вы поставляете QUIK брокеру, он его подключает к бирже сам, через свой канал. У вас же тоже есть свой сервер и свое подключение, которое используется для построения как минимум архива графиков . Т.о. если данные не согласуются в таблице обезличенных сделок - то это проблема брокера, если с историческими графиками - то проблема у вас?
Что подразумевается под "своим каналом" ?
Подключение комплекса QUIK к торговым система бирж осуществляется через программно - аппаратные интерфейсы.

Если данные в таблице сделок не соответствуют данным биржи, то здесь нужно разбираться с серверными логами и анализировать проблему. Что касается архива графиков, то если у брокера свой сервер, то и модуль введения архива находится у него и если проблема с историческими данными на графиках, то здесь тоже нужно смотреть в сторону брокера.


Код
У вас же тоже есть свой сервер и свое подключение, которое используется для построения как минимум  архива графиков . 
У нас есть демо сервер и архив графиков нами на нем не ведется.
 
Заранее пардон за тупые вопросы - я только начал разбираться.
Ок. Если у вас есть тестовый сервер, то у вас есть как минимум один такой программно - аппаратный интерфейс. Или доступ к нему, если он в собственности биржи. Вот вы продали брокеру QUIK со всеми необходимыми модулями. Или подарили. Развернули у него сервер QUIK. Дальше он САМ идет на биржу подключаться (или использует уже имеющееся СВОЕ подключение к своему программно - аппаратному интерфейсу)? Или он идет подключаться к ВАШЕМУ программно - аппаратному интерфейсу? Или и так и так может быть в зависимости от желания брокера?

Или этот программно - аппаратные интерфейс не стандартный Plaza2 и пр., а ваша собственная (с биржей) разработка, специально сделанная под Quik? И тогда, полюбому к вам с логами приходить. Или даже в этом случае сервер quik может и по Plaza2 к бирже быть подключен, и тогда вы можете быть не причем?

Просто, если я сейчас получу логи с сервера брокера, и они совпадут с тем, что на моем терминале, то брокер скажет, что он что получает, то и ретранслирует. А затем пошлет меня с этими логами либо на биржу, либо к вам, как поставщику данных, либо к вам же, как обслуживающим специфичный для QUIK "программно - аппаратные интерфейс". Вот интересно, к кому?
 
Цитата
Truf пишет:
А у RTS приблизительно 1.5 млн тиков.

В общем, надо посмотреть, поразглядывать. Отпишусь потом по результатам.
Если не сложно можно ссылку на конкретный архив где Вы отыскали ленту(ТВС) SiZ5 за вчера(10.12.15), я бы тоже хотел поразглядывать, не могу найти у них на фтп, там где 1.5 мио тиков (((
Надо бы четко сравнить по количеству и значениям
Такое большое расхождение конечно не дело((( Возможно в "чистом" потоке есть некие дополнительные "тики" внесистемные сделки или что то служебное
 
Цитата
bondar пишет:
Цитата
Truf пишет:
А у RTS приблизительно 1.5 млн тиков.

В общем, надо посмотреть, поразглядывать. Отпишусь потом по результатам.
Если не сложно можно ссылку на конкретный архив где Вы отыскали ленту(ТВС) SiZ5 за вчера(10.12.15), я бы тоже хотел поразглядывать, не могу найти у них на фтп, там где 1.5 мио тиков (((
Надо бы четко сравнить по количеству и значениям
Такое большое расхождение конечно не дело((( Возможно в "чистом" потоке есть некие дополнительные "тики" внесистемные сделки или что то служебное
http://ftp.micex.com/pub/info/stats/history/F/2015/FT151210.zip
Там 151210ft.csv внутри. Я вчера грубо оценил кол-во внесистемных сделок - их там 6-7 тыс. Будет время - сегодня посмотрю детальнее.
Хочу заметить, что они пихают в эти данные вечернюю сессию предыдущего дня. Сначала идут тики с 19.00 до 22:00 предыдущего дня, потом с 10:00 до 18:45 текущего. А вечерняя сессия попадает в файл следующего дня. Сами файлы публикуются ежедневно в 19:01.
 
Цитата
Truf пишет:
Заранее пардон за тупые вопросы - я только начал разбираться.
Ок. Если у вас есть тестовый сервер, то у вас есть как минимум один такой программно - аппаратный интерфейс. Или доступ к нему, если он в собственности биржи. Вот вы продали брокеру QUIK со всеми необходимыми модулями. Или подарили. Развернули у него сервер QUIK. Дальше он САМ идет на биржу подключаться (или использует уже имеющееся СВОЕ подключение к своему программно - аппаратному интерфейсу)? Или он идет подключаться к ВАШЕМУ программно - аппаратному интерфейсу? Или и так и так может быть в зависимости от желания брокера?

Или этот программно - аппаратные интерфейс не стандартный Plaza2 и пр., а ваша собственная (с биржей) разработка, специально сделанная под Quik? И тогда, полюбому к вам с логами приходить. Или даже в этом случае сервер quik может и по Plaza2 к бирже быть подключен, и тогда вы можете быть не причем?

Просто, если я сейчас получу логи с сервера брокера, и они совпадут с тем, что на моем терминале, то брокер скажет, что он что получает, то и ретранслирует. А затем пошлет меня с этими логами либо на биржу, либо к вам, как поставщику данных, либо к вам же, как обслуживающим специфичный для QUIK "программно - аппаратные интерфейс". Вот интересно, к кому?
Truf, брокер вам врятли предоставит логи, поэтому всеже рекомендуем решать вопрос через брокера. Если сам брокера не сможет разобраться, то он придет к нам. Обратим внимание, что на момент обращения к брокеру у Вас должна быть подготовлена информация для сравнения. Сделки из QUIK - сделки с биржи.

Код
Или он идет подключаться к ВАШЕМУ программно - аппаратному интерфейсу?  
Нет, брокер приобретает сервер QUIK и отдельно приобретает программно - аппаратные интерфейсы, другими словами шлюзы, и уже через низ брокер получает биржевую информацию.
 
Цитата
Truf пишет:
http://ftp.micex.com/pub/info/stats/history/F/2015/FT151210.zip
Там 151210ft.csv внутри. Я вчера грубо оценил кол-во внесистемных сделок - их там 6-7 тыс. Будет время - сегодня посмотрю детальнее.
Хочу заметить, что они пихают в эти данные вечернюю сессию предыдущего дня. Сначала идут тики с 19.00 до 22:00 предыдущего дня, потом с 10:00 до 18:45 текущего. А вечерняя сессия попадает в файл следующего дня. Сами файлы публикуются ежедневно в 19:01.
Спасибо за ссылку, я проверил, результаты довольно благоприятные, если убрать внесистемные сделки, расхождения по количеству не замечено, есть 0,1% перепутанных трейдов, то есть не большие куски  когда последовательность отличается в квике и с РТС, НО суммарные объёмы ошибочных трейдов на удивление одинаковы, а если присмотреться к микросекундам то как правило перепутывание идёт на одинаковой микросекунде, то есть это грубо говоря один маркет трейд размазанный по стакану и особо неважно как там последовательность, оно всё равно будет реконструироваться в один трейд.

Вердикт: Данные почти идентичны,  даже не ожидал)))

Проект(C#) прилагается, кто хочет может, удостовериться, может я что то напутал



 
Цитата
bondar пишет:
Спасибо за ссылку, я проверил, результаты довольно благоприятные
Это отличный результат. Я проверил - файлы сходятся. Возможно, зря я переживал и ввели меня в заблуждение несистемные сделки. Но, вроде, я ориентировался на время сделки и сравнивал RTS с тем, что нападало мне в таблицу QUIKа за день. Сегодня еще раз постараюсь посмотреть именно на эти данные QUIK'а.

Я же правильно понимаю, что quik.csv - это полученные с сервера через quik исторические данные, экспортированные в файл? Или они прямо с сайта где-то доступны?

И совсем глупый, неотносящийся к теме, вопрос в зал -  никто не подскажет, на каком основании Quik присваивает тику операцию (Buy\Sell)?
 
Цитата
Truf пишет:
Я же правильно понимаю, что quik.csv - это полученные с сервера через quik исторические данные, экспортированные в файл?
Да, это ТВС квика по SiZ5 отфильтрованная cкопированна с терминала в текстовый файл, там он выше есть по теме, за 1012, второй rts.csv это с той ссылки что Вы дали на фтп, там я только подрезал вчерашнюю сессию вначале,  фильтранул оставив SiZ5  , но я думаю что по прочим инструментам ситуация будет похожая

жаль эта история сделок с фтп без направлений(купить\продать) так бы можно было активно юзать, но без направлений утилетарность существенно ниже, ну я не говорю уже про стаканы изменения и все остальные потоки, всё таки историю приходится писать самому, или покупать полный ордерлог
 
о каких брокерах идёт речь?
 
Цитата
bondar пишет:
это ТВС квика по SiZ5 отфильтрованная cкопированна с терминала в текстовый файл
Сразу оговорюсь, что использую Quik 7.0.0.289 и таблицу обезличенных сделок. Как я понимаю, это и есть переименованная ТВС. По кр мере они в LUA дергают одну и ту же функцию OnAllTrade.

Я сравнил ~3х часовой отрезок, выгруженный в Excel по DDE из моего терминала, и он не сошелся. Я получаю примерно в 6 раз меньше тиков по всем инструментам и в 10 раз, если брать один SiZ5. У меня в среднем 4 тика в секунду проходит. Скорее всего это связано с тем, что я ковыряю данные с учебного сервера ФИНАМа (QuikJunior). Это же ответ на:
Цитата
Eugene пишет:
о каких брокерах идёт речь?
Зарезать тиковые данные на учебном сервере в принципе - логично. Это уменьшит нагрузку и не даст бесплатно собирать исторические данные. Нужно будет по-человечески оформится у них и попробовать все это же на нормальном боевом сервере.

И на свой же вопрос

Цитата
Truf пишет:
на каком основании Quik присваивает тику операцию (Buy\Sell)
нашел такой ответ:

Цитата
читаем в руководстве: "Направленность заявки, инициирующей заключение сделки: «Купля» - заключена сделка путем выставления заявки на покупку против находящейся в торговой системе котировки на продажу, «Продажа» - заключена сделка по заявке на продажу. Для рынка FORTS направленность заявки, инициирующей заключение сделки, определяется направлением исполнившейся заявки с меньшим номером.". Крайняя фраза конечно доставляет ("направленность заявки, инициирующей заключение сделки, определяется...")- определяется она тем кто ее таки выставил))). Ну если серьезно - на ФОРТСе чья заявка была раньше выставлена - такова и направленность сделки.
отсюда. Там же спор о значимости этих данных.
 
Цитата
Truf пишет:
Я сравнил ~3х часовой отрезок, выгруженный в Excel по DDE из моего терминала, и он не сошелся. Я получаю примерно в 6 раз меньше тиков по всем инструментам и в 10 раз, если брать один SiZ5. У меня в среднем 4 тика в секунду проходит. Скорее всего это связано с тем, что я ковыряю данные с учебного сервера ФИНАМа ( QuikJunior ). Это же ответ на:
Да, учебный сервер это вообще другой поток на сколько я знаю, он не коррелирует с реальным,  не знаю как строится ценообразование на демках в точности, было бы интересно это узнать от официальных лиц из Arqatech, но если приблизительно, судя по потоку данных, книгу заявок демосерверов формируют либо чисто участниками демоторгов, либо чучуть туда подмешивается псевдо-ММ от брокера, который тречит цену с реала, что бы "смодулировать" демщиков, в общем скорей всего каждый брокер сам волен выбирать как строить свои демо потоки, таким образом демоданные нерелевантны


Я бы посоветовал сразу зарегистрировать реальный счет, правильные данные будут поступать сразу даже если Вы не пополните депо(у многих брокеров), можете данные брать с реала а торговать на деме, тестируя торговую инфраструктуру и Алгоритмы, потом как всё заработает проверите на в бою, но нада понимать что демо стаканы как правило куда более разряжены чем реалы и отстают* от реала, поэтому легко делать профит, которого не будет на реале от таких же действий. К сожалению демосчета не позволяют делать симуляции приближенные к реальности, из за других паттернов распределения ликвидности, они что бы научиться ордлера отправлять с терминалом познакомиться и тд.
 
Цитата
Truf пишет:
на каком основании Quik присваивает тику операцию (Buy\Sell)
Направление по агрессору, то есть кто маркетом забрал то что лежало в стакане. Но в ленте объёмы видны те что стояли в стакане
например :
стакан
101 20000
100 500
99 100
98 10
97 5

96 0
95 0

94 5
93 1000
92 500
91 10000
90 755


По нему бьёт маркет на покупку объёмом в 1000, без лимита проскальзывания, а затем 2000 на продажу в ленте получится примерно так
97 5 Купля
98 10 Купля
99 100 Купля
100 500 Купля
101 385 Купля
94 5 Продажа
93 1000 Продажа
92 500 Продажа
91 495 Продажа
 
Цитата
bondar пишет:
в ленте получится примерно так
нет, на каждой цене может быть много заявок, все они в ленту выведутся
 
Здравствуйте,можете подсказать??У меня проблема с загрузкой тиковых графиков при установлении связи..А конкретнее медленно загружаются тиковые данные и данные с таблицы всех сделок.Так же открыты стаканы Qscalp.Данные подгружаются очень медленно.Если же я сворачиваю терминал,то загрузка идёт быстро.Это видно из открытых окон Qscalp-сделки загружаются почти мгновенно.В чём может быть причина?Может ли это быть результатом использования слабой видеокарты или проблемы иного характера используемого ПО?Используемый процессор "Intel Pentium G4560", другие требования арки к ПО выполняются..Буду благодарен за ответ
 
Цитата
psih написал:
Здравствуйте,можете подсказать??У меня проблема с загрузкой тиковых графиков при установлении связи..А конкретнее медленно загружаются тиковые данные и данные с таблицы всех сделок.Так же открыты стаканы Qscalp.Данные подгружаются очень медленно.Если же я сворачиваю терминал,то загрузка идёт быстро.Это видно из открытых окон Qscalp-сделки загружаются почти мгновенно.В чём может быть причина?Может ли это быть результатом использования слабой видеокарты или проблемы иного характера используемого ПО?Используемый процессор "Intel Pentium G4560", другие требования арки к ПО выполняются..Буду благодарен за ответ
Добрый день.

Если при сворачивании приложения проблема пропадает - стоит смотреть в сторону видеокарты, возможно, что проблема не с получением данных, а с их отрисовкой. Нужно проверить драйвера на актуальность, попробовать их переустановить.
 
Цитата
Alexey Ivannikov написал:
Цитата
psih   написал:
Здравствуйте,можете подсказать??У меня проблема с загрузкой тиковых графиков при установлении связи..А конкретнее медленно загружаются тиковые данные и данные с таблицы всех сделок.Так же открыты стаканы Qscalp.Данные подгружаются очень медленно.Если же я сворачиваю терминал,то загрузка идёт быстро.Это видно из открытых окон Qscalp-сделки загружаются почти мгновенно.В чём может быть причина?Может ли это быть результатом использования слабой видеокарты или проблемы иного характера используемого ПО?Используемый процессор "Intel Pentium G4560", другие требования арки к ПО выполняются..Буду благодарен за ответ
Добрый день.

Если при сворачивании приложения проблема пропадает - стоит смотреть в сторону видеокарты, возможно, что проблема не с получением данных, а с их отрисовкой. Нужно проверить драйвера на актуальность, попробовать их переустановить.
Спасибо за ответ..Но не совсем понятно в чём причина,ставил другую видеокарту,вроде особых улучшений не было.Просто уже несколько раз возникает проблема,что данные начинают тормозиться,что разрывают соединение в американскую сессию..В итоге приходится переустанавливать квик,иначе проблема не решается..Используются дополнительные скрипты в качестве индикаторов,может ещё они вызывают ошибку.Когда окна квик по умолчанию,то работает,как надо,но торговать в таком режиме я бы не рискнул)Скажите а при запуске квик,видеокарта влияет на процесс подгрузки данных??В основном пользуюсь чистым запуском,чтобы ускорить процесс получения данных,иначе ждёшь несколько минут.может если поменять режимы цп в биосе это как-то повлияет на решение проблемы?Квик при загрузке подгружает ЦП на 25-30%.В общем не могу понять куда копать..
 
Цитата
psih написал:
Используются дополнительные скрипты в качестве индикаторов,может ещё они вызывают ошибку.Когда окна квик по умолчанию,то работает,как надо
Добрый день.

Если работает стабильно без сторонних скриптов, а с ними работает хуже - нужно копать в их сторону.
Страницы: 1
Читают тему
Наверх