Тимофей Мартынов - Механизм трейдинга. Как построить бизнес на бирже?

Существует несколько способов, позволяющих протестировать систему на истории и оценить ее результативность.

Если вы ничего не смыслите в программировании, то вам придется тщательно «прокручивать» график цен, отслеживать возникновение сигналов на вход и выход, записывая результаты тестирования в таблицу (Excel, Google или на худой конец, в тетрадку). Процесс «прокрутки» может занимать немало времени. Проблема данного тестирования заключается в том, что вы можете ошибиться и пропустить нечто существенное. Визуальное тестирование системы также несет в себе некоторый элемент субъективности. Свойство нашего ума заключается в том, что при визуальном бэктесте он начнет фокусироваться на успехах метода и игнорировать некоторые неудачные моменты. Поэтому будьте предельно внимательны при таком способе оценки.

Следующий способ, доступный частному инвестору, – использование функций тестирования в популярных программах технического анализа, например в MetaStock. Эта программа содержит очень простой синтаксис, и ее также без особых проблем способен освоить человек, не имеющий навыков в программировании. Простота MetaStock имеет и свои ограничения: ничего серьезного там запрограммировать не удастся.

Еще более продвинутый путь – использовать отечественную разработку TSLab. Данная программа также позволяет конструировать торговые стратегии без навыков программирования при помощи визуальных средств – логических «кубиков». Лично я не встречал более простого решения для поиска и проверки идей, чем TSLab. С другой стороны, если вы знаете язык программирования C#, TSLab позволит вам реализовать идеи практически любой сложности.

Кроме того, среди алготрейдеров распространена среда Wealth-Lab, которая уже в обязательном порядке потребует от вас минимальных навыков программирования. Торговые терминалы MetaTrader и QUIK используют собственные языки программирования и также позволяют автоматически тестировать любые идеи.

Существуют и другие программы для тестирования систем, такие как TradeStation, Stock#, Amibroker. Опытные алготрейдеры тем не менее рекомендуют не забывать, что любой софт может содержать в себе неожиданные ошибки тестирования. История знает примеры, когда один софт неправильно считал просадку системы, а другой – неверно учитывал проскальзывания.

Самые продвинутые, в частности высокочастотные, трейдеры, как правило, используют собственные эмуляторы торгов – виртуальную биржу с виртуальным потоком котировок. Это делается для максимального приближения условий тестирования к «боевым».

Чтобы тестирование системы на исторических данных было максимально правдоподобным, необходимо обязательно учитывать проскальзывание и комиссионные, которые входят в нашу формулу (TC). Для большинства краткосрочных стратегий они оказывают существенное влияние на результат 101. Условия тестирования также могут отличаться от реальных торгов из-за задержки, которая существует между появлением сигнала на вход/выход и реальной сделкой. Кроме того, вам необходимо убедиться в том, что архивные данные, на которых вы тестируете свой метод, не содержат ошибок (например, потребуется учесть некорректное отражение гэпов или некорректную «склейку» фьючерсных контрактов). Некоторые алготрейдеры рекомендуют для тестирования систем обязательно использовать тиковые данные или даже полный ордерлог 102.

Если система переносит позиции через ночь, вам необходимо достоверно протестировать отработку гэпов на открытии торгов 103.

Чеклист бэкстестинга:

1. Проверить корректность данных.

2. Учесть задержки.

3. Учесть комиссионные и проскальзывания.

4. Корректно учесть гэпы.

Полезные ссылки:

Полный список программ для тестирования систем:

Тестирование системы в Метастоке:

Здесь перед нами встают сразу две проблемы.

Во-первых, вы протестировали торговую систему на данном инструменте и получили положительную теоретическую кривую депозита. Можно ли доверять этим результатам?

Во-вторых, допустим, что вы по очереди тестируете две системы на одном инструменте. И получили два результата – две положительных теоретических кривых вашего депозита. Какой результат лучше, какую из систем запустить в работу?

Цель Механизма диктует нам требования к следующим факторам:

• устойчивость работы системы во времени;

• минимизация риска и издержек;

• максимизации прибыли.

Таким образом, чем лучше соотношение доходность/риск системы и чем более устойчивы результаты во времени, тем больше система отвечает нашей цели.

Проблема 1

Давайте вспомним тезис № 5. Рынок подвержен случайности. И результаты одной отдельно взятой системы, протестированной на истории, также могут оказаться случайными. Наша задача – убедиться в том, что результат все же неслучайный.

Вернемся к формуле и сгенерируем кривую изменения депозита, которая была построена на основании 1000 случайных сделок (средний профит = средний убыток (AP = AL), и вероятность убытка равна вероятности прибыли (PP = LP) [7] Здесь мы используем упрощенный пример, когда средний убыток равенсредней прибыли. .

Рис. 80. Это кривая – случайный результат 1000 случайных сделок

Банальная логика эксперимента позволяет нам сделать несколько выводов.

1. Если бы мы сделали всего лишь 250 первых сделок на истории (первая четверть графика), то мы бы подумали, что изобрели гениальный торговый метод. На самом же деле нам просто повезло. Важно не принимать случайность за успех [8] Данная проблема подробно описана в книге Н.Талеба «Одураченные случайностью» [26]. .

2. В случае запуска этого «гениального» торгового метода с 251-й сделки он принес бы нам убытки, и нам стало бы очевидно, что он не работает.

3. Если бы наш тест показал сделки в интевале 251–500 или 501–750, то мы бы сразу поняли, что эта торговая система никуда не годится. Тест на основании интервала 751–1000 также привел бы нас в ловушку случайности, и результат показался бы нам хорошим.

Давайте добавим в систему немного положительного математического ожидания и посмотрим, как изменится характер графика. Если мы введем вероятность прибыльной сделки, равную 60 %, то мы увидим невероятно гладкую растущую кривую, которую на реальных торгах получить невероятно сложно.

Рис. 81. Кривая результатов системы с вероятностью прибыльной сделки 60%