Тимофей Мартынов - Механизм трейдинга. Как построить бизнес на бирже?

Про тестирование и оптимизацию торговых систем:

Пример тестирования системы на фьючерсе Сбербанка:

Тестирование системы в Excel: экселе

Тест системы на случайность:

Дисперсия результатов системы:

Как я уже говорил выше, даже если вы понимаете логику системы и знаете откуда приходит матожидание, то тесты на истории могут позволить вам улучшить прибыльность. Возьмем фронтраннинг больших приказов. Что это значит? Если в стакане появляется большой приказ на покупку в размере X контрактов, на каком-то расстоянии Y пунктов от спреда, то рынок двигается вверх на Z пунктов. Допустим, по каким-то причинам эта стратегия действительно работает в настоящий момент на заданном инструменте. Если произвести перебор всех возможных параметров X, Y, Z за последние 30 дней, то можно получить те параметры системы, которые будут максимизировать ее эффективность.

Параметры оптимизации – это свободные параметры системы, которые могут меняться в определенных рамках. Размер стоп-лосса и тейк-профита, период скользящих средних – все это примеры свободных параметров, которые можно «подгонять» на исторических тестах, чтобы получить лучший результат.

По своей сути и логике оптимизация торговой системы является элементом датамайнинга. Мы уже затрагивали тему оптимизации в главе 7.5.6. Там мы рассматривали оптимизацию как возможный способ поиска идей в данных. Здесь же мы поговорим об оптимизации в контексте оценки качества торговой системы.

В главе 10.3 мы сформулировали критерий 9: чем меньше число оптимизируемых параметров, тем более надежен результат теста. Почему так происходит?

Если ввести в систему множество свободных параметров и перебрать их всех с большим разбросом на истории, то мы получим некоторую функцию аппроксимации исторической кривой. Больше параметров – больше подгонка под историю и меньше шансов, что система даст положительное матожидание на реальных торгах.

Обычно алготрейдеры рекомендуют использовать никак не более двух параметров. Если две системы имеют одинаковое число параметров, то их можно сравнить через интервал стабильности параметров оптимизации. Та система, у которой диапазон шире, будет надежнее. Что это значит? То, что если при переборе параметра N от 1 до 10 первая система показывает положительный результат при N от 2 до 8, а вторая система только при N = 4, то последняя имеет более прочную логику. Можно сказать, что мы сейчас сформулировали 11-й критерий оценки систем.

Проблему переподгонки параметров под историю Роберт Колби предлагает решать при помощи слепого тестирования (перекрестной проверки) [12]. Что это такое? Вы начинаете с того, что разбиваете исторические ценовые данные на равные временные интервалы. Изучив первый сегмент, вы определяете оптимальные параметры, при которых соотношение доходность/риск системы максимально. На следующем этапе вы тестируете систему на следующем сегменте данных, не задействованных в процессе подбора параметров. Далее эти два сегмента складываются, для них находятся новые оптимальные параметры, которые тестируются на следующем сегменте, и т. д.

Допустим, вы оптимизируете систему на данных за 2012 г. И вы получили оптимальные параметры системы. Можно проверить работу этих параметров на данных за 2013 г. Потом оптимизировать параметры за 2012–2013 гг. и посмотреть, как изменились оптимальные параметры. Затем данные параметры тестируются на системе за 2015 г.

Общее правило таково: если оптимальные рабочие параметры системы за 2012 и 2013 гг. сильно отличаются, то система, скорее всего, не работает. Если вы протестируете таким образом большинство распространенных технических индикаторов, то вы убедитесь в их неработоспособности. Подогнать скользящие средние или RSI при помощи оптимизации на небольшом интервале времени, например за месяц, большого труда не составит.

Как правило, работоспособные системы имеют не просто точные значения параметров (выбранные путем оптимизации из огромного числа возможных), при которых система приносит прибыль, а целые наборы параметров, внутри которых система остается доходной – так называемые интервалы стабильности. При этом число свободных параметров системы не столь критично, как отношение числа рабочих «особей» [9] «Особь» – если система имеет 3 параметра, каждый из которых может принимать значение от 1 до 10, то число особей = 10 × 10 × 10 =1000. Когда система показывает положительный результат на 5 особях из 1000, то, скорее всего, это следствие переподгонки. Если система работает на 500 параметрах из 1000, то она вполне может быть рабочей сама по себе. к общему числу «особей».

Занимаясь оптимизацией торговой системы, помните:

Основные усилия необходимо направить не на поиск идеальных параметров, максимизирующих прибыль, а на повышение надежности получения хотя бы минимальной прибыли.

Смысл звена № 4 Механизма «Оценка результата» – получить данные для того, чтобы сопоставить их с Целью и провести работу над ошибкой, о которой речь пойдет в следующей главе. Оценить результат на исторических данных позволяет только лишь полная формализация торговой системы. Если вы торгуете интуитивно, то оценить результат системы вы сможете только по закрытым реальным сделкам. Для этого вам как минимум придется вести некий журнал. Какие есть варианты?

Инструкция 7

В зависимости от частоты сделок вы будете делать следующее:

Фиксировать в журнал изменения счета каждой недели.

Фиксировать в журнал изменения счета в конце дня.

Фиксировать в журнал каждую сделку.

Построить кривую вашего депозита.

Если вы совершаете сделки слишком часто (скальпируете), то вносить в журнал каждую сделку вручную бессмысленно. В противном случае, когда сделки совершаются нечасто, то практически полезно бывает фиксировать их именно вручную.

Для оценки результатов торговли по совершенным сделкам существует несколько удобных программ, которые показывают статистику вашей торговли и позволяют оценить ее слабые места. Назову две из них: «Статистика трейдера» (marketstat.ru – онлайн-сервис) и программа «Журнал сделок PirateTrade» (piratetrade.ru). Данные программы позволяют грузить отчеты брокера, не забивая каждую сделку в журнал. Но если вы готовы вносить сделки в журнал вручную, то вам вполне подойдет и Excel или бесплатные таблицы Google Docs (которые использую я сам).

Какое бы средство вы ни использовали, в конечном счете ваша задача сводится к получению реальной кривой капитала и сопоставлении ее с нашей Целью. 10 критериев оценки результата торговой системы мы уже недавно сформулировали. Далеко не все из них имеют смысл для неформализованного трейдинга. Если вы торгуете вручную, то, скорее всего, вы будете оценивать свой метод по следующим параметрам: