Тема: Механические торговые системы: проектирование и применение

5.4. Рекомендации по оценке результатов тестирования.

Разработка надежных прибыльных торговых систем – сложная задача, которая если и поддается практическому решению, то с существенными ограничениями. Сколько бы мы ни экспериментировали с модификацией параметров систем и с развитием их торговых моделей, мы всегда будем находится рядом с ненадежными системами, ибо так устроен рынок.
Для оценки торговых систем необходимы некоторые критерии качества, с помощью которых можно было бы сравнивать параметры различных МТС. Это не такой простой вопрос, как кажется. На рынке, где все течет и все изменяется постоянно и никогда ничего не повторяется, трудно найти подходящий для всех случаев критерий качества разработанной торговой системы.


5.4.1. Достоверность результатов тестирования и оптимизации.

Одна из наиболее частых ошибок при разработке механических торговых систем - это переоптимизация или сверхподгонка торговых правил к специфическому набору данных.

Прежде чем поверить в то, что разработан «священный грааль» торговых систем, необходимо проверить следующие моменты:

• Необходимо обратить внимание на линию эквити, которая с одного взгляда позволяет оценить работу торговой системы в целом. В идеальном случае это должна быть пологая восходящая линия. Резкие пики и спады на этой линии свидетельствуют о том, что торговая система неустойчива и рискованна. Также необходимо отметить, что систему, которая генерирует “гигантскую” прибыль на одной сделке, например, короткая позиция во время биржевого “краха”, также нельзя признать пригодной для повседневной работы.

• Необходимо провести тестирование с использованием различных временных окон, разбивая массив данных на части и выполняя тестирование для каждой части. (Это мы делаем с помощью секционирования данных и процедуры циклической оптимизации).

• Если используется оптимизация на полном массиве данных без процедуры циклической оптимизации, то необходимо провести повторную оптимизацию, используя только половину массива данных, а затем протестировать оставшуюся половину с использованием полученных оптимальных значений параметров. Если тест достоверен, то результаты двух тестов должны быть похожи.

• Хорошая система должна работать при всех типах трендов, поскольку заранее никогда не известно, когда рынок поменяет направление тренда. Ценами на рынке управляют человеческие ожидания, и нереально, чтобы механическая система последовательно прогнозировала изменения в этих ожиданиях.

5.4.2. Комиссионные и спред.

Следует обращать пристальное внимание на количество торговых операций сгенерированных системой. Если в результате теста получена большая прибыль при большом количестве торговых операций, то следует убедиться в реальности размера комиссионных и спреда, а также возможного проскальзывания в исполнении ордеров по проведению сделки. Конечные результаты тестирования могут сильно отличаться в зависимости от задаваемых размеров спреда, комиссии и проскальзывания.

Влияние комиссионных, спреда и проскальзывания незначительно для систем, которые обеспечивают размер средней прибыли на сделку, значительно превышающий размер издержек торговых операций.

5.4.3. Соотношение размера и количества прибыльных и убыточных сделок.

Процент прибыльных сделок не имеет самостоятельного значения при оценке качества торговой системы.

В частности, некоторые высокоэффективные торговые системы чаще совершают убыточные сделки, чем прибыльные. Поэтому кроме процента прибыльных сделок необходимо также обратить внимание на отношение средней величины выигрыша (Average Win) к средней величине убытка (Average Loss), выводимое в результатах теста систем.

Ряд сомнительных моделей может чаще попадать в цель, чем промахиваться, но цена таких редких промахов будет очень высока. С другой стороны, некоторые вполне приличные системы могут иметь количество убыточных операций больше чем прибыльных, но давать превосходный результат из-за высокого отношения средней прибыли к среднему убытку.

5.4.4. Другие критерии качества, используемые при оценке систем.

5.4.4.1. Фактор восстановления.
Основным параметром действенности МТС является отношение общей чистой прибыли к максимальному падению капитала, известное также как отношение вознаграждение/риск или фактор восстановления.

Максимальное падение капитала - это наибольшее нисходящее изменение капитала от пика до дна. Его не следует смешивать с максимальными суммарными потерями от нескольких убыточных сделок подряд, поскольку в длинном ряду убытков может оказаться одна удачная сделка, после которой падение капитала продолжится.

Наилучший и наиболее простой способ оценить отношение вознаграждения к риску - исследовать график величины капитала, на котором будут заметны все значительные падения. В случае, если величина падения капитала в используемой торговой системе существенно превышает аналогичный показатель прочих систем, система должна быть признана непригодной.

Тестер систем программного комплекса Метасток не рассчитывает фактор восстановления, эти расчеты придется проводить самостоятельно.

5.4.4.2. Профит-фактор.
Профит-фактор представляет собой отношение суммы всех прибыльных сделок к сумме всех убыточных. Профит-фактор является интегральным показателем, оценивающим общие характеристики системы, как при тестировании, так и на стадии применения.
Эмпирически принимается, что значение профит-фактора должно составлять не менее 1,6. Если профит фактор системы превышает 1,6, то система показывает хорошую эффективность, если менее 1,6, то недостаточную. В этом случае необходимо проанализировать статистику совершенных торговых операций, выявить сделки, которые внесли максимальный вклад в снижение профит-фактора, и провести целенаправленную модификацию системы.

Профит-фактор также не рассчитывается тестором систем программного комплекса Метасток, но в отчете теста содержатся сведения о суммах всех прибыльных и всех убыточных сделок, которые обеспечивают возможность быстрого расчета значения этого параметра.

5.5. Резюме.

Основные моменты мы оговорили.
Если что-то упущено, дополним впоследствии.
А теперь приступаем к практической части нашего курса - изучению типовых классов торговых стратегий и разработке конкретных механических торговых систем (МТС).

6.0. Системы, основанные на пробоях.

6.1. Виды пробоев.

Системы, основанные на пробое, входят в рынок тогда, когда цены пересекают порог или границу некоторого ценового диапазона.
Существует большое множество рыночных паттернов и моделей, основанных на пробое некоторого уровня, линии или границы диапазона. Однако не все эти модели будут пригодны для построения тестируемых МТС, главным образом по той причине, что не всегда будет доступно автоматическое построение формализованной модели пробоя, чтобы использовать ее в тестах.

Одна из самых старых моделей - простой пробой линии тренда, однако эта модель скорее пригодна для выхода их рынка, чем для открытия позиции, и она как раз и относится к моделям, плохо поддающимся формализации и автоматизации. Однако линию тренда можно широко использовать в «ручных» в МТС, как, например, было показано в «Кратком курсе начинающего трейдера. Часть 2.», опубликованном на настоящем форуме.

Исторически за моделями пробоя трендовых линий следовали модели пробоя каналов, которые основываются на линиях поддержки и сопротивления, вычисленных по прошлым максимумам и минимумам. Трейдер покупает, когда цены поднимаются выше максимума n последних баров (верхняя граница канала) и продает, когда цены опускаются ниже минимума последних n баров (нижняя граница канала). Системы на пробое канала легко программируются.

Более новыми и сложными являются модели пробоя волатильности, где точки, пересечение которых вызывает сигнал, основаны на границах волатильности. Границы волатильности располагаются на некотором расстоянии от текущей цены (например, цены закрытия), причем расстояние определяется текущей волатильностью рынка: когда волатильность растет, границы отодвигаются дальше от текущей цены, когда она падает, границы сужаются.

Модели, основанные на пробое, также могут отличаться методом входа в рынок. Вход может иметь место при открытии или при закрытии дня, или внутридневной вход при помощи ордеров на граничных уровнях. Более сложные методы позволяют покупать или продавать на границе, т.е. пытаться войти в рынок на откате, когда после пробоя некоторой границы цены ненадолго возвращаются к ней.

6.2. Особенности пробоев и стратегий на их основе.

Чтобы попасть из одной точки в другую рыночная цена должна пройти через все промежуточные значения: большие движения всегда начинаются с малых изменений цены. Системы, основанные на пробоях, входят в рынок при малых движениях, когда рынок достигает некоторого граничного состояния и продолжает движение дальше.

Системы, основанные на пробоях, всегда следуют тенденциям рынка, а следование рынку быстро сделает сделки прибыльными. Иногда это позволяет устанавливать защитные ордера близко к точке входа в рынок в ожидании того, что движение рынка на пробое сместит цену в направлении пробоя и открытой позиции достаточно далеко с тем, чтобы защитный ордер не реагировал на нормальные мелкие колебания рынка.

К недостаткам систем на пробоях следует отнести то, что пробойные модели, впрочем, как и многие другие модели, основанные на следовании за трендом, могут входить в рынок с запаздыванием, причем иногда так поздно, что движение уже закончилось. Кроме того, позиция может быть открыта на небольшом движении цены, не позволяющем получить прибыль.

Еще одна гипотетическая проблема, по мнению многих трейдеров, заключается в том, что при широкой доступности высокопроизводительных компьютеров, простые методы, основанные на пробоях, уже не работают достаточно хорошо. Считается, что из-за широкой популярности пробойных систем рынки адаптировались к ним, а эффективность использования пробойных торговых стратегий снизилась за счет возрастания ценового шума вблизи границ, где размещаются ордера систем, основанных на пробоях. Указанное обстоятельство заставляет эти системы срабатывать излишне часто, особенно на активных рынках, характеризующихся высокой волатильностью.

Общее свойство пробойных систем заключается в том, что они лучше работают на длительных периодах и на трендовых рынках. Правильно построенная торговая система на пробоях должна решать проблему шума вблизи точек входа в рынок: обычно это достигается за счет смещения уровней установки защитных ордеров на расстояния, превышающие изменчивость цен за счет случайной компоненты, налагающейся на трендовое движение рынка.

Отдельную проблему представляет собой ширина канала для пробойной стратегии:
• Если пороги установлены слишком близко к текущим ценам, будет наблюдаться большое количество ложных сигналов, что приведет к пилообразной торговле – ценовой шум будет запускать приказы то в одном, то в другом направлении. Поскольку такие движения не представляют собой реальных трендов, то сделки в лучшем случае не принесут прибыли, нанося удар по капиталу трейдера.
• Если границы разнесены слишком широко, то система будет заключать слишком мало сделок и входить в рынок слишком поздно при любом важном движении.
• При оптимальной установке границ канала то теоретическая система, основанная на моделях пробоя, может быть весьма эффективной: частые и мелкие убытки, вызванные отсутствие продолжения движения или ценовым шумом, будут компенсироваться значительными прибылями при крупных движениях рынка.

Для снижения количества ложных сигналов и уменьшения пилообразности торговли системы на основе пробоя иногда соединяются с индикаторами, которые предположительно определяют наличие или отсутствие трендов на рынке. Если тренда нет, то сигналы входа, создаваемые системой, игнорируются; если тренд есть – они принимаются к исполнению. Проблема в том, что и индикаторы не функционируют точно или не успевают среагировать достаточно быстро, отставая от рынка и делая работу системы неидеальной. Иначе любой трейдер, применявший их в сочетании с пробоем или другой моделью следования за трендом, разбогател бы очень быстро, так как торговая стратегия входила бы только в значительные тренды, ведя торговлю гладко и стабильно.

6.3. Система Turtle - типовой пример систем с пробоем канала.

6.3.1. История «черепашек» (Turtle).

Возможность провести тестирование на историческом материале – одно из неоспоримых достоинств работы с МТС. Примером этому является Ричард Деннис, за 16 лет торговли, увеличивший свое состояние с $400 до $200 млн.

Стремяcь доказать, что его успех – следствие объективных исследований, а не личных качеств, Деннис набрал группу из 23 человек, которых он назвал «своими черепашками». Работая в соответствии с предписанными правилами 20 из 23 участников эксперимента, не имевшие ранее опыта торговли, получили среднегодовую прибыль в размере 100%. Впоследствии, когда они вышли из эксперимента Денниса и начали работать на рынке самостоятельно, практически все они сделали себе миллионные состояния.

Этот опыт пример того, как проверка тщательно сформулированных торговых правил на материале исторических данных действительно дает отличные результаты.

6.3.2. Правила открытия позиций в системе Turtle.

Общий принцип систем Turtle заключается в открытии позиций на пробое канала цен. Один из вариантов торговой системы, основанной на принципах «черепашек» для графика дневного масштаба, сводится к выполнению следующих основных правил:

1. Позиция открывается на пробое 20-барового максимума или минимума.

2. Перед переворотом в противоположную позицию по пробою 20-барового экстремума должен быть убыточный трейд в первоначальном направлении торговли.

3. Позиция всегда открывается по пробою 55-барового экстремума.

4. Субъективное правило: если рынок находится в боковом движении, то позиция открывается только по пробою 55-баровых экстремумов.

5. Если при торговле в определенном направлении есть прибыль, то можно продолжать торговать в этом направлении, но для торговли в противоположном направлении необходим убыток при торговле в предыдущем направлении.