En el anterior artículo describía una operación que me produjo fuertes pérdidas porcentuales a mi, a mis amigos y a mi familia, invirtiendo en sistemas automaticos comprados en varias páginas web. Aunque afortunadamente nadie invirtió mucho dinero.
En este artículo voy a comentar cómo pude haberlo evitado.
El problema con sistemas automaticos
El problema es que tienden a estar sobre-optimizados. Pueden tener resultados estupendos en el pasado porque están demasiado adaptados a la curva histórica de precios, y por tanto empeoran rápidamente al operar en el mundo real.
Eso se puede percibir de un modo intuitivo, y no sólo con trading automático: Podemos elegir:
- Un método de trading maravilloso
- Un sistema automático genial
- Un truco leído en una revista de inversores
- Un consejo publicado por un gurú infalible
Cualquiera de estas ideas que haya dado unos resultados fantásticos en el pasado, probablemente en el futuro nos haga perder hasta la camisa si hemos desechado muchos otros trucos, sistemas o consejos que no han ganado nada en el pasado.
Es decir, estamos incurriendo en un sesgo de supervivencia: descartamos decenas o cientos de sistemas y elegimos EL SISTEMA que sí funciona. Si estudiamos muchos trucos, tarde o temprano alguno tendrá buenos resultados.
Este sesgo de supervivencia es más frecuente con sistemas automáticos, porque los ordenadores testean en pocos minutos cientos de combinaciones de sistemas con distintas variables, hasta que alguno tenga resultados perfectos.
La solución
Para evitar este sesgo, hay que analizar los resultados fuera de la muestra. Aquí se explica un poco este tema (en inglés).
Pero la idea es sencilla: consiste en diseñar el método de inversión con los datos históricos durante un período de tiempo denominado en-la-muestra. Y los resultados obtenidos en ese período no los consideramos; sólo usamos los de un período posterior, denominado fuera-de-la-muestra.
Los resultados fuera de la muestra tienen la misma lógica que una inversión en el mundo real, que invierte obviamente en un tiempo futuro; y casi siempre, esos resultados fuera de muestra son mucho peores que los resultados en-la-muestra.
En mi caso, las páginas webs me ofrecían datos de resultados del 2000 al 2005. En vez de seleccionar los mejores sistemas del 2000 al 2005, debí seleccionar los mejores del 2000 al 2004 (período en-la-muestra) y comprobar sus resultados en el 2005 (fuera-de-muestra).
Hice esa prueba unas semanas después del fiasco:
Mi elección original obtenían un +33% anual en todo el período 2000-2005; y al explotarlo en el tiempo futuro (2006), nos provocó fuertes pérdidas.
En cambio, los mejores sistemas en-la-muestra (2000-2004) eran:
Obtenían una rentabilidad anualizada del orden del 25%. Aunque nada más verlos resulta sospechoso que haya 3 sistemas diferentes respecto al diseño anterior.
Pero al probar esta combinación en el año 2005, es decir fuera-de-la-muestra, fueron:
¡Fuertes pérdidas, del orden del -40%!
En este caso, elegí un período de 5 años en la muestra y 1 año fuera de muestra, pero en realidad se puede usar cualquier plazo; por ejemplo 2 años en la muestra y 3 años fuera de muestra, o 2,5 y 2,5 etc.
Asi que hice muchas otras pruebas, con periodos cortos (pocos meses), medianos y largos, tanto en la muestra como fuera de muestra. Comprobé asi que la mayor parte de las veces, los resultados fuera-de-muestra eran mucho peores que en-la-muestra, y la mayoría de las veces con fuertes pérdidas.
Los programas de backtest pueden hacer incluso lo que se denomina un estudio walk-forward: eligen períodos cortos en la muestra y fuera de la muestra, de 1 año cada uno, moviéndolos 1 año a la derecha cada vez. Y después suman los resultados obtenidos encadenando los periodos fuera-de-muestra sucesivos.
Pero no hace falta ser tan sutil. Las sencillas pruebas que hice manualmente demostraban que aquello tenía una alta probabilidad de fracaso. Ahora lo se.
Hay un último factor que quiero comentar que puede ayudar al inversor, aunque yo con aquellos sistemas no podía testearlo: la simplicidad de los sistemas. Cuanto más sencillos sean, cuantas menos variables incorporen, menor es la probabilidad de sobre-optimización. Los sistemas simples son más estables, siempre.
La cuadrilla
Por ultimo, ¿Qué sucedió con la cuadrilla, es decir, mis amigos y familia? ¿Cómo se lo tomaron?
Bien, la reacción fue buena: comenzaron a escribir poesías.
Durante las semanas de desplome brutal de nuestras inversiones, varios participantes comenzaron a enviar por e-mail pequeñas coplas satíricas ironizando sobre nuestras expectativas pinchadas y nuestra mala fortuna.
Cuanto más se volatilizaba nuestro dinero, más coplillas nos enviábamos, riéndonos de nuestra suerte y de nuestra riqueza, tan efímera. Al final, nos resultó una ruina muy entretenida..
Aún guardo algunos versos:
Volverán los oscuros negocillos de nuestras cuentas sus Bonos a colgar y otra vez, con promesas de más pasta, tendremos que jugar. - Pero aquellos que en Septiembre ilusionaron, con sus ganancias inmensas en verdad Aquellos que engordaron nuestras cuentas... ¡ Esos no volverán ¡
O:
Con lastimeros ayes gima el viento; y entre futuros y mortal quebranto la falta de la voz supla el acento; - ciegos los ojos del brillo del dinero, lejos de la alma luz, siempre en oscura noche fenezcan en desastre financiero.
En fin, que la familia y amigos todavía me hablan. Aunque yo desde luego tengo una espina clavada en un costado.
Espero que esta pequeña historia y estos métodos de análisis puedan ayudar a algún inversor. Si es así, al menos mi experiencia habrá servido a alguien..
El hombre inteligente aprende de sus propios errores, el sabio aprende de los errores de los demás.
Arturo Adasme Vasquez.
Slow-Inver
Unos artículos relacionados que quizá te interesen:
En primer lugar quería agradecerle por la generosidad y calidad del contenido de su página, no he visto otros sitios con los temas expuestos de una forma que resulte a un mismo tiempo tan sencilla y convincente.
Me quedé un poco más tranquilo con mi propio trabajo cuando vi los criterios estadísticos y las evaluaciones dentro y fuera de la muestra que plantea para evaluar el sistema, como así también la necesidad de reducir el número de variables para evitar la «optimización» de la curva del pasado, ya que hasta el momento venía haciendo lo mismo que usted sugiere.
Me resultó de mucha ayuda la explicación simplificada de las simulaciones de montecarlo que no las tenía presentes y que creo que me pueden ser de gran ayuda para responder la pregunta que me hacía sobre de cual sería el máximo DD, o la serie de pérdidas consecutivas máximas que podría tener mi sistema, pero que al menos desde el punto de vista estadístico no pueda asegurar que haya perdido validez.
Le agradecería cualquier recomendación sobre los lenguajes de programación y las plataformas actuales para trading automático.
Muchas gracias por todo
Pablo
Muchas gracias por tus comentarios, Pablo!
El software que yo utilizo es Amibroker principalmente, VisualChart en 2º lugar. Y el broker, InteractiveBrokers.
EL lenguaje más sencillo para programar sistemas sea probablemente EasyLanguage, de TradeStation, aunque yo no tengo mucha experincia en él.
El resto de temas que me comentas por mail te lo respondo por mail también..
Un saludo!
En vuestro caso, y dado que tuvisteis la suerte de empezar con beneficios, también hubiera sido útil aplicar el sencillo método que con gran acierto describes en tu artículo sobre “Cómo no perder dinero en la Bolsa I”. Me refiero a seguir el gráfico de la equity y su media móvil, dejando de operar en real en el caso de cruce a la baja, sin que se vuelva a entrar hasta que las posteriores operaciones “virtuales” lleven a un cruce al alza. Desde luego, es una precaución muy aconsejable, que me hubiera evitado algunos descalabros. Por otra parte, otra medida de prudencia es no operar con sistemas automáticos sobre índices si la volatilidad del índice no es elevada. En general, yo no entraría si el índice Vix del SP500 no está, al menos, por encima de 20, preferiblemente si el Vix está alcista o lateral –menos fiable si el Vix está bajista-. Así, por ejemplo, el periodo de agosto-diciembre de 2011 fue un buen periodo para los sistemas automáticos sobre el Dax e índices americanos, y en ese tiempo el VIX del SP500 no bajó de 20, alcanzando máximos de 48 y 46,88. Desde entonces, el VIX ha seguido una senda claramente bajista como puede verse en el gráfico semanal, y, como cabía esperar, los sistemas, en general, no han tenido unos resultados comparables a los del segundo semestre de 2011.
Gracias por el comentario, tan interesante como todos los tuyos. También se agradece esa disposición para hablar incluso de los propios deslices, lo que dice mucho en tu favor.
Ragusa
Estoy completamente de acuerdo contigo, Ragusa.
Yo uso mucho los filtros, y la volatilidad es uno de los más útiles.
Sistemas que son muy mediocres en conjunto, pueden ser muy rentables en momentos de volatilidad alta, o baja según el estilo del sistema. Asi que se pueden combinar sistemas complementarios, creando asi métodos muy rentables en conjunto.
Esa es un poco mi filosofía..
Pero en el 2005/6 tenía aún poca experiencia y la estrategia de medias móviles no la tenía en mente.. 🙂
Y no me importa hablar de mis errores, porque así he ido aprendiendo. Y contándolo, alguien tal vez pueda aprovecharse..
Gracias por tu aporte, Ragusa!
Yo desde la poca experiencia que tengo y lo que he visto y oído sobre los sistemas automáticos es que con el tiempo todos acaban fallando o se les va la olla y entras en grandes perdidas. Yo creo que todo lo que expones aquí ya lo deben realizar todos los que crean sistema automáticos y que tienen cierta experiencia y aun asi fallan con el tiempo. NO EXISTE EL SANTO GRIAL EN LOS MERCADOS FINANCIEROS. Y sinceramente creo que con tus sistemas acabara pasando lo mismo que con todos los otros, que entrara en grandes drawdown y te dejara fuera del mercado.
Hay miles de sitios así como zulutrade, forex-elite-club etc, y al final siempre se acaba perdiendo dinero.
Espero que tengas mas suerte que todos los sistemas que aparecen en esas paginas.
Saludos
Estoy bastante de acuerdo contigo, Tania.
Ganar dinero con un sistema automático, o semi-automático es difícil. Y en general, ganar en bolsa es muy difícil, incluso para los profersionales.
Pero es no quiere decir que sea imposible. Lo comentaba en https://slowinver.com/bolsa-para-principiantes/ , hay personas que han pasado a vivir de la bolsa, comenzando como inversores particulares.
Y estoy de acuerdo en que es absurdo que haya sistemas que prometan rentabilidades anuales gigantes, del 50%, del 100%. En el entorno forex de divisas hay mucho de eso; francamente creo que son sistemas sobre-optimizados hasta el extremo, y son tan útiles como jugar al póker: a veces se gana, y la mayoría de las veces, no.
Claro que yo no tengo la solución mágica de este apasionante y enorme sudoku.. pero sigo peleando.
Y si creo posible, y lo sé por experiencia, obtener rentabilidades anuales que en promedio estén en el entorno 15% o 20%; Con mucha oscilación año a año por supuesto, pero evitando los horribles draw downs de los sistemas tan agresivos que pululan por ahi..
Gracias por tu interés y un saludo!
Slow-inver
Buenas tardes,
Buen artículo, felicidades. En mi opinión las cosas son algo más complejas de lo que las pintas aqui, pero no te falta razón.
El tema del out of sample es un tema evidente y estoy de acuerdo 100% con lo que dices. Si no lo haces, sencillamente, es que no sabes como se ha de programar un sistema automático. Vamos, que se da por hecho.
El problema es que el inversor particular normalmente no puede acceder al código del sistema y hacer ese trabajo. Es por eso que surgen las diversas plataformas de auditoría de sistemas que proveen un método independiente del desarrollador y del cliente y que te da la seguridad de que los números que estás viendo, a partir de que el sistema se ha empezado a auditar, son reales.
Un punto que veo que quizá se podría haber mejorado en tu enfoque es la elección de los sistemas. No cuentas que criterios usaste para elegirlos, así que no sabemos si el problema fue ese más que que estuvieran sobreoptimizados.
Otro punto que me sorprende notablemente es la fecha. Wow! Ya operabas sistemas automáticos en 2005! Justo en los albores de la tecnología de sistemas para el uso retail. Felicidades! El 2005 fue un año mediocrillo para los sistemas operando en real (no cuento backtest por los motivos que tu has expuesto aqui). Yo, por aquel entonces, contaba con 13 sistemas (10 Dax, 1 Fesx, 1 Ibex, 1 Eurodolar). De ellos solo 7 ganaron dinero aunque el total del «asset class» si que acabó ganando.
En fin, que enhorabuena por tu página, seguiré curioseando por aqui.
Un saludo
Horace
http://www.tradingconsistemas.com
Hola Horace, gracias.
El trading con sistemas automáticos, como tu bien sabes, tiene muchos aspectos a considerar, no es un tema sencillo. En este artículo no pretendía meterme muy a fondo en un tema de programación.
Mas bien quería contar mi experiencia real, y dar pistas a personas que encuentren sistemas automáticos en Internet.
Mi elección de sistemas se basó sobre todo en el indice Calmar. Pero la pagina que estudiaba tenía grandes carencias en cuanto a las estadísticas de sus sistemas.
Y en 2005/06, yo también tenía mis lagunas;
Ahora sé (un poco) más.
Se puede ganar en bolsa con sistemas, pero no es fácil! 🙂
Un saludo!
Buen artículo, gracias por compartir tu experiencia.
Yo ahora mismo estoy leyendo el libro de Robert Lichello sobre su forma de invertir. Soy un total novato en esto. ¿Qué enseñanza aplicarías al método de Gestión Automática de Dinero basada en este artículo?
Un saludo.
Bueno Luis, ya sabes que tengo estudiado el metodo de Lichello en https://slowinver.com/un-sistema-que-gana-1-000-000-en-bolsa-i/.
El método de Lichello es muy particular. Es un sistema de inversion que incluye su propio control de capital, por lo que no creo que se puedan aplicar analisis tipo fuera-de-la-muestra.
Creo que en ese caso es mejor seguir el método tal cual es.
Si acaso, para disminuir el riesgo, se puede aplicar el método contra varios activos a la vez, a poder ser activos con baja correlacion como pueden ser ETFs que repliquen materias primas y ETFs que repliquen acciones..
Un saludo!
Gonzaga
Buenas tardes,
Muy interesante tu experiencia con sistemas automáticos, aunque no me ha quedado claro lo de analizar los resultados fuera de la muestra.
Hace tiempo que desistí de hacer trading intradiario o a corto plazo por el desgaste que suponía y porque los resultados no me compensaban el tiempo que dedicaba.
Hace unos meses oí hablar de Darwinex y me pareció interesante la posibilidad de invertir en traders cuya estrategia cotiza a un precio, como una acción. La mayoría de los traders con mejores resultados utilizan sistemas automáticos de trading. Los beneficios que obtienen los mejores son sostenidos en el tiempo, a lo largo de varios años, y con jugosas rentabilidades.
He metido dinero en darwinex y he comprado 13 darwins entre los que he distribuido 12000 € para probar el sistema y, de momento, el resultado está siendo positivo, aunque después de leer tu aporte temo que me pueda acabar sucediendo lo mismo que te ocurrió a ti, ya que el sistema que emplean la mayoría de los darwins está basado en trading automático.
¿Conoces darwinex? y, si es así, ¿Qué te parece?.
Muchas gracias por tu tiempo y enhorabuena por la web.
Javier.
No, no lo he probado.
De hecho lo conozco, incluso he estado en sus instalaciones. Los chicos de Darwinex parecen serios, y su plataforma, fiable.
Sin embargo no he probado a invertir en darwins.
Pero te diría que, de invertir en sistemas automáticos, elijas aquellos con largo histórico y baja volatilidad; esto es más importante que la rentabilidad..
Un saludo