Renato  

Fabala (14º) 

Este artículo ha sido marcado como molesto Deshacer
Fabala
22:39 el 17 octubre 2015

Currante de los mercados

Test Históricos; ¿Sirven para algo?

Para los que hayan leído algo de lo que he ido publicando en Unience, ya se imaginan cual podría ser mi contestación a la pregunta; aunque en realidad lo que pienso es que la respuesta es un: depende.

Un test histórico (de ahora en adelante test) es una simulación hecha con datos del pasado para intentar estimar los resultados de una estrategia de inversión.

Una analogía que puede ayudar a contestar a la pregunta es la del martillo.

Puede haber alguien que piense que el martillo no funcione porqué no ha conseguido construir lo que se proponía, utilizándolo.

Un test, como un martillo, es un utensilio que puede ser fundamental para un inversor/ carpintero para que su trabajo sea mas efectivo y eficiente.

Evidentemente solamente utilizar estos utensilios no es suficiente; hay que combinarlo con otros elementos para conseguir el resultado final que se espera.

Un test no puede asegurar que se gane dinero, y ,en cambio, puede ser muy peligroso si se usa de forma equivocada.

Cuales son los principales problemas que existen con la utilización de los tests:

  1. EXTRACCIÓN DE DATOS (DATA MINING ): testar todas las posibles combinaciones de datos hasta encontrar los resultados que se buscan. Un ejemplo es predecir lo que harán los mercados en base al mes del año.
    Para intentar evitar este problema es importante tener, antes de empezar la investigación, unas hipótesis de trabajo que tengan una lógica subyacente.

     
  2.   SOBREAJUSTE (OVERFITTING): Utilización de técnicas estadísticas para que el  modelo que se testa se adapte a los datos históricos disponibles. Esto puede ocurrir cuando se incluyen en la metodología muchas variables hasta que se consigan los resultados que se buscan.
    Es evidente que mantener el número de variables lo más reducido posible es una forma de perseguir simplicidad y , al mismo tiempo, intentar evitar este problema.

     
  3.  SESGO DEL FUTURO (LOOK AHEAD BIAS): Planificar un test sobre algo que sabemos se ha comportado muy bien en el pasado. El riesgo que cuando se ponga en marcha la estrategia no se consigan resultados parecido es muy elevado.
    Este sesgo es muy complicado porqué puede ocurrir a nivel subconsciente.

 

Las soluciones más útiles para intentar reducir estos riesgos son:

  1. PREGUNTARSE PORQUÉ (WHY ): Es importante tener, de antemano, una teoría del porqué una determinada metodología ha funcionado en el pasado; cual es la lógica que subyace, preguntarse si tiene sentido, y si se puede formular hipótesis de que permanezcan válidas en el futuro. Hay que huir de toda evidencia que no se puede entender, como predecir lo que harán los mercados según el resultado del Superbowl.
     
  2. TEST FUERA DE MUESTRA (OUT OF SAMPLE):   si pensamos que el objetivo no es encontrar una buena estrategia que haya funcionado, sino una que posiblemente funcionará, esto es posible hacerlo con la técnica del fuera de muestra, es decir dividir el test en periodos históricos diferentes e ir testando de forma secuencial y independiente para ver si hay uniformidad en los resultados.

 

Y después que se ha hecho un test de la mejor manera posible que se hace con los resultados ?
 

Mi respuesta es sencilla: NO CREÉRSELOS. Esto lo digo porqué pienso que cualquier resultados pasados se basa sobre un conjunto de elementos que ha ocurrido de una determinada forma y que es casi imposible que vuelva a repetirse de forma exactamente igual en el futuro.

Por eso es importante no caer en la equivocación de pensar que los resultados de un test puedan predecir exactamente  la futura rentabilidad de una estrategia de inversión.

Se puede intentar estimar, con una cierta aproximación, en que rango puedan estar los resultados futuros utilizando técnicas como las simulaciones de Montecarlo; en fín , probabilidades de resultados, que, de todas formas, es mejor que nada.

Entonces si hay todos estos problemas y los resultados no predicen nada porqué hacer test?

En mi opinión, porqué los test son muy útiles para aquellos inversores que quieran sistematizar su operativa, y de esta forma reducir los problemas emocionales relacionados con las inversiones, ayudar a mantener la disciplina teniendo una serie de reglas que hay seguir, y, al mismo tiempo, intentar mejorar la consistencia de resultados.

Aunque los tests tengan los límites que hemos visto, su proceso de desarrollo  y elaboración,  permite al inversor estudiar en mucha profundidad la metodología, conocerla a fondo, entender si se adapta a su forma de ser y los objetivos que persigue, y esto comporta unas ventajas psicológicas, como mayor confianza  y seguridad,  que son fundamentales a la hora de la implementación de la estrategia y que, al final es muy probable que se reflejen en los resultados. 

Publicar Ocultar ¿Quieres hacer públicos tus favoritos? Publicar No por el momento
15 comentarios
7 veces compartido

@Fabala: como lean este artículo los brokers te van a excomulgar; los backtests son la forma objetiva de que sus clientes hagan sus "apuestas" y no cambien de plataforma.

@MRDV cuento con ser de perfil muy bajo para ellos ;-)

Un artículo muy pertinente. A menudo se hacen "backtests" para "demostrar" que una estrategia de inversión es superior a otra. Y no siempre es eso demostrable, como indicas en el artículo. Así pues, cuidado con los "backtests". Aprendamos a relativizar sus resultados. 

Despues de leer éste maravilloso artículo , Sigo sin fiarme de nadie, más que de mí mismo.

No hay reglas , no hay fórmulas , no hay más que la intuición de cada uno y a veces nos falla...

Gracias@Fabala por el artículo.

Si Volkswagen ha sido un cisne negro , la conclusión es que ...puede que no venga ninguno más o que pueden venir infinitos, o sea, ninguna conclusión.

Hombre ...... si me gustaran los autos,que paso ....y no quisiera cisnes negros ...compraría VOW .

Cuando se levantan las alfombras ,se abren las ventanas y se limpia la casa de arriba abajo .... da gusto estar,no? .

Volkswagen tardará mucho tiempo en dar problemas ... por eso de que el gato escaldado ...... Otra cosa es si al inversor le compensa tantos sindicatos, tanta competencia, tantos recalls,una actividad tan ligada al ciclo (antes de subir el paro una recesión comienza porque no se venden los coches ),etc .

Otra cosa es al Estado ,a la Seguridad Social ... esas nóminas cargadas de cuota obrera,de cuota empresarial ,de retenciones, de vacaciones ,són una delicia ....... el problema es cuando los Robots reemplacen al 90% de esos puestos de trabajo ..... que va a ser de nosotros?

@Fabala me encanta ese enfoque no predictivo que le da al asunto. Y coincido con usted en que para un buen numero de inversores estos test pueden resultar interesantes. Personalmente no los utilizo debido a que la gestión de mis inversiones se basa únicamente en maximizar el benéfico a largo plazo, sin control de riesgos, con concentración, asumiendo mucha volatilidad, cada vez más centrada en microcaps muy ilíquidas y asumiendo que en ciertos momentos las caídas van a ser muy grandes: en ocasiones serán incluso del 100% (han sido del 100%). Por lo que me resulta difícil buscar datos en el pasado que me ayuden. Pero es cierto que a quien desee invertir de otra forma (que por supuesto puede ser mucho mejor que la mía) estos test si pueden ayudarle.
 
 
Sobre Montecarlo:
Es tremendamente divertido. Uno puede pasarse horas simulando cualquier cosa. Yo tuve que parar cuando mi pobre ordenador empezó a echar más y más humo con cada nueva variable.
¿No cree que es posible que sea un poco subjetivo? Me explico: al final uno introduce las variables que considera relevantes y las relaciones entre ellas que uno considera... No sé, creo que se obtiene, un poco, la simulación que uno busca. Pero es una impresión.
 
 
@quixote1cualquier gurú televisivo le dirá que compre cualquier automovilística excepto VW jejeje. Cada vez me tienta más. Eso sí, el día que monten un RyanAuto... 

Así es @Xiscom; una buena dosis de escepticismo siempre es saludar, intentando pensar si quien ha hecho el test pueda tener una agenda oculta, o si lo hacemos nosotros evitando de intentar demostrar a toda costa la maravillosa idea que tenemos.

 

@Mistol, gracias por tus palabras. Cuidado con los test, pero también cuidado con la intuición como bien dices. Si pienso en mi experiencia, personalmente me ha fallado, y sigue fallando mucho más la intuición que otra cosa.

 

@DonFernando, y a mi me encanta el tono abierto, y constructivo  que se percibe en sus comentarios y que denotan una gran experiencia.

Totalmente de acuerdo sobre la subjetividad del análisis de Montecarlo. Considerando que soy un usuario bastante básico de elaboraciones estadísticas, la he utilizado un par de veces y al final la sensación que he tenido es que lo tenía que guiar el análisis era el sentido común. Pero, claro, el sentido común no es muy cuantitativo, digamos ;-))

Estoy seguro que los expertos de estadísticas sabrán utilizarla de forma más objetiva.  

Yo lo que me pone enfermo son los datos fundamentales cuando el 100% son manipulados y maquillados.

@Fabala, entiendo que ha sido la  serie de posts que he escrito esta semana sobre el DCA y la variante que he querido testar lo que te ha movido a escribir este artículo. Si me lo permites, haré referencia al mismo en el último de los míos porque todo cuanto dices me parece pertinente y conviene que lo tenga en cuenta quien los lea.

Por mi parte, tan sólo he querido hacer una comprobación, contando con que mi competencia en Excel es muy básica, de un aspecto por el que siento inquietud y curiosidad desde hace tiempo; y he querido compartirlo aquí porque pienso que hay bastante gente a quien un tema como este puede interesarle. No obstante, creo que en los artículos he dejado bastante claras, respecto a los resultados, dos cosas: primera, que éstos hay que contemplarlos tan sólo como lo que son: lo que habría pasado con un activo determinado en un periodo concreto de tiempo, pero que de ninguna manera pueden generalizarse; y segundo, que la diferencia entre los resultados de ambos métodos en los tests son tan reducidas que realmente no vale la pena renunciar a la comodidad de una automatización que en la variante propuesta no es posible.

Gracias por el artículo.

Muy interesante , desmitificar los sistemas cuando tantos analistas son esclavos de los  análisis técnicos, el libre albedrío existe en todos los órdenes de la vida .

@scribe, tengo la percepción, por tu comentario, que quizás hayas interpretado este post como una crítica hacia tus post . Si es así te pido disculpa y quiero dejar claro que no me pasaba ni remotamente por la cabeza una cosa de este tipo.

Quiero aclarar  como nació este post, y su razón de ser:

Efectivamente cuando escribí el comentario en tu post, y considerado que hago muchos test parecidos a lo que tu has hecho,  sentí como la necesidad de intentar poner orden en mis ideas sobre este tema y que mejor ocasión era la de hacer un post para conseguirlo.

Probablemente el tono general del artículo me ha salido como muy crítico hacia los test que es un poco en contradicción conmigo mismo que los considero muy importantes  y  me han permitido mejorar mucho como inversor desde cuando los utilizo.

Quizás sea justamente eso, son tan importantes para mi, que necesitaba poner de forma clara, negro sobre blanco, los riesgos que hay detrás, para intentar evitar de caer en las trampas que puedan generar.

Por lo que se refiere a tu test, como he comentado, lo considero muy interesante; las conclusiones claras, considerando las limitaciones que ya hemos comentado, y  la verdad es que post como los que tu has hecho son de lo mas estimulantes porqué, a parte los resultados, pueden generar nuevas ideas de investigación y desarrollo.

Como ves, el mío es un post nacido con motivaciones muy egoístas, pero que se ha generado gracias a tu estímulo y por esto te estoy agradecido.

Excelente post y excelente síntesis. No puedo más que "resintetizar": los tests son útiles si se sabe lo que nos dicen y cómo utilizarlos. Y hacer unos clicks aquí y allá no es suficiente.

Los test si son minimamente reflexivos y se basan en algo sólido, y sobre todo son honestos, sirven de mucho, creo yo,  y tal y como indica Fabala al menos son algo. Un sistema que con pocos parametros conseguimos buenos resultados y poca volatlidad de resultados en 50 años atrás, es evidente, nos indica bastante aproximadamente con un alto porcentaje de probabilidad cierto sesgo de posibles resultados en el futuro. Si bien es cierto que en momentos concretos podriamos estar viviendo circunstancias diferentes nunca vistas que podrian poner a prueba en una situación mas desfavorable de lo normal a nuestro modelo. Eso sin valorar el factor suerte que en esta vida es fundamental.

Voy a poner un ejemplo. El sistema Momentum absoluto más simple que a cualquera nos de por usar. Operamos mercado SP500,  mientras que supere la rentabilidad de las letras de tesoro Usa en un periodo atras de unos meses.   Este sencillo sistema ha funcionado razonablemente bien, con una volatilidad bastante asequible, nada menos que en los últimos 50 años donde ha ocurrido casi de todo lo que se nos ocurra. La idea básica es que nos refigiamos en renta fija de corto o medio-corto plazo cuando viene el ciclo bajista de rigor, con muy poca cadencia de cambios etc, usando instrumentos de uso barato si casi gastos de gestion.  Hasta ahí todo muy normal y podriamos pensar que si ha funcionado hasta ahora porqué no lo va a hacer en el futuro. Yo al meos creo que no tiene porque ir muy diferente en el futuro que en los periodos dificiles del pasado.  ... Ahora bien... teniendo en cuenta que los últimos tiempos hemos vivido bajadas casi constantes de tipos en la renta fija, un gran ciclo muy extenso por cierto, y que ahora hemos llegado casi al cero, por lo que los mercados igual tienen que encajar posibles subidas de tipos y usar mercado de renta fija igual no es tan buen refugio como en el pasado si se produce un ciclo bajista de importancia en la bolsa. Quizás vivámos un mometo inédito. Esto es lo que creo que por ejemplo un test aunque haya pasado pruebas de muchos años atrás no siempre puede interpretar bien lo que nos depare el futuro.

Es más una pregunta que me hago que una aseveración por mi parte.

En todo caso creo que analizar modelos y hacer test lo más ortodoxamente posible es inevitable para reducir las innumerables posibilidades de meter la pata. Esa es al menos mi opinión.

Saludos a todos.

@majes, ese es el gran problema, que nos hemos quedado sin los refugios clásicos e incluso el cash no sabemos donde depositarlo sin miedo a perderlo.

De todas formas, en tu ejemplo momentum, si las letras del tesoro se volvieran muy perdedoras el propio método te llevaria a decantarte por el S & P 500 como mal menor.

Gracias por el comentario @majes y @augur,

Estoy de acuerdo que los test pueden ayudar mucho sobre todo si no nos fiamos ciegamente de sus resultados.

La parte clave para mi es entender bien los que puede estar detrás de los números, cual es la lógica por la cual esos resultados pueden darnos una cierta aproximación de lo que nos podemos esperar.

El ejemplo del momento absoluto es algo muy familiar y mi forma de enfrentarme a ese tema ha sido muy pragmático:

Sabiendo, por todos los estudios que hay publicados,  que i)  el momento funciona, ii) el momento absoluto es una forma sencilla para tener una mejor rentabilidad ajustada a la volatilidad, iii) históricamente la renta fija ha ofrecido un buen refugio en los momentos de alta volatilidad, pero teniendo duda de si esto pueda confirmarse en un posible escenario de subidas de tipos, veo dos soluciones posible:

  1. Sustituir la renta fija con la liquidez, o algún proxy de esta como alternativa a la renta variable;
  2. Aplicar el momento absoluto también a la Renta fija utilizada como refugio, para reducir los riesgos de este tipo de activo.

Haciendo un test con estas alternativas es muy probable, por las pruebas que he hecho,  que, con el histórico de los últimas décadas los resultados serían peores que en la forma de utilización del  momento absoluto tipo Antonacci, pero, como vosotros,  no estoy seguro que los mejores resultados pasados sean indicadores de los mejores resultados futuros.  

 Comentar

Últimos artículos del blog de Fabala

Cómo voy a operar el Oro en los próximos meses.
11 Comentarios
IMPLICACIONES DE LA TENDENCIA ENTRE GESTIÓN ACTIVA Y GESTIÓN PASIVA
12 Comentarios
La hora más oscura de la noche es la que precede el alba
15 Comentarios
¿Necesito batir al mercado?
56 Comentarios
Invertir con il Momento: el juego de la cerilla
30 Comentarios
Cartera Momento Resultados año 2015 y conclusiones
17 Comentarios
Historia de un currante de los mercados
48 Comentarios
Renta variable y Oro : una perspectiva de largo plazo
23 Comentarios
Los tres artículos del año que #Recomiendo
1 Comentarios
Gas Natural: Quizás no sea lo que parece....
6 Comentarios

app version

Wed Nov 02 13:34:35 CET 2016

2221

79dd84889bae13e7769f41dc060a3ba472981ca5