Renato

(Fabala)

Currante de los mercados

Barcelona. Barcelona. ESPAÑA.

Test Históricos; ¿Sirven para algo?


Escrito 17 Oct 15

Para los que hayan leído algo de lo que he ido publicando en Unience, ya se imaginan cual podría ser mi contestación a la pregunta; aunque en realidad lo que pienso es que la respuesta es un: depende.

Un test histórico (de ahora en adelante test) es una simulación hecha con datos del pasado para intentar estimar los resultados de una estrategia de inversión.

Una analogía que puede ayudar a contestar a la pregunta es la del martillo.

Puede haber alguien que piense que el martillo no funcione porqué no ha conseguido construir lo que se proponía, utilizándolo.

Un test, como un martillo, es un utensilio que puede ser fundamental para un inversor/ carpintero para que su trabajo sea mas efectivo y eficiente.

Evidentemente solamente utilizar estos utensilios no es suficiente; hay que combinarlo con otros elementos para conseguir el resultado final que se espera.

Un test no puede asegurar que se gane dinero, y ,en cambio, puede ser muy peligroso si se usa de forma equivocada.

Cuales son los principales problemas que existen con la utilización de los tests:

  1. EXTRACCIÓN DE DATOS (DATA MINING ): testar todas las posibles combinaciones de datos hasta encontrar los resultados que se buscan. Un ejemplo es predecir lo que harán los mercados en base al mes del año.
    Para intentar evitar este problema es importante tener, antes de empezar la investigación, unas hipótesis de trabajo que tengan una lógica subyacente.

     
  2.   SOBREAJUSTE (OVERFITTING): Utilización de técnicas estadísticas para que el  modelo que se testa se adapte a los datos históricos disponibles. Esto puede ocurrir cuando se incluyen en la metodología muchas variables hasta que se consigan los resultados que se buscan.
    Es evidente que mantener el número de variables lo más reducido posible es una forma de perseguir simplicidad y , al mismo tiempo, intentar evitar este problema.

     
  3.  SESGO DEL FUTURO (LOOK AHEAD BIAS): Planificar un test sobre algo que sabemos se ha comportado muy bien en el pasado. El riesgo que cuando se ponga en marcha la estrategia no se consigan resultados parecido es muy elevado.
    Este sesgo es muy complicado porqué puede ocurrir a nivel subconsciente.

 

Las soluciones más útiles para intentar reducir estos riesgos son:

  1. PREGUNTARSE PORQUÉ (WHY ): Es importante tener, de antemano, una teoría del porqué una determinada metodología ha funcionado en el pasado; cual es la lógica que subyace, preguntarse si tiene sentido, y si se puede formular hipótesis de que permanezcan válidas en el futuro. Hay que huir de toda evidencia que no se puede entender, como predecir lo que harán los mercados según el resultado del Superbowl.
     
  2. TEST FUERA DE MUESTRA (OUT OF SAMPLE):   si pensamos que el objetivo no es encontrar una buena estrategia que haya funcionado, sino una que posiblemente funcionará, esto es posible hacerlo con la técnica del fuera de muestra, es decir dividir el test en periodos históricos diferentes e ir testando de forma secuencial y independiente para ver si hay uniformidad en los resultados.

 

Y después que se ha hecho un test de la mejor manera posible que se hace con los resultados ?
 

Mi respuesta es sencilla: NO CREÉRSELOS. Esto lo digo porqué pienso que cualquier resultados pasados se basa sobre un conjunto de elementos que ha ocurrido de una determinada forma y que es casi imposible que vuelva a repetirse de forma exactamente igual en el futuro.

Por eso es importante no caer en la equivocación de pensar que los resultados de un test puedan predecir exactamente  la futura rentabilidad de una estrategia de inversión.

Se puede intentar estimar, con una cierta aproximación, en que rango puedan estar los resultados futuros utilizando técnicas como las simulaciones de Montecarlo; en fín , probabilidades de resultados, que, de todas formas, es mejor que nada.

Entonces si hay todos estos problemas y los resultados no predicen nada porqué hacer test?

En mi opinión, porqué los test son muy útiles para aquellos inversores que quieran sistematizar su operativa, y de esta forma reducir los problemas emocionales relacionados con las inversiones, ayudar a mantener la disciplina teniendo una serie de reglas que hay seguir, y, al mismo tiempo, intentar mejorar la consistencia de resultados.

Aunque los tests tengan los límites que hemos visto, su proceso de desarrollo  y elaboración,  permite al inversor estudiar en mucha profundidad la metodología, conocerla a fondo, entender si se adapta a su forma de ser y los objetivos que persigue, y esto comporta unas ventajas psicológicas, como mayor confianza  y seguridad,  que son fundamentales a la hora de la implementación de la estrategia y que, al final es muy probable que se reflejen en los resultados. 


Comentarios

#6
18 Oct 15

@Fabala me encanta ese enfoque no predictivo que le da al asunto. Y
coincido con usted en que para un buen numero de inversores estos test
pueden resultar interesantes. Personalmente no los utilizo debido a
que la gestión de mis inversiones se basa únicamente en maximizar el
benéfico a largo plazo, sin control de riesgos, con concentración,
asumiendo mucha volatilidad, cada vez más centrada en microcaps muy
ilíquidas y asumiendo que en ciertos momentos las caídas van a ser muy
grandes: en ocasiones serán incluso del 100% (han sido del 100%). Por
lo que me resulta difícil buscar datos en el pasado que me ayuden.
Pero es cierto que a quien desee invertir de otra forma (que por
supuesto puede ser mucho mejor que la mía) estos test si pueden
ayudarle.
 
 
Sobre Montecarlo:
Es
tremendamente divertido. Uno puede pasarse horas simulando cualquier
cosa. Yo tuve que parar cuando mi pobre ordenador empezó a echar más y
más humo con cada nueva variable.
¿No cree que es posible que
sea un poco subjetivo? Me explico: al final uno introduce las
variables que considera relevantes y las relaciones entre ellas que
uno considera... No sé, creo que se obtiene, un poco, la simulación
que uno busca. Pero es una impresión.
 
 

@quixote1cualquier gurú televisivo le dirá que compre cualquier
automovilística excepto VW jejeje. Cada vez me tienta más. Eso sí, el
día que monten un RyanAuto... 


#7

Fabala Currante de los mercados

18 Oct 15

Así es @Xiscom;
una buena dosis de escepticismo siempre es saludar, intentando pensar
si quien ha hecho el test pueda tener una agenda oculta, o si lo
hacemos nosotros evitando de intentar demostrar a toda costa la
maravillosa idea que tenemos.


 



@Mistol, gracias por
tus palabras. Cuidado con los test, pero también cuidado con la
intuición como bien dices. Si pienso en mi experiencia, personalmente
me ha fallado, y sigue fallando mucho más la intuición que otra cosa.


 



@DonFernando, y
a mi me encanta el tono abierto, y constructivo  que se percibe en sus
comentarios y que denotan una gran experiencia.


Totalmente de acuerdo sobre la subjetividad del análisis de
Montecarlo. Considerando que soy un usuario bastante básico de
elaboraciones estadísticas, la he utilizado un par de veces y al final
la sensación que he tenido es que lo tenía que guiar el análisis era
el sentido común. Pero, claro, el sentido común no es muy
cuantitativo, digamos ;-))


Estoy seguro que los expertos de estadísticas sabrán utilizarla de
forma más objetiva.  


#8
18 Oct 15

Yo lo que me pone enfermo son los datos fundamentales cuando el 100%
son manipulados y maquillados.


#9

scribe "Comprar un banco es como comprar un fondo de renta fija": Iván Martín

18 Oct 15

@Fabala, entiendo que ha sido la  serie de posts que he escrito esta
semana sobre el DCA y la variante que he querido testar lo que te ha
movido a escribir este artículo. Si me lo permites, haré referencia al
mismo en el último de los míos porque todo cuanto dices me parece
pertinente y conviene que lo tenga en cuenta quien los lea.


Por mi parte, tan sólo he querido hacer una comprobación, contando
con que mi competencia en Excel es muy básica, de un aspecto por el
que siento inquietud y curiosidad desde hace tiempo; y he querido
compartirlo aquí porque pienso que hay bastante gente a quien un tema
como este puede interesarle. No obstante, creo que en los artículos he
dejado bastante claras, respecto a los resultados, dos cosas: primera,
que éstos hay que contemplarlos tan sólo como lo que son: lo que
habría pasado con un activo determinado en un periodo concreto de
tiempo, pero que de ninguna manera pueden generalizarse; y segundo,
que la diferencia entre los resultados de ambos métodos en los tests
son tan reducidas que realmente no vale la pena renunciar a la
comodidad de una automatización que en la variante propuesta no es posible.


Gracias por el artículo.


#10
18 Oct 15

Muy interesante , desmitificar los sistemas cuando tantos analistas
son esclavos de los  análisis técnicos, el libre albedrío existe en
todos los órdenes de la vida .


#11

Fabala Currante de los mercados

18 Oct 15


@scribe, tengo la
percepción, por tu comentario, que quizás hayas interpretado este post
como una crítica hacia tus href="http://www.unience.com/blogs-economia-finanzas/fondos-de-inversion/probando_una_variante_para_el_dollar-cost_averaging_y_iv_conclusiones">post
. Si es así te pido disculpa y quiero dejar claro que no me pasaba ni
remotamente por la cabeza una cosa de este tipo.


Quiero aclarar  como nació este post, y su razón de ser:


Efectivamente cuando escribí el comentario en href="http://www.unience.com/blogs-economia-finanzas/fondos-de-inversion/probando_una_variante_para_el_dollar-cost_averaging_iii_tablas_semanales">tu
post, y considerado que hago muchos test parecidos a lo que tu has
hecho,  sentí como la necesidad de intentar poner orden en mis ideas
sobre este tema y que mejor ocasión era la de hacer un post para conseguirlo.


Probablemente el tono general del artículo me ha salido como muy
crítico hacia los test que es un poco en contradicción conmigo mismo
que los considero muy importantes  y  me han permitido mejorar mucho
como inversor desde cuando los utilizo.


Quizás sea justamente eso, son tan importantes para mi, que
necesitaba poner de forma clara, negro sobre blanco, los riesgos que
hay detrás, para intentar evitar de caer en las trampas que puedan generar.


Por lo que se refiere a tu test, como he comentado, lo considero muy
interesante; las conclusiones claras, considerando las limitaciones
que ya hemos comentado, y  la verdad es que post como los que tu has
hecho son de lo mas estimulantes porqué, a parte los resultados,
pueden generar nuevas ideas de investigación y desarrollo.


Como ves, el mío es un post nacido con motivaciones muy egoístas,
pero que se ha generado gracias a tu estímulo y por esto te estoy agradecido.


#12

arturop https://foro.masdividendos.com/

19 Oct 15

Excelente post y excelente síntesis. No puedo más que
"resintetizar": los tests son útiles si se sabe lo que nos
dicen y cómo utilizarlos. Y hacer unos clicks aquí y allá no es suficiente.


#13
27 Oct 15

Los test si son minimamente reflexivos y se basan en algo sólido, y
sobre todo son honestos, sirven de mucho, creo yo,  y tal y como
indica Fabala al menos son algo. Un sistema que con pocos parametros
conseguimos buenos resultados y poca volatlidad de resultados en 50
años atrás, es evidente, nos indica bastante aproximadamente con un
alto porcentaje de probabilidad cierto sesgo de posibles resultados en
el futuro. Si bien es cierto que en momentos concretos podriamos estar
viviendo circunstancias diferentes nunca vistas que podrian poner a
prueba en una situación mas desfavorable de lo normal a nuestro
modelo. Eso sin valorar el factor suerte que en esta vida es fundamental.


Voy a poner un ejemplo. El sistema Momentum absoluto más simple que a
cualquera nos de por usar. Operamos mercado SP500,  mientras que
supere la rentabilidad de las letras de tesoro Usa en un periodo atras
de unos meses.   Este sencillo sistema ha funcionado razonablemente
bien, con una volatilidad bastante asequible, nada menos que en los
últimos 50 años donde ha ocurrido casi de todo lo que se nos ocurra.
La idea básica es que nos refigiamos en renta fija de corto o
medio-corto plazo cuando viene el ciclo bajista de rigor, con muy poca
cadencia de cambios etc, usando instrumentos de uso barato si casi
gastos de gestion.  Hasta ahí todo muy normal y podriamos pensar que
si ha funcionado hasta ahora porqué no lo va a hacer en el futuro. Yo
al meos creo que no tiene porque ir muy diferente en el futuro que en
los periodos dificiles del pasado.  ... Ahora bien... teniendo en
cuenta que los últimos tiempos hemos vivido bajadas casi constantes de
tipos en la renta fija, un gran ciclo muy extenso por cierto, y que
ahora hemos llegado casi al cero, por lo que los mercados igual tienen
que encajar posibles subidas de tipos y usar mercado de renta fija
igual no es tan buen refugio como en el pasado si se produce un ciclo
bajista de importancia en la bolsa. Quizás vivámos un mometo inédito.
Esto es lo que creo que por ejemplo un test aunque haya pasado pruebas
de muchos años atrás no siempre puede interpretar bien lo que nos
depare el futuro.


Es más una pregunta que me hago que una aseveración por mi parte.


En todo caso creo que analizar modelos y hacer test lo más
ortodoxamente posible es inevitable para reducir las innumerables
posibilidades de meter la pata. Esa es al menos mi opinión.


Saludos a todos.


#14

augur En eterna búsqueda y cambio

27 Oct 15

@majes, ese es el gran problema, que nos hemos quedado sin los
refugios clásicos e incluso el cash no sabemos donde depositarlo sin
miedo a perderlo.


De todas formas, en tu ejemplo momentum, si las letras del tesoro se
volvieran muy perdedoras el propio método te llevaria a decantarte por
el S & P 500 como mal menor.


#15

Fabala Currante de los mercados

27 Oct 15

Gracias por el comentario @majes y @augur,


Estoy de acuerdo que los test pueden ayudar mucho sobre todo si no
nos fiamos ciegamente de sus resultados.


La parte clave para mi es entender bien los que puede estar detrás de
los números, cual es la lógica por la cual esos resultados pueden
darnos una cierta aproximación de lo que nos podemos esperar.


El ejemplo del momento absoluto es algo muy familiar y mi forma de
enfrentarme a ese tema ha sido muy pragmático:


Sabiendo, por todos los estudios que hay publicados,  que i)  el
momento funciona, ii) el momento absoluto es una forma sencilla para
tener una mejor rentabilidad ajustada a la volatilidad, iii)
históricamente la renta fija ha ofrecido un buen refugio en los
momentos de alta volatilidad, pero teniendo duda de si esto pueda
confirmarse en un posible escenario de subidas de tipos, veo dos
soluciones posible:



  1. Sustituir la renta fija con la liquidez, o algún proxy de esta
    como alternativa a la renta variable;

  2. Aplicar el momento absoluto también a la Renta fija utilizada
    como refugio, para reducir los riesgos de este tipo de activo.

Haciendo un test con estas alternativas es muy probable, por las
pruebas que he hecho,  que, con el histórico de los últimas décadas
los resultados serían peores que en la forma de utilización del 
momento absoluto tipo Antonacci, pero, como vosotros,  no estoy seguro
que los mejores resultados pasados sean indicadores de los mejores
resultados futuros.