Sample Size Calculator - AKA Quanto deve essere grande il mio Sample?

Adestacope

Ciao ragazzi,
finalmente ho trovato un simulatore che, impostate le condizioni della strategia, è in grado di dirci quale sia il sample minimo di eventi affinchè la strategia sia affidabile.

http://statulator.com/SampleSize/ss1P.html?fbclid=IwAR0MO7oS958pYIfLRZ0z4m5GGr1JdnEdZHRzlHojrIE8oJTzdcsah1SnvJY

I parametri da mettere sono veramente pochi e semplici.
-Expected Proportion: è il dato che ci interessa di più, altro non è che il winrate della nostra strategia;

-Level of Confidence: in sostanza questo dice quale % delle possibili run che la strategia può avere ricade all'interno dei valori che da come outpot il calcolatore.

-Precision Of Margin Of Error: impostando 0.05, vorrà dire che una strategia che fa ROI del 10%, con questo sample potrà fare roi 10 +/-5, quindi ROI compreso fra 5 e 15.

La cosa secondo me più interessante di tutta la faccenda, è che, al contrario di quanto erroneamente pensassi, non è vero che al diminuire della % di winrate, deve aumentare il sample per capire se la strategia sia affidabile oppure no.
Una strategia con winrate 90%, richiede lo stesso sample di una con winrate 10%, perchè in sostanza dire che "vinco il 10%" è esattamente uguale a dire "perdo il 90%".

TL;DR: qualunque strategia con meno di 250 eventi, non ha un sample attendibile (e già a 250 siamo in braccio alla varianza)

brusa70

@Adestacope non ho capito come funziona , lo so ! sono ignorante io ! se volessi capire con la mia strategia BrusaLTD

Adestacope

@brusa70 che winrate ha la strategia e che quota media prendi?

Adestacope

@brusa70 sei risucito alla fine a provare a fare una simulazione?

brusa70

@Adestacope no scusami non sono ancora riuscito ...
Per winrate cosa intendi ?

Link

@brusa70 quante volte vincono le tue selezioni, tipo 5 volte su 10 e cosi via ( quindi 50% win rate ).

brusa70

@Link a saperlo ...per adesso la selezione è minima ..
13 win , 4 lose

Adestacope

@brusa70 a che quota media sono le selezioni?

L'utilizzo comunque è molto semplice, supponiamo di avere una strategia con Winrate del 70% e quota media lorda di 1.6.

Andrò a impostare il calcolatore nel seguente modo:
Expected Proportion: 0.7.

Con i dati base, mi dice che il sample necessario è di 323 eventi, però in questo caso avrò:
-Level of confidence: 95%
-Precision Of Margin of Error (PME):0.05.
Cosa vuol dire? Vuol dire che il mio ROI, che a livello teorico dovrebbe essere del 10%, in realtà sarà compreso, nel 95% dei casi (Level of confidence 95), fra il 2% e il 17.5%.
Questo perchè il winrate, che teoricamente dovrebbe essere del 70%, avendo PME di 0.05, può essere compreso fra il 65% ed il 75%.

Supponiamo ora di avere già un sample di 500 eventi.
Cambiamo i valori di PME e Level Of Confidence, e vediamo che con 500 eventi possiamo permetterci un PME di 0.04.
A questo punto il mio winrate sarà compreso fra il 66% ed il 74%, dunque il ROI sarà compreso fra il 3.5% ed il 16%.

Il level of confidence, che è forse la cosa meno "intuitiva" da capire, altro non è che la probabilità che la nostra run di eventi finisca nel range di ROI stimato dal calcolatore.

brusa70

@Adestacope

Prove di due settimane...

Adestacope

@brusa70 ok, supponiamo dunque che il winrate sia del 76% con quota media di 1.47 (vinci mediamente il 47% dello stake quando vinci).

Ti serve un sample di 281 eventi per avere il 95% di possibilità che il ROI della strategia sia compreso fra il 2,7% ed il 17%

brusa70

@Adestacope sti ...zzi

Adestacope

@brusa70 è per questo che dicevo che "un mese" non è un sample attendibile per le strategie...

Link

@Adestacope io comunque ancora non riesco a trovare una strategia che statisticamente abbia un edge anche solo del 5%.
Con le quote che ci sono se vado in pari è già tanto.

brusa70

intanto vado avanti con questa , poi è una strategia senza il mio intervento ....nel senso che lancio l’automazione di fairbot e fa lei ...il problema è, se vogliamo chiamare problema , che non entra sempre ...per esempio questo sabato/domenica su 14 selezionate ..0 ingressi ...però se entra, almeno per adesso, difficilmente sbaglia. Sono molto fiducioso , tireremo una riga a fine mese ..e ne discuteremo insieme , vedo che di statistiche e numeri siete forti

Adestacope

@brusa70 il fatto che "non entri sempre" è irrilevante se non consideri quelle non entrate nel sample ovviamente

teowreath27

@Link penso che questo sia il problema di tanti. O meglio, IL PROBLEMA di chi fa trading!

Link

@teowreath27 eh però poi sento che @Adestacope trova strategie dove di base ha il 5% di edge che poi fa arrivare al 10% con la discrezionalità e quindi continuo a cercare
Il punto è che chi fa trading sistematico in ambito finanziario in genere riesce a trovare strategie che a lungo termine hanno un vantaggio, pensavo di riuscire a trovare qualcosa di simile in ambito calcistico ma le quote sono veramente schiacciate al punto di non lasciare praticamente margine.

teowreath27

@Link non ascoltare @Adestacope che dice un mare di ca**ate! (hahaha si scherza )
I problemi sono due. Secondo me:

1.Puoi avere un edge del 5% ma non accorgetene per mesi. Mi spiego, può essere che per 3 mesi di fila fai negativo e avere comunque un vantaggio sul mercato che va ad appianarsi nel corso delle operazioni. Però, come capita spesso, dopo 3 mesi (ma anche meno) una strategia viene etichettata come negativa se non fa positivo e perciò questo edge non viene mai "a galla".

2.Se per il processo decisionale ti basi sia su statistiche pre-match che tuo giudizio personale la cosa si complica. Nel senso che i numeri sono i numeri, ma il tuo giudizio e la tua capacità di lettura del match (ammesso che esista) possono cambiare molto a secondo di molto fattori (sia esterni che interni). Perciò in questo caso il tuo edge (del 5%) è molto più influenzato dal tuo stato d'animo (e capacità) che dalle statistiche e numeri.

P.S.: credimi che per far trading finanziario le cose si complicano e di molto. Anche se è un ambiente dove gira una quantità di soldi che il trading sportivo in confronto è la paghetta di un bimbo delle elementari la confusione è tanta. Si passa dagli analisti tecnici duri e puri che se non hanno un grafico a candele giapponesi vanno in paranoia a i sostenitore dei fondamentali e del lungo periodo per cui una scimmia bendata che tira freccette su una lista di titoli saprebbe scegliere meglio di un analista professionista.

Link

@teowreath27 no ma intendiamoci, io sono partito dal trading finanziario e anche li mi diletto a cercare di trovare sistemi che abbiano statisticamente un vantaggio, per quanto riguarda il calcio io sto parlando di analisi di dati prematch nudi e crudi senza alcun giudizio da parte mia, non parlo di testare una strategia a mano per 3 mesi e vedere come va, parlo proprio di simulazioni sul lungo periodo e ancora non ho trovato nulla che mi dia un vantaggio competitivo

Link

@teowreath27 tanto per dire questa potrebbe essere una simpatica equity line se solo riuscissi a trovare il goal nel primo tempo sempre a quota 1.4 su exchange peccato non sia cosi nella media delle mie selezioni.