Automazioni - Bot - Web Scraping

NinjaBeppe

Creo questa sezione per chi si diletta nella programmazione, nella creazione di Bot o Web Scraping ed ha bisogno si supporto o aiuto di qualsiasi tipo, sperando che con il reciproco aiuto riusciamo a superare quei piccoli ostacoli che ci impediscono di realizzare utility condivise.
Ormai qui stiamo facendo tutti del "fai da te" per poi, con saggezza, condividere le varie esperienze ed elaborati per l'unico fine di fare cassa.

pavlov82

@NinjaBeppe riprendo un po’ quanto fatto (cosi per allinearci tutti): ho creato un’applicazione php che gira su un server finlandese (Betfair non vuole che gli mandi le richieste API dalla Germania).
Contestualmente chiamo un servizio di risultati che gira sostanzialmente live (football-api lo trovate su rapid-api che è un marketplace di api).
Ho fatto una mappatura tra le leghe di football-api (che son quelle da cui genero l’analisi pre-match) e le competizioni di Betfair (che sono quelle su cui posso scommettere): alcune non sono associabili (ne ho una decina che in questo momento mi mancano).
Il resto lo fa l’applicazione: interpreta i segnali (parte che ho sviluppato) e fa cose.
Punto importante: su Betfair api NON c’è il cashout; quindi mi sono dovuto mettere a fare un’alternativa al cashout, chiamata “Green Line” che fondamentalmente fa la stessa cosa, ma rimango con lo Stack finoa fine partita; per lo stop loss si usa la logica della “Red Line” che è simile alla Green ma in direzione opposta.
Se qualcuno ha qualche domanda fatemi sapere: per ora ho sviluppato la versione “beta” della SO, la sto modellando ancora e ho già alcuni punti da far evolvere. Spero di condividervi alcuni risultati per l’inizio dell’anno.

NinjaBeppe

I miei handicap sono 2 :

Fare web scraping per raccogliere in un foglio excel i dati da analizzare
Creare un bot che analizzi i valori real-time da internet ed al verificarsi di una condizione segnali su telegram con notifica

stavo provando con python, poi ho visto che ci sono anche dei tool che fanno automaticamente web scraping, voi cosa consigliate o come mi consigliate di muovermi.

pavlov82

@NinjaBeppe web scarpini su che sito vuoi farlo? Noi ai tempi, per un altro progetto, avevamo provato su bet365.
Occhio che il web scarpini non sempre funziona (i siti cercano di inibirti la funzionalità).
Il bot ci sta che lo fai in Python mettilo su un server (hertzner ne fornisce) e poi lo fai girare in maniera continuativa.
Telegram lo puoi fare: io anche faccio uguale per sapere quando scommette il bot.

NinjaBeppe

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

maxbonnie

Interessato anch'io per web scraping. Seguo.

Per quanto riguarda il live ho iniziato a seguire da oggi un software esterno su cui si appoggia anche ninjabeppe (credo), c'è da impostare bene i filtri e fare tante prove. Però a noi piace fare le cose fatte in casa, per cui chiedo dove trovo delle API per il live dei match? football-api come suggerisce @pavlov82 ? o c'è altro?

Link

@maxbonnie api football lo puoi almeno provare gratis con 100 richieste al giorno!
Ma questo strumento di filtraggio live che avete trovato è a pagamento o free?

maxbonnie

@Link pagamento

Link

@maxbonnie ah ecco, ma è quello linkato da qualcuno qualche giorno fa da 14 euro al mese dove imposti i filtri e ti invia le notifiche?

maxbonnie

@Link yes

Link

@maxbonnie quindi stai facendo un mese di prova pagando? Come ti trovi?

maxbonnie

@Link ho iniziato oggi e non ci sono partite, per cui dovrai aspettare ancora un po' per una mia valutazione

Link

@maxbonnie ne ho appena trovato uno che sembra avere una funzionalità simile a 5 sterline al mese.

maxbonnie

@Link ha detto in Automazioni - Bot - Web Scraping:

@maxbonnie ne ho appena trovato uno che sembra avere una funzionalità simile a 5 sterline al mese.

in teoria possiamo dire tranquillamente i nomi, lo staff ce lo permette, ovviamente senza affiliazioni o cose del genere https://ninjaclub.ninjabet.it/topic/24203/servizi-software-esterni-per-il-trader

bet-luca

@pavlov82 perchè devi dargli identity germany ed usare l'endpoint dedicato, come me che chiamo dall'italia

con la libreria che ho scaricato io

trading = betfairlightweight.APIClient('xxxxx', '.xxxx', app_key='xxxxx', certs='/xxxx',locale='italy')

per Green Line intendi che ti calcoli la puntata di copertura a manina giusto ?

NinjaBeppe

@maxbonnie ha detto in Automazioni - Bot - Web Scraping:

Interessato anch'io per web scraping. Seguo.

Per quanto riguarda il live ho iniziato a seguire da oggi un software esterno su cui si appoggia anche ninjabeppe (credo), c'è da impostare bene i filtri e fare tante prove. Però a noi piace fare le cose fatte in casa, per cui chiedo dove trovo delle API per il live dei match? football-api come suggerisce @pavlov82 ? o c'è altro?

No, ho capito a quale ti riferisci, ho fatto alcune prove ma non mi è piaciuto molto quel software.

NinjaBeppe

@NinjaBeppe ha detto in Automazioni - Bot - Web Scraping:

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

Suggerimenti ? Non voglio che mi imbocchiate o scriviate il codice per me, è sufficiente darmi delle indicazioni su come procedere.
Voglio riuscire a fare un web scriping anche semplicissimo; avete qualche stupido esempio già pronto in modo che possa attivarlo, analizzarlo, comprendere sul campo e quindi rielaborarlo per le mie esigenze ?

bet-luca

@NinjaBeppe ci sono tanti approcci dipende che intendi per portare su excel

il modo piu semplice per chi non è programmatore è usare un tool di browser automation come imacros, poi dipende molto dal tipo di sito e applicativo che devi generare.

TheHawk

@NinjaBeppe sono d accordo con Luca.. In ogni caso se vuoi usare python ci sono diverse librerie che puoi usare... C è requests per scaricarti le pagine e personalmente uso beautifulsoup o scrapy (dipende da quello che devo fare) come parser. Ci sono molti tutorial con esempi più o meno facili..

NinjaBeppe

@TheHawk leggendo tra le mille pagine trovate avevo già appreso dell'esistenza di queste librerie ed ho già installato sia requests che beautifulsoup, ora devo comprendere come usarli.
I tutorial trovati non sono stati sufficienti, sono riuscito a comprendere parecchie cose, si tratta di applicarle, è che volevo procedere più velocemente.
Grazie comunque ad entrambi