Automazioni - Bot - Web Scraping

NinjaBeppe

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

maxbonnie

Interessato anch'io per web scraping. Seguo.

Per quanto riguarda il live ho iniziato a seguire da oggi un software esterno su cui si appoggia anche ninjabeppe (credo), c'è da impostare bene i filtri e fare tante prove. Però a noi piace fare le cose fatte in casa, per cui chiedo dove trovo delle API per il live dei match? football-api come suggerisce @pavlov82 ? o c'è altro?

Link

@maxbonnie api football lo puoi almeno provare gratis con 100 richieste al giorno!
Ma questo strumento di filtraggio live che avete trovato è a pagamento o free?

maxbonnie

@Link pagamento

Link

@maxbonnie ah ecco, ma è quello linkato da qualcuno qualche giorno fa da 14 euro al mese dove imposti i filtri e ti invia le notifiche?

maxbonnie

@Link yes

Link

@maxbonnie quindi stai facendo un mese di prova pagando? Come ti trovi?

maxbonnie

@Link ho iniziato oggi e non ci sono partite, per cui dovrai aspettare ancora un po' per una mia valutazione

Link

@maxbonnie ne ho appena trovato uno che sembra avere una funzionalità simile a 5 sterline al mese.

maxbonnie

@Link ha detto in Automazioni - Bot - Web Scraping:

@maxbonnie ne ho appena trovato uno che sembra avere una funzionalità simile a 5 sterline al mese.

in teoria possiamo dire tranquillamente i nomi, lo staff ce lo permette, ovviamente senza affiliazioni o cose del genere https://ninjaclub.ninjabet.it/topic/24203/servizi-software-esterni-per-il-trader

bet-luca

@pavlov82 perchè devi dargli identity germany ed usare l'endpoint dedicato, come me che chiamo dall'italia

con la libreria che ho scaricato io

trading = betfairlightweight.APIClient('xxxxx', '.xxxx', app_key='xxxxx', certs='/xxxx',locale='italy')

per Green Line intendi che ti calcoli la puntata di copertura a manina giusto ?

NinjaBeppe

@maxbonnie ha detto in Automazioni - Bot - Web Scraping:

Interessato anch'io per web scraping. Seguo.

Per quanto riguarda il live ho iniziato a seguire da oggi un software esterno su cui si appoggia anche ninjabeppe (credo), c'è da impostare bene i filtri e fare tante prove. Però a noi piace fare le cose fatte in casa, per cui chiedo dove trovo delle API per il live dei match? football-api come suggerisce @pavlov82 ? o c'è altro?

No, ho capito a quale ti riferisci, ho fatto alcune prove ma non mi è piaciuto molto quel software.

NinjaBeppe

@NinjaBeppe ha detto in Automazioni - Bot - Web Scraping:

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

Suggerimenti ? Non voglio che mi imbocchiate o scriviate il codice per me, è sufficiente darmi delle indicazioni su come procedere.
Voglio riuscire a fare un web scriping anche semplicissimo; avete qualche stupido esempio già pronto in modo che possa attivarlo, analizzarlo, comprendere sul campo e quindi rielaborarlo per le mie esigenze ?

bet-luca

@NinjaBeppe ci sono tanti approcci dipende che intendi per portare su excel

il modo piu semplice per chi non è programmatore è usare un tool di browser automation come imacros, poi dipende molto dal tipo di sito e applicativo che devi generare.

TheHawk

@NinjaBeppe sono d accordo con Luca.. In ogni caso se vuoi usare python ci sono diverse librerie che puoi usare... C è requests per scaricarti le pagine e personalmente uso beautifulsoup o scrapy (dipende da quello che devo fare) come parser. Ci sono molti tutorial con esempi più o meno facili..

NinjaBeppe

@TheHawk leggendo tra le mille pagine trovate avevo già appreso dell'esistenza di queste librerie ed ho già installato sia requests che beautifulsoup, ora devo comprendere come usarli.
I tutorial trovati non sono stati sufficienti, sono riuscito a comprendere parecchie cose, si tratta di applicarle, è che volevo procedere più velocemente.
Grazie comunque ad entrambi

NinjaBeppe

Mi arrendo, o trovo dei testi buoni per apprendere bene o meglio sfruttare il tempo in altro modo.
Comunque la mia richiesta sembrava chiara, è vero che ci sono vari modi di affrontare il web scriping, ma la richiesta su come portare in tabella excel il sito soccer24 sembrava chiara, e penso che almeno una soluzione con indicazioni mi poteva arrivare.

basta ... mi scoppia la testa, mi concentrerò su come fare soldi con gli strumenti di altri adattati a modo mio (come il foglio NinjaBeppe-PAL che è una mia modifica di un foglio di altri, e per i live che mi affiderò alle segnalazioni di un servizio già pronto che si avvicina alle mie modalità di scelta).

Esco che mi sta uscendo il fumo dalla testa buona serata.

Link

@NinjaBeppe il problema è che lo scraping non è una materia semplice, la tua richiesta è chiara ma la risposta non è altrettanto facile, o meglio la risposta è che devi ispezionarti la pagina in tutti i punti che vuoi estrapolare e tirarti fuori l'XPath che darai in pasto al parser per tirarti fuori l'informazione corrispondente che poi vai a salvare dove ti pare e ovviamente dovrai controllare se è una pagina su cui gira del javascript e che quindi fa comparire e scomparire elementi a seconda di dove clicchi, dovrai controllare che il proprietario del sito non modifichi mai gli id degli elementi altrimenti ti tocca aggiornare tutto, non credo sia una cosa che puoi imparare/programmare in poco tempo.

pavlov82

@bet-luca non posso dare identità Germania perchè io sono registrato su Italia quindi la mia locale è per forza Italia. Però la Germania è un paese “limited” per Betfair quindi non accetta questi incroci tra paese di provenienza e locale. Finlandia invece è meno restrittiva.
Corretto per la Green Line: trovi sul forum degl sviluppatori di Betfair tutti i documenti per calcolarla

pavlov82

@NinjaBeppe io ai tempi usavo https://scrapinghub.com/ è un software esterno che ti permette di scaricare i dati dalle pagine.
Alternativa è prendere la pagina da zero: però lo sconsiglio; appena ti aggiornano la pagina, devi rifare tutto da capo.