Automazioni - Bot - Web Scraping

NinjaBeppe

I miei handicap sono 2 :

Fare web scraping per raccogliere in un foglio excel i dati da analizzare
Creare un bot che analizzi i valori real-time da internet ed al verificarsi di una condizione segnali su telegram con notifica

stavo provando con python, poi ho visto che ci sono anche dei tool che fanno automaticamente web scraping, voi cosa consigliate o come mi consigliate di muovermi.

pavlov82

@NinjaBeppe web scarpini su che sito vuoi farlo? Noi ai tempi, per un altro progetto, avevamo provato su bet365.
Occhio che il web scarpini non sempre funziona (i siti cercano di inibirti la funzionalità).
Il bot ci sta che lo fai in Python mettilo su un server (hertzner ne fornisce) e poi lo fai girare in maniera continuativa.
Telegram lo puoi fare: io anche faccio uguale per sapere quando scommette il bot.

NinjaBeppe

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

maxbonnie

Interessato anch'io per web scraping. Seguo.

Per quanto riguarda il live ho iniziato a seguire da oggi un software esterno su cui si appoggia anche ninjabeppe (credo), c'è da impostare bene i filtri e fare tante prove. Però a noi piace fare le cose fatte in casa, per cui chiedo dove trovo delle API per il live dei match? football-api come suggerisce @pavlov82 ? o c'è altro?

Link

@maxbonnie api football lo puoi almeno provare gratis con 100 richieste al giorno!
Ma questo strumento di filtraggio live che avete trovato è a pagamento o free?

maxbonnie

@Link pagamento

Link

@maxbonnie ah ecco, ma è quello linkato da qualcuno qualche giorno fa da 14 euro al mese dove imposti i filtri e ti invia le notifiche?

maxbonnie

@Link yes

Link

@maxbonnie quindi stai facendo un mese di prova pagando? Come ti trovi?

maxbonnie

@Link ho iniziato oggi e non ci sono partite, per cui dovrai aspettare ancora un po' per una mia valutazione

Link

@maxbonnie ne ho appena trovato uno che sembra avere una funzionalità simile a 5 sterline al mese.

maxbonnie

@Link ha detto in Automazioni - Bot - Web Scraping:

@maxbonnie ne ho appena trovato uno che sembra avere una funzionalità simile a 5 sterline al mese.

in teoria possiamo dire tranquillamente i nomi, lo staff ce lo permette, ovviamente senza affiliazioni o cose del genere https://ninjaclub.ninjabet.it/topic/24203/servizi-software-esterni-per-il-trader

bet-luca

@pavlov82 perchè devi dargli identity germany ed usare l'endpoint dedicato, come me che chiamo dall'italia

con la libreria che ho scaricato io

trading = betfairlightweight.APIClient('xxxxx', '.xxxx', app_key='xxxxx', certs='/xxxx',locale='italy')

per Green Line intendi che ti calcoli la puntata di copertura a manina giusto ?

NinjaBeppe

@maxbonnie ha detto in Automazioni - Bot - Web Scraping:

Interessato anch'io per web scraping. Seguo.

Per quanto riguarda il live ho iniziato a seguire da oggi un software esterno su cui si appoggia anche ninjabeppe (credo), c'è da impostare bene i filtri e fare tante prove. Però a noi piace fare le cose fatte in casa, per cui chiedo dove trovo delle API per il live dei match? football-api come suggerisce @pavlov82 ? o c'è altro?

No, ho capito a quale ti riferisci, ho fatto alcune prove ma non mi è piaciuto molto quel software.

NinjaBeppe

@NinjaBeppe ha detto in Automazioni - Bot - Web Scraping:

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

Suggerimenti ? Non voglio che mi imbocchiate o scriviate il codice per me, è sufficiente darmi delle indicazioni su come procedere.
Voglio riuscire a fare un web scriping anche semplicissimo; avete qualche stupido esempio già pronto in modo che possa attivarlo, analizzarlo, comprendere sul campo e quindi rielaborarlo per le mie esigenze ?

bet-luca

@NinjaBeppe ci sono tanti approcci dipende che intendi per portare su excel

il modo piu semplice per chi non è programmatore è usare un tool di browser automation come imacros, poi dipende molto dal tipo di sito e applicativo che devi generare.

TheHawk

@NinjaBeppe sono d accordo con Luca.. In ogni caso se vuoi usare python ci sono diverse librerie che puoi usare... C è requests per scaricarti le pagine e personalmente uso beautifulsoup o scrapy (dipende da quello che devo fare) come parser. Ci sono molti tutorial con esempi più o meno facili..

NinjaBeppe

@TheHawk leggendo tra le mille pagine trovate avevo già appreso dell'esistenza di queste librerie ed ho già installato sia requests che beautifulsoup, ora devo comprendere come usarli.
I tutorial trovati non sono stati sufficienti, sono riuscito a comprendere parecchie cose, si tratta di applicarle, è che volevo procedere più velocemente.
Grazie comunque ad entrambi

NinjaBeppe

Mi arrendo, o trovo dei testi buoni per apprendere bene o meglio sfruttare il tempo in altro modo.
Comunque la mia richiesta sembrava chiara, è vero che ci sono vari modi di affrontare il web scriping, ma la richiesta su come portare in tabella excel il sito soccer24 sembrava chiara, e penso che almeno una soluzione con indicazioni mi poteva arrivare.

basta ... mi scoppia la testa, mi concentrerò su come fare soldi con gli strumenti di altri adattati a modo mio (come il foglio NinjaBeppe-PAL che è una mia modifica di un foglio di altri, e per i live che mi affiderò alle segnalazioni di un servizio già pronto che si avvicina alle mie modalità di scelta).

Esco che mi sta uscendo il fumo dalla testa buona serata.

Link

@NinjaBeppe il problema è che lo scraping non è una materia semplice, la tua richiesta è chiara ma la risposta non è altrettanto facile, o meglio la risposta è che devi ispezionarti la pagina in tutti i punti che vuoi estrapolare e tirarti fuori l'XPath che darai in pasto al parser per tirarti fuori l'informazione corrispondente che poi vai a salvare dove ti pare e ovviamente dovrai controllare se è una pagina su cui gira del javascript e che quindi fa comparire e scomparire elementi a seconda di dove clicchi, dovrai controllare che il proprietario del sito non modifichi mai gli id degli elementi altrimenti ti tocca aggiornare tutto, non credo sia una cosa che puoi imparare/programmare in poco tempo.