Automazioni - Bot - Web Scraping

NinjaBeppe

@NinjaBeppe ha detto in Automazioni - Bot - Web Scraping:

@pavlov82 per esempio, come fai a portare in una tabella excel il sito soccer24.com ? Quale istruzioni utilizzi in python o che programma di web scriping utilizzi ?

Suggerimenti ? Non voglio che mi imbocchiate o scriviate il codice per me, è sufficiente darmi delle indicazioni su come procedere.
Voglio riuscire a fare un web scriping anche semplicissimo; avete qualche stupido esempio già pronto in modo che possa attivarlo, analizzarlo, comprendere sul campo e quindi rielaborarlo per le mie esigenze ?

bet-luca

@NinjaBeppe ci sono tanti approcci dipende che intendi per portare su excel

il modo piu semplice per chi non è programmatore è usare un tool di browser automation come imacros, poi dipende molto dal tipo di sito e applicativo che devi generare.

TheHawk

@NinjaBeppe sono d accordo con Luca.. In ogni caso se vuoi usare python ci sono diverse librerie che puoi usare... C è requests per scaricarti le pagine e personalmente uso beautifulsoup o scrapy (dipende da quello che devo fare) come parser. Ci sono molti tutorial con esempi più o meno facili..

NinjaBeppe

@TheHawk leggendo tra le mille pagine trovate avevo già appreso dell'esistenza di queste librerie ed ho già installato sia requests che beautifulsoup, ora devo comprendere come usarli.
I tutorial trovati non sono stati sufficienti, sono riuscito a comprendere parecchie cose, si tratta di applicarle, è che volevo procedere più velocemente.
Grazie comunque ad entrambi

NinjaBeppe

Mi arrendo, o trovo dei testi buoni per apprendere bene o meglio sfruttare il tempo in altro modo.
Comunque la mia richiesta sembrava chiara, è vero che ci sono vari modi di affrontare il web scriping, ma la richiesta su come portare in tabella excel il sito soccer24 sembrava chiara, e penso che almeno una soluzione con indicazioni mi poteva arrivare.

basta ... mi scoppia la testa, mi concentrerò su come fare soldi con gli strumenti di altri adattati a modo mio (come il foglio NinjaBeppe-PAL che è una mia modifica di un foglio di altri, e per i live che mi affiderò alle segnalazioni di un servizio già pronto che si avvicina alle mie modalità di scelta).

Esco che mi sta uscendo il fumo dalla testa buona serata.

Link

@NinjaBeppe il problema è che lo scraping non è una materia semplice, la tua richiesta è chiara ma la risposta non è altrettanto facile, o meglio la risposta è che devi ispezionarti la pagina in tutti i punti che vuoi estrapolare e tirarti fuori l'XPath che darai in pasto al parser per tirarti fuori l'informazione corrispondente che poi vai a salvare dove ti pare e ovviamente dovrai controllare se è una pagina su cui gira del javascript e che quindi fa comparire e scomparire elementi a seconda di dove clicchi, dovrai controllare che il proprietario del sito non modifichi mai gli id degli elementi altrimenti ti tocca aggiornare tutto, non credo sia una cosa che puoi imparare/programmare in poco tempo.

pavlov82

@bet-luca non posso dare identità Germania perchè io sono registrato su Italia quindi la mia locale è per forza Italia. Però la Germania è un paese “limited” per Betfair quindi non accetta questi incroci tra paese di provenienza e locale. Finlandia invece è meno restrittiva.
Corretto per la Green Line: trovi sul forum degl sviluppatori di Betfair tutti i documenti per calcolarla

pavlov82

@NinjaBeppe io ai tempi usavo https://scrapinghub.com/ è un software esterno che ti permette di scaricare i dati dalle pagine.
Alternativa è prendere la pagina da zero: però lo sconsiglio; appena ti aggiornano la pagina, devi rifare tutto da capo.

pavlov82

@NinjaBeppe Sincero: se vuoi farti un progetto che vuoi gestirti in autonomia vai di sviluppo. Impara un linguaggio bene, impara i servizi e datti alle logiche (ci vuole tempo).
Altrimenti vai di servizi che già fanno queste cose e guadagna.
Sono approcci differenti, dipende da cosa ti piacerebbe fare

pavlov82

@Link Si hai le 100 richieste free: io ho il piano da 19

Link

@pavlov82 il punto è che alla fine pagare 20 al mese quando con meno ti trovi il software già fatto ( devo comunque provarli per vedere se funzionano decentemente ) non ha senso

pavlov82

@Link Secondo te perchè faccio un software?

Link

@pavlov82 perchè non hai trovato quello che volevi in quelli già fatti ?

pavlov82

@Link diciamo che poi mi faccio il mio giro

Link

@pavlov82 ah be se hai partita iva e hai qualcuno a cui rivenderli è sicuramente un altro paio di maniche

pavlov82

@Link progetto 2020

NinjaBeppe

@pavlov82 in effetti è un ambiente di programmazione tutto nuovo per me e non è logico come mi stavo muovendo, dici di partite dal PHP ?

NinjaBeppe

@pavlov82 ma se un sito fornisce le API del palinsesto e delle statistiche live, non c'è un modo semplice per integrarle in un bot ?

pavlov82

@NinjaBeppe puoi partire da un linguaggio a tua scelta: dipende quale ti piace di piu. Oggi Python va per la maggiore. Io uso php (ho sempre fatto quello) appoggiato su un framework (Laravel)

pavlov82

@NinjaBeppe beh il servizio API lo devi chiamare in qualche modo. Puoi usare anche un client api (Tipo Postman) ma non ci puoi inserire un granchè di logiche (fa solo chiamate “dirette”).
Se vuoi inserire della logica hai bisogno di un linguaggio per fare i “ragionamenti”