ARGOMENTO:

sono andato a rileggermi meglio il commento di Willy e volevo sottolineare questo:

If you watch your stats on BOINCstats and copy some of the numbers to an excel sheet or something else, or when you show the BOINCstats signature or another BOINCstats image on your site, you are NOT considered to be a scraper.

questo era il mio dubbio e mi sembra che lui l'abbia detto: servirebbe una dichiarazione ufficiale che le statistiche generate sono state ottenute dal sito di BOINCStats (in altre parole bisogna dichiarare il "copyright" dei dati di partenza)

Quindi se provi a metterti d'accordo con Willy , proponendogli di modificare in tal senso le tue statistiche, forse le cose possono andare avanti, e spiegando forse meglio le precauzioni che hai preso

Uno dei problemi è che, se lo contatto privatamente, non risponde. Farò un altro tentativo.

E qui tutta una serie di problematiche irrisolte che mi vengono in mente di primo acchito:

1. copia locale per tutti i challenge e tutti i team, ma poi basta lo spazio? O il traffico non sarebbe più pesante, soprattutto se qualche altro team inizia a farne uso? altrimenti dovrei eliminare la funzionalità per filtrare la classifica rispetto a qualsiasi team
2. introduzione del logo BS e del pulsante per le donazioni a loro rivolte
3. eventuali contrasti (da chiarire) con le politiche dell'hosting freewha (chi mi concede gratis questo dominio eu5.org) tra cui monetizzazione (verso terzi o anche il sottoscritto mediante donazioni), realizzazione di statistiche (il che mi sembra vietato dal loro regolamento), ecc...
4. e dunque eventuale passaggio a dominio nuovo e forse a pagamento che consenta questo tipo di script... chi paga? ha senso?
5. dilatazione intervallo minimo scansione BS (2 ore? ancora troppo frequente?)
6. ottenere xml per fare export leggeri (BS me li fornirà?)
7. bloccare la possibilità al singolo ip/utente di caricare da solo molte classifiche in poco tempo, per esempio introducendo le sessioni
8. in realtà non so con certezza chi abbia bloccato i miei scan di BS: freewha (sul mio specifico dominio) verso BS o BS da boincrankings.eu5.org? non mi è dato di saperlo

Il discorso in pratica è che questo script è nato come uno sfizio di programmare qualcosa, non come un sistema informatico con tutte le contromisure del caso che neanche conosco di preciso dato che non sono un esperto di sicurezza né lavoro nel campo.

E poi questo è periodo di esami e non posso/devo dare retta a queste cose che portano via molto tempo. Se poi riesco a tirare fuori qualche ora per pensarci, bene, ma per ora fino a inizio marzo non se ne parla.
La sera passo a vedere qualcosa, ma mettersi a programmare invece di vedere un telefilm dopo una giornata di studio chi lo fa?

io provo a sottoporre le mie proposte sui seguenti punti:

1. copia locale per tutti i challenge e tutti i team, ma poi basta lo spazio? O il traffico non sarebbe più pesante, soprattutto se qualche altro team inizia a farne uso? altrimenti dovrei eliminare la funzionalità per filtrare la classifica rispetto a qualsiasi team

Direi che a noi serve solamente la statistica di BOINC.Italy ( e questo andrà evidenziato a Willy, e potrebbe anche essere che Willy ci ripensi e faccia un qualcosa relativo alle classifiche interne di ogni Team)

2. introduzione del logo BS e del pulsante per le donazioni a loro rivolte

Per quello che ho scritto nel mio precedente post, credo sia la condizione dirimente

6. ottenere xml per fare export leggeri (BS me li fornirà?)

Sicuramente questo potrebbe risolvere il problema. Questo potrebbe essere la spinta per Willy a sviluppare la possibilità dello scarico di un xml file, facendogli capire che è anche importante, per gli appartenenti a ciascun Team, una classifica interna su ogni challenge.

Pare che BOINCRankings abbia scontato la pena e sia stato s-bannato da BOINCstats.

Dopo aver apportato un po' di correzioni al codice perché qualcosa nell'html delle pagine di BOINCstats era cambiato, le scansioni delle classifiche sono tornate a funzionare di nuovo!

Ricordo la modalità di utilizzoPer qualsiasi challenge su BOINCstats inserite il ChallengeId corretto, che trovate nella barra degli indirizzi caricando la pagina del challenge , e il gioco è fatto.

Rispiego a grandi linee il comportamento di questo codice.
Quando un utente carica la pagina dello specifico challenge su BOINCRankings, viene creata una copia locale.
Creare una copia locale significa che innescate la scansione di tutte le pagine del challenge alla ricerca di utenti del nostro team.
Questo caricamento può durare un po' di secondi. Evitate di interromperlo perché non so cosa succede se il processo rimane a metà (si può sicuramente fare di meglio, ma non ho gestito la cosa a suo tempo).
Tutti gli utenti successivi leggono la copia locale senza scomodare nuovamente BOINCstats.
Passata mezz'ora, il primo utente che carica la pagina innesca la creazione di una nuova copia locale.
A fine challenge ovviamente, se tutto funzionerà correttamente, leggerete "per sempre" l'ultima copia locale creata che, se non ricordo male, deve rispettare il vincolo di essere stata creata a challenge terminato.

Non ho invece riabilitato la possibilità di vedere la classifica interna di qualsiasi team. Per il momento preferisco lasciare le cose più leggere possibili.

Per ridurre l'impatto dello scraping su BOINCstats ho aumentato a 1h l'intervallo minimo fra un aggiornamento e l'altro e disattivato temporaneamente la generazione di classifica per ChallengeId diversi da 1078 (challenge "WCG - OpenPandemics COVID19 Crunch!").
Devo indagare meglio su cosa è possibile fare, se è vietato ancora del tutto copiare qualche pagina e se è possibile contattare l'admin Willy.

Parte di questo messaggio è nascosta ai visitatori. Prego registrarsi e/o effettuare l'accesso per vederla.

Parte di questo messaggio è nascosta ai visitatori. Prego registrarsi e/o effettuare l'accesso per vederla.