ARGOMENTO:

Avviata scansione di tutti i challenge BS. Ci vorra un bel po'...

Penso che a breve rimuoverò lo script ChlNew.php. Se non c'è più, tornate pure a usare Chl.php che in realtà sarà quello nuovo.

Nubman, sarebbe utile anche se metteresti su quale progetto si è svolto il Challenge in questione...no?

Gattorantolo ha scritto:

Nubman, sarebbe utile anche se metteresti su quale progetto si è svolto il Challenge in questione...no?

Avevo omesso volutamente quel campo perché mi sembra ridondante la cosa.

Un challenge tipo "CRUNCHATHLON GPUGRID [MONTHLY RUN - RACE XXVII]" e ci metto pure "Progetto: GPUGRID"?
Però volendo posso aggiungerlo.

Oltre a quello posso mettere anche le altre informazioni, come il team che ha lanciato la sfida e il numero di utenti totali partecipanti.
Ditemi pure cosa fare.

"Despite my age I don't live in the past, but in the future" 2nd Rita Levi-Montalcini memorial

Durata da 2014-12-29 07:00 UTC a 2015-01-02 07:00 UTC

Classifica interna del team BOINC.Italy

...e questo? Noi lo sappiamo bene che si tratta di Rosetta, ma se un altro challenge si chiama allo stesso modo chi se lo ricorda poi su quale progetto si è svolto?

-Crack Nazi Codes Challenge

-Test CPU ONLY applications

-* Duo Centum Quadrigis Provocationes *

Eccoti solo un esempio di 3 challenge che non riportano il nome del progetto...e non gli ho inventati io...li ho copiati dalla pagina dei challenges su boinc stats...

Gattorantolo ha scritto:

"Despite my age I don't live in the past, but in the future" 2nd Rita Levi-Montalcini memorial

Durata da 2014-12-29 07:00 UTC a 2015-01-02 07:00 UTC

Classifica interna del team BOINC.Italy

...e questo? Noi lo sappiamo bene che si tratta di Rosetta, ma se un altro challenge si chiama allo stesso modo chi se lo ricorda poi su quale progetto si è svolto?

Quello sarebbe uno dei challenge per cui invece converrebbe metterlo. Non credo abbia senso mettere a punto un codice che fa omettere il progetto quando è contenuto nel titolo. Ora procedo (per quanto riguarda il campo del progetto).

Nubman ha scritto:

Avviata scansione di tutti i challenge BS. Ci vorra un bel po'...

lo script aggiorna anche quel famoso parsing dei progetti ?

L'elenco dei challenge? No no, quello è a parte. Ogni 12 ore.

Comunque, questa scansione serve solo una volta per copiare tutti i risultati di BI dal challenge id=1 a id=861 così quando qualcuno li visiterà ci sarà già la copia locale. Poi vabbè, ci sono classifiche mancanti su BS e il mio script sbaglia perché non riesce a capire se abbiamo partecipato o no.

@Gatto. Il nome del progetto del challenge ora è presente dappertutto.

Per la cronaca il dominio boincrankings ecc... è stato bannato da qualche giorno su BOINCstats (almeno credo). Quindi, se vedete che ChlNew.php e Chl.php non aggiornano o vanno in errore, il motivo è quello.

Ho già contattato l'amministratore Willy per mp, ma temo non risponda. Attendo martedì, poi vedrò se chiedere pubblicamente sul forum.

Aggiorno la situazione.

Quella che pensavo fosse una cosa da nulla, si è in realtà rivelata un disastro. Qualche giorno fa ho scoperto che quello che fino ad ora ha fatto il mio script è vietato espressamente da BOINCstats e punibile con ban permanente.

Mi sono scusato pubblicamente in questo thread: boincstats.com/it/forum/7/1165,1#143902
Se volete continuare a seguire la vicenda, consiglio di proseguire da lì.

Il mio "progetto" chiude sicuramente. Peccato, tempo sprecato e funzionava così bene!

Speriamo che ti perdonino

rattorosso ha scritto:

Speriamo che ti perdonino

@Nub : mnanda un MP a willy con l'ID della transizione , vedrai che ti perdona

anzi rendila permanente e vedrai che ti darà accesso a tutti i file .xml che vorrai

PS : l'ultimo post di quella discussione era di quasi 11 anni fa

Aspetta, quale transizione? O intendi transazione/donazione?
Potrei anche dargli 10€ (1 volta) se mi fa usare i suoi dati. Ogni tanto mi sento generoso.

È vero che la discussione era vecchia, ma possono vedere gli ultimi post del forum, no? Il mio è quello più recente della sezione BOINCstats general da ormai 2 giorni.

Ho paura a ricontattarlo, non vorrei che mi manda a f...

Nubman ha scritto:

Ho paura a ricontattarlo, non vorrei che mi manda a f...

molto porbabile

Facciamo calmare le acque.

Magari faccio una donazione subito prima di ricontattarlo.

Ovviamente il problema è venuto fuori perchè la tua procedura effettua lo scraping di tutte le pagine di tutti i challenges e quindi crea in effetti un carico pesante.

Nel passato io l'ho fatto solo sui challenges a cui partecipavamo (e quindi molto pochi) e così pure era stato fatto con le statistiche curate da Rick.

E in quei casi passati non avevamo avuto nessun problema.

zioriga ha scritto:

Ovviamente il problema è venuto fuori perchè la tua procedura effettua lo scraping di tutte le pagine di tutti i challenges e quindi crea in effetti un carico pesante.

Nel passato io l'ho fatto solo sui challenges a cui partecipavamo (e quindi molto pochi) e così pure era stato fatto con le statistiche curate da Rick.

E in quei casi passati non avevamo avuto nessun problema.

Ps vedi che "a fare i furbi" come lo Zioriga, ci si campa???

zioriga ha scritto:

Ovviamente il problema è venuto fuori perchè la tua procedura effettua lo scraping di tutte le pagine di tutti i challenges e quindi crea in effetti un carico pesante.

Nel passato io l'ho fatto solo sui challenges a cui partecipavamo (e quindi molto pochi) e così pure era stato fatto con le statistiche curate da Rick.

E in quei casi passati non avevamo avuto nessun problema.

Non è assolutamente così. Il mio script visita soltanto il challenge di interesse per l'utente, non tutti (e perché mai dovrebbe)!

È stato un mio eccesso di zelo che mi ha portato in serale-notturna a mandare in esecuzione la copia totale dei challenge di BS da id=861 fino a id=1 (tutti dal più recente al più vecchio) per copiare tutte le stats dei challenge in cui c'è stato BOINC.Italy. Comunque, con i dovuti timer 15 secondi per non sembrare un attacco DOS. L'esecuzione è terminata con successo e senza blocchi. Poi al mattino dopo un paio di caricamenti (stavo solamente guardando qualche classifica nuova) è arrivato il ban. Forse è stato raggiunto un limite massimo, come dire la goccia che ha fatto traboccare il vaso. Al limite è stata questa una tantum che si è rivelata sgradita per il server BS. Se non l'avessi fatto, nessun ban sarebbe arrivato. Ma chi poteva saperlo...

Dunque, la realtà è che le mie ultime modifiche avevano sgravato notevolmente il lavoro del server BS perché adesso lo script faceva una copia locale mentre prima ogni visita di 1 utente valeva la visita di tutte le pagine del challenge (anche più di 50 se il challenge era su SETI@Home). Una roba pesantissima che non ha mai comportato alcun ban comunque.

@ReLeon: francamente non comprendo il tuo commento e non capisco cosa c'entri la furbizia. Se avessi voluto fare il furbo, mi sarei già creato un nuovo dominio dato che è free e il "normale" scraping non viene rilevato (come dimostrato in passato) proprio perché non è in pesante. Tuttavia, avendo scoperto che l'amministratore del sito non vuole, ne prendo atto e non ripropongo un codice che funziona, fa traffico nell'ordine di grandezza di un normale utente (con dipendenza da notifiche, diciamo ) e dietro al quale ci ho "lavorato" per moltissime ore.

Nubman ha scritto:

@ReLeon: francamente non comprendo il tuo commento e non capisco cosa c'entri la furbizia. Se avessi voluto fare il furbo, mi sarei già creato un nuovo dominio dato che è free e il "normale" scraping non viene rilevato (come dimostrato in passato) proprio perché non è in pesante. Tuttavia, avendo scoperto che l'amministratore del sito non vuole, ne prendo atto e non ripropongo un codice che funziona, fa traffico nell'ordine di grandezza di un normale utente (con dipendenza da notifiche, diciamo ) e dietro al quale ci ho "lavorato" per moltissime ore.

Urca, debbo aver letto troppo pochi post a riguardo per capire come funzionasse la cosa, e me ne scuso.
Credevo che il tuo sistema fosse più impattante a livello di comunicazioni di rete,e per questo il modus operandi di zioriga sembrava più sensato ( o come l'ho definito io, così su due piedi.. ) ma senza molta cognizione di causa. Il furbo l'ho fatto io questa volta :-P

Non ti preoccupare, oggi ho approfittato per rendere più comprensibile quel post che non si capiva granché. Forse neanche ora.

Impattante lo era in passato appunto. Rimaneva in realtà soltanto da disattivare la feature che vi consentiva di scegliere per quale team filtrare la classifica, perché le nuove modifiche le ho implementate solamente per questo team. Ad ogni modo penso che gli admin BS si riferissero ad uno scraping più estremo, qualcosa come copiare stats degli utenti, stats nazionali, cose che soltanto per farle leggere ci vorrebbero ore. Magari per i challenge non sarebbero così fiscali. Fatto sta che se non mi rispondono... ma hanno tutto il diritto di ignorarmi o mandarmi a quel paese.