ARGOMENTO:

sabayonino ha scritto:

Invalido (3)
Validation inconclusive (6)

Guardando il log di qualche WU mi sembra di vedere che quelle invalide contengano tutte il messaggio "Start from checkpoint ...", come se fossero state interrote e poi riesumate dallo scheduler. Mentre quelle valide non la contengono, che ci sia un problema con i checkpoint e al resume si perda qualcosa ?

Al momento il mio atom su linux 32-bit gira bene (tutte valid), ma ho messo in suspend le WU degli altri progetti quindi presumo che il mio scheduler non abbia mai interrotto l'eaborazione ... se mi dite che serve faccio qualche suspend/resume o anche dei reboot.

Quella scritta sta a indicare che la wu è stata sospesa ed è ripartita dall'ultimo salvataggio. Il sistema funziona, si vedano alcune wu tipo:

gene.disi.unitn.it/test/workunit.php?wuid=5802
gene.disi.unitn.it/test/workunit.php?wuid=5768

L'errore di validazione (2 risultati di 2 pc non sono uguali) a volte succede ma non so bene a cosa sia legato. Valter sicuramente saprà spiegarne il motivo meglio di me.

Status:

In generale:
Al momento stiamo facendo tuning dei parametri di calcolo per trovare quelli ottimali, per cui la lunghezza delle workunit può variare da qualche decina di minuti fino a una decina di ore, stiamo lavorando per dare ai client una stima abbastanza precisa della durata. L'occupazione di ram e` sempre stata molto bassa. Il file di input (per questo esperimento) e` di ~ 70Mb, viene inviato in formato compresso (~30Mb) ai client v7 (quelli di boinc hanno modificato parte del codice del server per permettere questa cosa, su nostra richiesta....) e viene utilizzato da più workunit. Il file di output e` di circa 200K (compresso anch'esso),

Compatibilità:
Avevamo avuto dei problemi (che risultavano sempre in un errore di validazione) con i client v6, ora questo dovrebbe essere stato risolto (lo saprò con certezza quando le prime wu elaborate da una macchina virtuale verranno consegnate)

Applicazione:
Windows (32/64) Linux (32/64) MacOs (64), le ultime due compilate con gnu-cc, le prime con Visual C++. A questo punto l'applicazione e` sufficientemente robusta. Guardando i risultati solo pochi computer fanno errori di calcolo. Credo l'error-rate sia in linea o più basso di altri progetti boinc.

Futuro (prima di essere 'pubblici')
Volevamo avere una idea più chiara a proposito di utilizzare il sistema di crediti di default (quello che utilizziamo adesso) o implementarne uno nuovo, nel caso decidessimo (e riuscissimo, non e` cosi` semplice) di essere più "generosi" riscaleremo in modo opportuno tutti i crediti accumulati dagli utenti finora.
Ci sono tempi più lunghi del previsto per avere hardware dedicato per il server, al momento e` un dual-core virtualizzato, temiamo si possa 'sedere' con tanti utenti....
Poi c'è la parte più importante, quella scientifica, ovvero strutturare il sistema in modo che possa produrre risultati utili alla ricerca che ci sta dietro (tutta la parte di pre- e post-processing, boinc sta in mezzo...)

Altro:
Una variante dell'algoritmo usato potrebbe (e sottolineo con tre righe il condizionale) essere adatta al calcolo gpgpu (schede video). Stiamo valutando.......

valterc ha scritto:

Altro:
Una variante dell'algoritmo usato potrebbe (e sottolineo con tre righe il condizionale) essere adatta al calcolo gpgpu (schede video). Stiamo valutando.......

non ci (ti) indurre in tentazione .... ma dacci tante WUs ...Amen

valterc ha scritto:

(quelli di boinc hanno modificato parte del codice del server per permettere questa cosa, su nostra richiesta....)

Una variante dell'algoritmo usato potrebbe (e sottolineo con tre righe il condizionale) essere adatta al calcolo gpgpu (schede video). Stiamo valutando.......

Valutate valutate, sarebbe il massimo che il secondo prj italiano nella storia di BOINC fosse già GPU

valterc ha scritto:

viene inviato in formato compresso (~30Mb) ai client v7 (quelli di boinc hanno modificato parte del codice del server per permettere questa cosa, su nostra richiesta....)

Ho notato che, ultimamente, quelli del gruppo dev di Boinc sono sensibili alle "richieste" degli utenti (hanno accettato anche una mia richiesta di feature).
Ottima cosa.

Ci sono tempi più lunghi del previsto per avere hardware dedicato per il server, al momento e` un dual-core virtualizzato, temiamo si possa 'sedere' con tanti utenti....

Era quello che sospettavo.

Poi c'è la parte più importante, quella scientifica, ovvero strutturare il sistema in modo che possa produrre risultati utili alla ricerca che ci sta dietro (tutta la parte di pre- e post-processing, boinc sta in mezzo...)

La scienza, prima di tutto!

Una variante dell'algoritmo usato potrebbe (e sottolineo con tre righe il condizionale) essere adatta al calcolo gpgpu (schede video). Stiamo valutando.......

Ecco però. Anche tu Valter, non puoi buttare lì sta cosa. E' come buttare un bel pezzo di carne nella fossa dei leoni.

boboviz ha scritto:

Ecco però. Anche tu Valter, non puoi buttare lì sta cosa. E' come buttare un bel pezzo di carne nella fossa dei leoni.

o una scatoletta di Viskas per i @Gatti

valterc ha scritto:

Volevamo avere una idea più chiara a proposito di utilizzare il sistema di crediti di default

rigurado i crediti mi sembra di notare una mancanza di proporzionalità, vedi ad esempio queste 2 WU ( WU1 , WU2 ) quella 10 ore in proporzione da la metà dei crediti di quella corta, mentre in genere sugli altri progetti vedo che si tende a dare addirittura un bonus alle WU molto lunghe per premiare la continuità del calcolo

Direi che sono finite le wu.....

Daniele69 ha scritto:

Direi che sono finite le wu.....

Eh. si... troppa potenza di calcolo . Dovrebbe riprendere la fornitura a breve.

astroale ha scritto:

valterc ha scritto:

Volevamo avere una idea più chiara a proposito di utilizzare il sistema di crediti di default

rigurado i crediti mi sembra di notare una mancanza di proporzionalità, vedi ad esempio queste 2 WU ( WU1 , WU2 ) quella 10 ore in proporzione da la metà dei crediti di quella corta, mentre in genere sugli altri progetti vedo che si tende a dare addirittura un bonus alle WU molto lunghe per premiare la continuità del calcolo

Questo e` il problema del sistema di default di Boinc (quello che moltissimi criticano). In teoria dovrebbe 'imparare' raccogliendo statistiche e fornire crediti più congrui con il tempo.... Stiamo studiando se si possa utilizzare un metodo migliore, ma la cosa non e` banale....


[EDIT] abbiamo le statistiche esportate su FreeDC

valterc ha scritto:

[EDIT] abbiamo le statistiche esportate su FreeDC

Quindi siete, praticamente, un progetto pubblico!

boboviz ha scritto:

valterc ha scritto:

[EDIT] abbiamo le statistiche esportate su FreeDC

Quindi siete, praticamente, un progetto pubblico!

Pubblico ma ad invito, la cosa migliore per un progetto di test, secondo me.
Ho visto che sono anche su WUprop, a proposito vedo che non tutte le WU usano 5mb di RAM (come credevo seguendo solo il mio PC): link

Domanda: che differenza c'è tra essere su FreeDC e su BoincStats ? non basta esportare gli stessi file xml per tutti i siti di statistiche ?
( è che da veterosclerotico leggo al volo su BS, mentre su FreeDC devo "tradurre" )

astroale ha scritto:

boboviz ha scritto:

valterc ha scritto:

[EDIT] abbiamo le statistiche esportate su FreeDC

Quindi siete, praticamente, un progetto pubblico!

Pubblico ma ad invito, la cosa migliore per un progetto di test, secondo me.

Si, lo penso anch'io

Ho visto che sono anche su WUprop, a proposito vedo che non tutte le WU usano 5mb di RAM (come credevo seguendo solo il mio PC): link

Probabilmente perché nell'ultima fase abbiamo variato un po' dei parametri dell'applicazione per cercare quella ottimale (e anche un buon compromesso tra durata delle workunit e dimensione di file di input/output), questa e` pero` una domanda a cui possono rispondere meglio quelli che hanno scritto l'applicazione.

Domanda: che differenza c'è tra essere su FreeDC e su BoincStats ? non basta esportare gli stessi file xml per tutti i siti di statistiche ?
( è che da veterosclerotico leggo al volo su BS, mentre su FreeDC devo "tradurre" )

Sono solo due (i più famosi, peraltro) dei siti che raccolgono statistiche e lo fanno in modo diverso. FreeDC memorizza anche le 'milestone' del progetto, p.es. il primo utente che ha raggiunto 100.000 crediti, per questo motivo Bok (il creatore di FreeDC) mi ha chiesto di iniziare a raccogliere statistiche ed io ho acconsentito. Quelli di BoincStats non si sono ancora 'accorti' del sito, basterebbe dirglielo (i file di export sono sempre gli stessi)

valterc ha scritto:

Quelli di BoincStats non si sono ancora 'accorti' del sito, basterebbe dirglielo (i file di export sono sempre gli stessi)

Si manda una mail...

è prevista qualche serie di WUs prima del "penthotal" ?

Nei prossimi giorni dovremmo distribuire lavoro (un 'esperimento' che con le capacità di calcolo attuali dovrebbe durare qualche mese). Prima di partire con nuove cose c'era la necessità di analizzare i risultati precedenti (ottimizzazione di parametri) e il periodo dell'anno pieno di ferie, ponti e fesitività non ha aiutato (in questo campo, in altri si...

Bene!!!
I criceti stanno aspettando....

valterc ha scritto:

Nei prossimi giorni dovremmo distribuire lavoro (un 'esperimento' che con le capacità di calcolo attuali dovrebbe durare qualche mese). Prima di partire con nuove cose c'era la necessità di analizzare i risultati precedenti (ottimizzazione di parametri) e il periodo dell'anno pieno di ferie, ponti e fesitività non ha aiutato (in questo campo, in altri si...

Un ciao dalla Puglia,
appena iscritto e facente parte del "gruppo di ascolto" (di tutti il 51° !), il progetto è stato correttamente agganciato ed attende le prossime WU ... che dovrebbero essere esaurite in qualche mese.

In caso di necessità possiamo sempre dare fondo alla riserve di cpu ... visto che a quanto mi dici il progetto non chiede molte risorse ... e magari riesumare anche pc "esausti" da utilizzare con Linux/ubuntu.

Per ora utilizzerò per il calcolo un portatile con Windows 8.1 a 64 bit, intel i3 a 1.8 Ghz, 2 processori 4 thread ...
e a ritroso tutta la "ferraglia" recuperata da amici e colleghi, smaniosi di avere l'ultimo modello di hardware e software ... per fare giocare i figli in rete !

A presto risentirci
K.