ARGOMENTO:

I test sull'applicazione per android procedono bene gene.disi.unitn.it/test/forum_thread.php?id=278

Anche se onestamente non ho capito come elaborare con il mio smarphone

E' citato anche Tn-Grid (o meglio, gene@home)
Amd dona potenza di calcolo

e Valter gongola ...

Una nuova, bella pubblicazione dai ragazzuoli di Trento:
"A Computing System for Discovering Causal Relationships among Human Genes to Improve Drug Repositioning"

@Valterc,
come procede la trafila per il nuovo server? ci sono novità Nel frattempo il progetto ha toccato picchi di 63 geni/giorno

Lo so che ci sono tutte le problematiche burocratiche, ma nel frattempo l'utente Aurum si è offerto di mettere a disposizione e inviarle alcune sue "parti di ricambio" per il nuovo server, tra cui 2 xeon e5-4660v3 14c/28t
gene.disi.unitn.it/t...forum_thread.php?id=129&postid=2041#2041

Ma questo Threadripper 3990x che ha un rac di 115k su TN-grid ne vogliamo parlare?

Tra l'altro sta "prendendo i giri" anche questo dual Epyc 7642 (96c/192t)

Per paragone, sul mio ryzen 1600, le wu hanno una durata superiore a quella di questi mostri.
Non oso immaginare quanto andranno i Threadripper e Epyc basati su Zen3

Magari elaborando solo la metà dei core (cioè 45% o 50%) il tempo dimezza o quasi avendo più risorse a disposizione.

Fabrizio74 ha scritto:

Magari elaborando solo la metà dei core (cioè 45% o 50%) il tempo dimezza o quasi avendo più risorse a disposizione.

Quello sì, ma per fare 115k di rac, il 3990x sta di sicuro usando più di 64 threads. Sono semplicemente delle bestie

con il mio 1600, ho i seguenti risultati
-6thread -> 3h e 15min -> 45wu al giorno
12threads: 3h e 45min -> 77wu al giorno

PS: sto monitorando il dual Epyc. alle h12 aveva 930k. ora (ore 15:15) ne ha 948k

EDIT: l'ho trovato su boincstats, e secondo quest'ultimo, sta usando 127 threads su tn-grid, producendo nell'ultimo giorno 145k crediti

Dual Epyc : 2 milioni in 11gg su un progetto quorum =2 no sono malaccio

Nonostante le vacanze natalizie, il buon Valter ha pubblicato (in beta test) l'applicativo con ottimizzazione FMA.

Buone notizie per il progetto
In uno scambio di messaggi con l'utente p3d-cluster , riguardante la performance dei suoi/loro (nei messaggi parlava al prurale) dual Epyc, e sul perchè mostrassero solo 127 threads su Boincstats ( a quanto pare potrebbe essere un bug di boincstats, perchè ho riscontrato che accade anche con altri utenti), mi hanno confermato la loro intenzione di restare sul progetto fino alla fine di gennaio

Facendo due conti, sono in grado di processare circa 8000wu al giorno

Buro87 ha scritto:

Buone notizie per il progetto
In uno scambio di messaggi con l'utente p3d-cluster , riguardante la performance dei suoi/loro (nei messaggi parlava al prurale) dual Epyc, e sul perchè mostrassero solo 127 threads su Boincstats ( a quanto pare potrebbe essere un bug di boincstats, perchè ho riscontrato che accade anche con altri utenti), mi hanno confermato la loro intenzione di restare sul progetto fino alla fine di gennaio

Facendo due conti, sono in grado di processare circa 8000wu al giorno

Ora che sono a regime da un pò si vede quanto sono bestiali questi dual Epyc: 220k su un progetto quorum=2
E le WU in pending non riescono a scendere sotto le 1200

Sono tornato ad elaborare su questo progetto dopo qualche mese ed ho notato che molte wu mi vengono abortite. Mi spiego...
Normalmente quando una wu era già iniziata non veniva abortita dal server, mentre quelle ancora in attesa si. (giustamente)

Ora però mi trovo delle wu con la dicitura "abbandonato". wu di esempio

Mentre ho anche delle wu "cancellate dal server" che erano in esecuzione da quasi 5 ore. wu di esempio
La cosa curiosa è che sono state terminate tutte esattamente con la stessa durata di 4 ore 48 minuti 41 secondi (17,321.47 secondi) e sono sullo stesso pc.
L'output dello stderr dice solo:


Se può servire, il primo problema compare su un ryzen 7 1800X che utilizza il docker ufficiale di Boinc, mentre il secondo è su un dual xeon E5-2699v3 con anche lui il docker ufficiale. (entrambi di base hanno Kubuntu 20.04)

Ciao, premessa: e` da un bel po' che non "tocco" i parametri critici per il funzionamento del server. Il comportamento normale e` quello del tuo primo paragrafo. Abandoned di solito può saltare fuori quando le workunit spariscono (per esempio quando si installa un app_config.xml male) o per qualche magheggio sbagliato con il client. Il 'cancellate dal server' dovrebbe comparire solo come descritto nel primo paragrafo. Insomma non so che dire. L'unica idea che ho e` che possa essere un problema di orologio (sync sbagliato tra client e server)

La configurazione del Docker è quella di default. Le uniche due cose che ho modificato sono i file gui_rpc_auth.cfg e remote_hosts.cfg.
Invece nel cc_config ho aumentato il numero massimo di download/upload contemporanei.

Per quanto riguarda l'orario del pc, al momento è corretto. Ma a sto punto potrebbe essere partito con un'ora sbagliata e poi si è sincronizzato, invalidando le wu.

La cosa che mi ha incuriosito è che tutte le wu sono andate in errore nello stesso momento. Nel primo caso il 6 Mar 2021, 4:57:41 UTC, nel secondo il 6 Mar 2021, 9:52:52 UTC

Al momento ho agganciato anche il terzo pc e sembra andare tutto bene, dopo gli errori citati non c'è stato nulla di anomalo

comunque e` strano, tutti e tre i tuoi computer hanno una percentuale di "invalid" piccola ma comunque indicativa di qualche problema, qualche giorno fa, mi pare (se fosse per motivi di interruzione di corrente non mi preoccuperei)

Buone notizie per TN-grid

Valter ci ha avvertiti che è arrivato il server "in prova" di AMD per il progetto.
Ma non ho capito se sarà usato "solo" per scaccolare (e sarebbe comunque ottimo) oppure se verrà usato anche per lo sviluppo di ulteriori applicativi (magari per gpu) e/o "affinamento" dell'applicativo attuale....

da AMD dovrebbe arrivarne un altro, entrambi per un anno. Sono macchine principalmente pensate per il Deep Learning (8 gpu a testa), noi le useremo in background per BOINC, poi per farci delle altre cose, anche di "learning", sempre legate a gene@home riguardanti la parte di pre- e post- processing, costruzione dei dataset etc. Anche giocare con ROCm, ovviamente...

L'applicativo (pc-im) del progetto e` oramai "solido" e notevolmente ottimizzato, credo non si toccherà più (magari ci faccio le versioni per android, che in realtà sono già usabili...) . Abbiamo prodotto recentemente un altro applicativo (pc-star, corrisponde alla versione semplificata di "stable" del pcalg di R) che e` molto simile al pc-im ma "potrebbe" essere parallelizzato a dovere (cosa che non ha senso con il pc-im), e` un buon candidato per una versione OpenCL, ma
A) prima andrebbe validato dal punto di vista biologico (produce risultati diversi dal pc-im, come e` naturale, essendo diverso), ci aspettiamo che la qualità dell'output sia inferiore ma la velocità di calcolo sia maggiore, dobbiamo verificarlo, l'idea sarebbe di produrre prima una versione multithread (con OpenMP)
B) Al momento non abbiamo nessuno qui con sufficiente esperienza su OpenCL....

Sempre chiaro. Grazie Valter!!