ARGOMENTO:

www.worldcommunitygr...bout_us/viewNewsArticle.do?articleId=715

Si parla dei risultati dello scorso stress test del progetto Open Pandemics, ma anche di future ottimizzazioni dei codice GPU

zioriga ha scritto:

www.worldcommunitygr...bout_us/viewNewsArticle.do?articleId=715

Si parla dei risultati dello scorso stress test del progetto Open Pandemics, ma anche di future ottimizzazioni dei codice GPU

The stress test was a great exercise to uncover bottlenecks in our workflow. Because of the almost unbelievable magnitude of results returned—the equivalent of about 3/4 of the number of CPU results for one year in one week

Pazzesco

Notizia di oggi. WCG passa da IBM al Krembil Research Institute.
www.worldcommunitygr...bout_us/viewNewsArticle.do?articleId=732

A guidare il tutto sarà il Dr. Igor Jurisica, Senior Scientist al Krembil.

Qui c'è il thread con le risposte degli admin:
www.worldcommunitygrid.org/forums/wcg/viewthread_thread,43699

Per quanto mi riguarda sono piuttosto dispiaciuto. Il disimpegno di IBM è già una pessima notizia. Ancora peggiore il passaggio del testimone a un ente di ricerca che ha sicuramente meno fondi, competenze, personale, etc. rispetto a IBM e che non ha mai brillato nella comunicazione, almeno rispetto ai progetti WCG in cui era coinvolto.

Sarò più che felice di essere smentito ma non mi stupirei se, al di là dei buoni propositi dichiarati nell'annuncio, WCG passasse in poco tempo in modalità semi-anonima, senza aggiornamenti mensili, presenza sui social, risposte degli amministratori, etc. e soprattutto senza nuovi progetti.

Grossissima novità per tutta l'infrastruttura WCG.
L'intero progetto sarà trasferito da IBM (che continuerà come consulenza esterna) al Krembil Research Institute, che attualmente ospita il sottoprogetto MCM.

Non riesco a capire se è un bene o un male.....

> Non riesco a capire se è un bene o un male.....

Ne scrivevo sopra, per me è un male, se non altro perché segna il disimpegno di IBM, perché WCG perde risorse, appeal, potenzialità, etc. etc.

> da IBM (che continuerà come consulenza esterna)

Da quel che capisco io, continuano il supporto solo durante il momento di transizione, poi sarà tutto nelle mani di Krembil.

NiK78 ha scritto:

Qui c'è il thread con le risposte degli admin:
www.worldcommunitygrid.org/forums/wcg/viewthread_thread,43699

Per quanto mi riguarda sono piuttosto dispiaciuto. Il disimpegno di IBM è già una pessima notizia. Ancora peggiore il passaggio del testimone a un ente di ricerca che ha sicuramente meno fondi, competenze, personale, etc. rispetto a IBM e che non ha mai brillato nella comunicazione, almeno rispetto ai progetti WCG in cui era coinvolto.

Le risposte degli admin cercano di essere rassicuranti, ma molti, come me e te, sono incerti sul futuro della piattaforma.
Effettivamente IBM ha un suo "peso" che difficilmente è replicabile, sia come competenze che come fondi.

Sarò più che felice di essere smentito ma non mi stupirei se, al di là dei buoni propositi dichiarati nell'annuncio, WCG passasse in poco tempo in modalità semi-anonima, senza aggiornamenti mensili, presenza sui social, risposte degli amministratori, etc. e soprattutto senza nuovi progetti.

Intanto hanno detto che aggiorneranno/riconfigureranno il sito e il forum.
Aspettiamo

Le risposte degli admin cercano di essere rassicuranti, ma molti, come me e te, sono incerti sul futuro della piattaforma.
Effettivamente IBM ha un suo "peso" che difficilmente è replicabile, sia come competenze che come fondi.

Questa è infatti la questione principale (nota anche il peso differente a livello di immagine; IBM la conoscono in tutto il mondo, Krembil in Europa è totalmente sconosciuta). Poi ci sono ovvi problemi di "conflitto di interessi" fra le ricerche interne a Krembil e le proposte che arriveranno da fuori (IBM da questo punto di vista era un organismo terzo e neutrale).

Poi c'è secondo me (ma questo lo diciamo sotlanto qui fra noi) un problema specifico con Jurisica (boss di Krembil, futuro boss di WCG e principal investigator di Help Conquer Cancer e Mapping Cancer Markers) che ha un record "negativo" di citazioni del WCG nei paper scientifici nonostante i suoi due progetti per anni abbiano potuto beneficiare di risorse davvero ingenti da parte del WCG e di IBM (da quel che ho capito ha ricevuto anche finanziamenti diretti).

Parliamo di un solo paper per MCM e di due per HCC. Nel resto delle ricerche firmate da Jurisica il WCG non viene mai citato segno che non è stato rilevante o che l'autore non ha ritenuto di menzionarlo: entrambe le possibilità non depongono a suo favore, in un caso perché ha speso risorse che non hanno prodotto granché, nell'altro perché non ha ritenuto di citare una infrastruttura che gli ha permesso di fare ricerca.

Io per ora mi sono messo in pausa. Deciderò se riprendere in base a come evolverà la situazione.

NiK78 ha scritto:

Parliamo di un solo paper per MCM e di due per HCC. Nel resto delle ricerche firmate da Jurisica il WCG non viene mai citato segno che non è stato rilevante o che l'autore non ha ritenuto di menzionarlo: entrambe le possibilità non depongono a suo favore, in un caso perché ha speso risorse che non hanno prodotto granché, nell'altro perché non ha ritenuto di citare una infrastruttura che gli ha permesso di fare ricerca.

Conosco bene la situazione delle pubblicazioni del dott. Jurisica, seguendole da tempo e propenderei per la seconda ipotesi.
Non è mai stato molto interessato a citare il contributo dei volontari, nonostante questo sia stato ingente, negli anni.
E' un vero peccato.

Dal cambio annunciato e realizzato non riesco più a ricevere lavoro per GPU ... avete un'idea di come risolvere il problema ? Chiedo per un amico. Grazie in anticipo.
K.

kidkidkid3 ha scritto:

Dal cambio annunciato e realizzato non riesco più a ricevere lavoro per GPU ... avete un'idea di come risolvere il problema ? Chiedo per un amico. Grazie in anticipo.
K.

Stamattina ne ho intercettate qualcuna, era da tanto che non ne vedevo una....

La news del sottoprogetto SCC è in parte sconfortante: stanno analizzando tutti i risultati che abbiamo prodotto ma, a causa della scarsità di reagenti di laboratorio, le analisi in vitro sono decisamente rallentate.

www.worldcommunitygrid.org/about_us/article.s?articleId=750
Aggiornamento sul progetto Open Pandemics (con implementazione di ulteriori tools open source per l'elaborazione dei dati)

Risultati preliminari promettenti da OpenPandemics: www.worldcommunitygrid.org/about_us/article.s?articleId=756

Maxon ha scritto:

Risultati preliminari promettenti da OpenPandemics: www.worldcommunitygrid.org/about_us/article.s?articleId=756

Comunque è pazzesco vedere il rendimento delle gpu: 4.3x rispetto alle cpu
Peccato che siano così poche le wu per GPU. La differenza sarebbe ancora maggiore

Ricordo che nello stress test del maggio scorso, 30.000 batch ( equivalenti a 9 mesi di lavoro svolto dalle CPU), erano stati completati in 1 settimana

Inserisco qui la mia esperienza con il bunker con anche le ARP

E' fortemente sconsigliabile fare bunker misto con dentro le ARP, in quanto l'eventuale presenza di un numero contemporaneo elevato di quest'ultime provoca un rallentamento molte forte della cpu (ho riscontrato un tempo di esecuzione più che raddoppiato con la presenza di una quindicina di queste WU e anche a quelle degli altri progetti).
Per esempio le MCM che si completavano normalmente intorno a 90 min, in presenza di ARP passavano a circa 200 min

Non so da che cosa sia dovuto, sicuramente non dalla RAM, nel mio caso i 64 GB erano occupati meno della metà. Forse non è un caso che, in default, il numero di WU da assegnare a ogni client è molto basso .

Penso che il collo di bottiglia sia la cache della cpu. Per quanto formidabile, anche un R9 può andare in crisi con 32 threads in esecuzione se macina wu avide di cache.

E' vero in parte, perchè se faccio girare 32 thread dove non sono presenti WUs di ARP, i tempi sono normali 100 min. per MCM e quasi 120 per OPN

Probabilmente stiamo dicendo la stessa cosa. Con certi progetti anch'io faccio girare tranquillamente 32t, (odlk1, wanless2 ecc). Con altri mi è quasi impossibile, ad esempio se lancio 32t di NFS quasi si pianta il pc, con 16t va abbasta bene ma se aggiungo altro ovviamente rallenta tutto.
P.S.: sono curioso di vedere la tua belva su Universe...

poi proverò su Universe (prima con 16 e poi con 32)

www.worldcommunitygr...aign=pause&utm_content=body-article-link

ai fini del challenge bisognerà fare i conti e preparare un po di scorta