ARGOMENTO:

Ieri hanno rilasciato la nuova versione dell'applicativo python/virtualbox su Rosetta.
Speriamo in batch consistenti (e nella possibilità di scegliere se scaccolarli o no)

David Baker, con un video su Twitter, ringrazia i volontari per la potenza di calcolo messa a disposizione e ci aggiorna che le due pubblicazioni di Ottobre/Novembre 2020 stanno finalmente passando alla fase sperimentale.

Notizia a suo modo storica del progetto Rosetta (per ora non ancora di Rosetta@Home).
Partendo dallo straordinario risultato portato a casa dal gruppo di AlphaFold2 (qualcuno se ne ricorderà, avevo fatto un post tempo fa.
Bene, il team di Rosetta ha "imparato" la lezione e ha prodotto un nuovo pacchetto della suite di Rosetta che si chiama RoseTTAFold .
I benchmark sembrano al livello di Alphafold e, udite udite, è open source!! (per la prima volta, credo).

Speriamo che si veda qualcosa anche sui nostri pc!!

Buongiorno a tutti, ho un mezzo problema nello sprint con rosetta.
Solo sul R9 3900x mi vengono delle wu che occupano fino a 2 gb di ram, e quindi limitano molto i 24 thread possibili fino anche a 12
Cercando con memory leak ho travato una soluzione: if you allow 1.3GB of RAM per Task (CPU Core/thread being used) you won't run into insufficient memory issues.

Ho cercato nelle impostazione sul sito di rosetta ma non ho trovato l'impostazione memoria per thread,
Avete qualche idea dove trovarla.

Mickita

Ps a volte manda anche in crash il sistema

mickita ha scritto:

Buongiorno a tutti, ho un mezzo problema nello sprint con rosetta.
Solo sul R9 3900x mi vengono delle wu che occupano fino a 2 gb di ram, e quindi limitano molto i 24 thread possibili fino anche a 12

Hai provato a guardare il Boinc Manager sull'utilizzo della ram??

Abbassando il umero dei thread dedicati , si riduce l'utilizzo della RAM.
Rosetta è affamata di ram

Supponendo 2 o più Giga per singolo thread , va da se che per 24 * 2 = almeno 48 Giga di ram Dedicata

Hanno rilasciato un piccolo batch di wu VM in phyton.
Ci sono stati molti problemi.
Speriamo implementino, nel profilo utente, la possibilità di scegliere quale applicativo far girare

boboviz ha scritto:

Hanno rilasciato un piccolo batch di wu VM in phyton.
Ci sono stati molti problemi.
Speriamo implementino, nel profilo utente, la possibilità di scegliere quale applicativo far girare

Il batch si è fatto più consistente, ma gli errori continuano....

Vari gruppi di ricerca hanno cominciato ad usare RoseTTAFold (visto che è open), con ottimi risultati
Esempio:
Structures of core eukaryotic protein complexes

Gli errori delle wu virtual box sono calati di molto e la coda è costante e consistente.
Peccato NON si possa scegliere, nel profilo utente, se calcolarle o no (vista anche la quantità di ram che utilizzano).
Eppure non è difficile configurare la cosa sul server....

Il validatore di Rosetta è giù da alcuni giorni e si sono accumulate oltre 200K wu pendenti.
Almeno fermassero la creazione di nuove wus fino alla risoluzione del problema....

E' qualche giorno che c'è lavoro solo per le wu VirtualBox e la gente si sta lamentando sul forum.
Peccato gli amministratori si facciano vivi a ogni morte di Papa.

Anche perchè sembra che i vari app_config.xml funzionino male con il nuovo applicativo.
O mettono la possibiltà di scegliere nel profilo utente o vedo parecchia gente che sta migrando verso altri progetti.

Finalmente hanno aggiunto la possibiltà per gli utenti di scegliere se far girare o meno le wus virtualbox
Bisogna entrare nel profilo utente, selezionare la voce "Computer di questo account", selezionare il pc interessato e, nella pagina Dettagli, in fondo c'è la voce "VirtualBox VM jobs"

Son 2 giorni che ci sono rogne con le wus denominate "movingstub".
Ho contattato il progetto via Twitter e mi hanno risposto che ci stanno lavorando.
Speriamo

Uno degli sviluppatori di Boinc ha proposto una soluzione al problema delle macchine virtuali su Rosetta (cosa che potrebbe aiutare anche altri progetti che usano VirtualBox).
In pratica, ogni volta che sia avvia una wus VM, l'immagine dell'hd viene duplicata e copiata in un nuovo slot con due simpatiche conseguenze: una lentezza esasperante nell'avvio (l'immagine è circa 6,9 gb) e un ovvia occupazione assurda di spazio disco.
VirtualBox, da molto tempo, supporta il "multiattach" ovvero l'uso di un disco differenziale senza copie multiple.
Lo sviluppatore ha suggerito anche altre opzioni al progetto, come l'uso del flag --compact (ridurrebbe le dimensioni del file da 6,9 a circa 4,2 gb) oppure la sostituzione del controller di default dei dischi VM da IDE (qualcuno usa ancora dischi IDE??) a SATA modificando leggermente il file xml di configurazione (cosa che comporterebbe un migliore accesso al disco rigido).
Tutte queste modifiche sono già state inserite nel codice di Boinc la scorsa settimana e sono facilmente implementabili.

Proprio perchè sono suggerimenti utili e facili da implementare, sono abbastanza sicuro che Rosetta@Home NON li implementerà.

boboviz ha scritto:

Proprio perchè sono suggerimenti utili e facili da implementare, sono abbastanza sicuro che Rosetta@Home NON li implementerà.

Alle ottimizzazioni dell'uso delle VM, che NON verranno introdotte, qualche utente ha suggerito il modo per abbandonarle completamente e far girare il nuovo applicativo phyton direttamente sui pc: PyInstaller , che permette di creare un eseguibile (per Windows, Linus e Mac) unico con tutte le dipendenze/librerie/ecc necessarie, rendendo MOLTO più veloce l'esecuzione, non necessitando di macchine virtuali.
Ovviamente anche questa soluzione ottimale NON verrà presa in considerazione da quelli di Rosetta.

Buona sera a tutti.
Ho una WU di rosetta posticipata di 24 ore con questo messaggio:

postponed for 86400 seconds: VM job unmanageable, restarting later.

E' capitato a qualcun'altro?

gascio ha scritto:

Ho una WU di rosetta posticipata di 24 ore con questo messaggio:
postponed for 86400 seconds: VM job unmanageable, restarting later.

E' capitato a qualcun'altro?

Purtroppo si. Di solito accade quando la VM non riesce a gestire correttamente la ram.
Riavvia il boinc manager e fai ripartire le wus

Grazie, WU consegnata e validata.