ARGOMENTO:

valterc ha scritto:

Quasi ci siamo... Contiamo di sottoporre l'articolo alla rivista entro una decina di giorni.... avrete notizie quando questo accadrà.

Siamo affamati di novità (e di wus)!!

boboviz ha scritto:

valterc ha scritto:

Quasi ci siamo... Contiamo di sottoporre l'articolo alla rivista entro una decina di giorni.... avrete notizie quando questo accadrà.

Siamo affamati di novità (e di wus)!!

WU ce ne sono disponibili a iosa (e ce ne saranno per un bel po' di tempo). Fra un po' cercheremo di aumentare anche i partecipanti passando ad una fase 'con codice di invito pubblico', ovvero con il codice visibile in homepage del sito (per 'costringere' comunque gli utenti a passare dalla fase di registrazione online filtrata dai captcha, cosi` si limitano i fake e gli spammer).

Nel frattempo stiamo analizzando i risultati fin ora ottenuti e contemporaneamente scrivendo e facendo varie cose
- un articolo da presentare ad una rivista (importante) di bioinformatica
- due articoli da sottoporre a due convegni internazionali (uno più incentrato sul data-mining e l'altro più sul calcolo distribuito)
- un progetto per un bando europeo di finanziamento (per avere un po' di soldi per pagare ricercatori, etc.)
- un accordo di collaborazione formale CNR-UniTN (ufficializzazione di TN-Grid + gene@home)

Insomma un sacco di cose e tutte hanno scadenza entro questo mese ... Vi terremmo aggiornati

valterc ha scritto:

Nel frattempo stiamo analizzando i risultati fin ora ottenuti e contemporaneamente scrivendo e facendo varie cose
- un articolo da presentare ad una rivista (importante) di bioinformatica
- due articoli da sottoporre a due convegni internazionali (uno più incentrato sul data-mining e l'altro più sul calcolo distribuito)
- un progetto per un bando europeo di finanziamento (per avere un po' di soldi per pagare ricercatori, etc.)
- un accordo di collaborazione formale CNR-UniTN (ufficializzazione di TN-Grid + gene@home)

Insomma un sacco di cose e tutte hanno scadenza entro questo mese ... Vi terremmo aggiornati

Abbiamo finito di scrivere le cose di cui al mio post precedente, ora bisognerà attendere risposte, un paio di mesi per gli articoli scientifici, per il progetto (richiesta di finanziamento) sapremo ad ottobre .

per quanto riguarda la parte di calcolo, il nostro progetto si può pensare diviso in 'batch' (i singoli batch sono riconoscibili dal numero iniziale nel nome della workunit, vengono chiamati PC-IM). ogni PC-IM e` suddiviso in un certo numero di iterazioni di un algoritmo che si chiama PC, al momento mettiamo 100 PC in una workunit. Pero` ogni singolo PC ha durata molto variabile, dipende dai parametri dell'algoritmo e dai dati di input dell'organismo studiato. Il risultato e` che le workunit hanno tempi molto variabili, dalle decine di minuti alla decina di ore.

Ora stiamo sviluppando un sistema di benchmark in modo da precalcolare i tempi di esecuzione di ogni PC con lo scopo di:
- rendere più precisa la stima dei tempi per boinc (soprattutto del tempo rimanente)
- rendere variabile il numero di PC in una workunit in modo da creare workunit con tempi di esecuzione più o meno uguali (pensavamo due o tre ore).

Per far questo ci vorrà un po' di tempo.....

valterc ha scritto:

Abbiamo finito di scrivere le cose di cui al mio post precedente, ora bisognerà attendere risposte, un paio di mesi per gli articoli scientifici, per il progetto (richiesta di finanziamento) sapremo ad ottobre .

per quanto riguarda la parte di calcolo, il nostro progetto si può pensare diviso in 'batch' (i singoli batch sono riconoscibili dal numero iniziale nel nome della workunit, vengono chiamati PC-IM). ogni PC-IM e` suddiviso in un certo numero di iterazioni di un algoritmo che si chiama PC, al momento mettiamo 100 PC in una workunit. Pero` ogni singolo PC ha durata molto variabile, dipende dai parametri dell'algoritmo e dai dati di input dell'organismo studiato. Il risultato e` che le workunit hanno tempi molto variabili, dalle decine di minuti alla decina di ore.

Ora stiamo sviluppando un sistema di benchmark in modo da precalcolare i tempi di esecuzione di ogni PC con lo scopo di:
- rendere più precisa la stima dei tempi per boinc (soprattutto del tempo rimanente)
- rendere variabile il numero di PC in una workunit in modo da creare workunit con tempi di esecuzione più o meno uguali (pensavamo due o tre ore).

Per far questo ci vorrà un po' di tempo.....

Ottimo valtrec, intanto hai superato i 15'352'973 di rac giornalieri

valterc ha scritto:

Per far questo ci vorrà un po' di tempo.....

Tutto molto bello, ma speravo di vedere la parola "OpenCl" in mezzo a queste righe....

boboviz ha scritto:

valterc ha scritto:

Per far questo ci vorrà un po' di tempo.....

Tutto molto bello, ma speravo di vedere la parola "OpenCl" in mezzo a queste righe....

nope... c'è un prototipo cuda ma ha ancora grossi problemi, ma il problema più grosso e` che e` difficile trovare qualcuno che sappia programmare (bene) con cuda (o OpenCL), se riusciremo a essere finanziati una parte del denaro e` stata prevista per un programmatore..

valterc ha scritto:

boboviz ha scritto:

valterc ha scritto:

Per far questo ci vorrà un po' di tempo.....

Tutto molto bello, ma speravo di vedere la parola "OpenCl" in mezzo a queste righe....

nope... c'è un prototipo cuda ma ha ancora grossi problemi, ma il problema più grosso e` che e` difficile trovare qualcuno che sappia programmare (bene) con cuda (o OpenCL), se riusciremo a essere finanziati una parte del denaro e` stata prevista per un programmatore..

Interessante.

Peccato che non abbia mai studiato cuda/opencl, potrebbe essere un jolly per il cv.

valterc ha scritto:

boboviz ha scritto:

valterc ha scritto:

Per far questo ci vorrà un po' di tempo.....

Tutto molto bello, ma speravo di vedere la parola "OpenCl" in mezzo a queste righe....

nope... c'è un prototipo cuda ma ha ancora grossi problemi, ma il problema più grosso e` che e` difficile trovare qualcuno che sappia programmare (bene) con cuda (o OpenCL), se riusciremo a essere finanziati una parte del denaro e` stata prevista per un programmatore..

Senti, io la butto qua e me ne lavo le mani, che è passato del tempo da quando l'ho incocciato l'ultima volta.

Ve lo ricordate Giobatta ?
Ha preso altri nordeuropei lidi (e spero sinceramente che gli sia andata bene), ma se non vado errato masticava di CUDA. Sul suo sito, che purtroppo sembra ormai offline, c'era qualcosa.
Ravanando nel cellulare dovrei anche avere il suo italico numero di cellofonino, se serve può essere utile fate un fischio.

Rick! ha scritto:

Ve lo ricordate Giobatta ?
Ha preso altri nordeuropei lidi (e spero sinceramente che gli sia andata bene), ma se non vado errato masticava di CUDA. Sul suo sito, che purtroppo sembra ormai offline, c'era qualcosa.
Ravanando nel cellulare dovrei anche avere il suo italico numero di cellofonino, se serve può essere utile fate un fischio.

Con il Gio ci siam sentiti pochi giorni fa su Linkedin.
E comunque era esperto di OpenCl, non so di CUDA....

boboviz ha scritto:

Con il Gio ci siam sentiti pochi giorni fa su Linkedin.
E comunque era esperto di OpenCl, non so di CUDA....

per il discorso gpgpu a noi andrebbe benissimo un client opencl... i problemi sono questi:
- non abbiamo qui qualcuno che conosca bene cuda/opencl (uno studente del corso ha messo giù il prototipo di cui vi dicevo ma non gli possiamo chiedere di più...)
- l'algoritmo e` abbastanza complesso e non e` detto che sia parallelizzabile con successo, può anche darsi che a lavoro quasi fatto si capisca che non ne e` valsa la pena (abbiamo una versione multithread per cpu e funziona meglio, il problema maggiore e` la limitata quantità di ram per thread che hanno le gpu)
- per il momento non possiamo pagare nessuno....

Dire che la durata delle wu di Tn-Grid è variabile è un eufemismo. Sulla stessa cpu ci sono wu da 20 minuti e da più di 12 ore....

boboviz ha scritto:

Dire che la durata delle wu di Tn-Grid è variabile è un eufemismo. Sulla stessa cpu ci sono wu da 20 minuti e da più di 12 ore....

Diceva valterc che sul fatto della durata delle Wu, c'era qualche piccolo problemino ancora, ma lo risolveranno appena han risolto cose più importanti

Son ricominciate le wu "Escherichia" da quello che vedo....

boboviz ha scritto:

Son ricominciate le wu "Escherichia" da quello che vedo....

Si, già che ho 5 minuti vi spiego l'esperimento... abbiamo una decine di reti geniche di e. coli strutturate con un grafo 'a stella' (c'è un gene al centro collegato con tutti gli altri e gli altri non sono collegati tra di loro). Proviamo ad espanderle (ovvero a cercare nuovi geni correlati agli esistenti) nel solito nostro modo, poi proviamo a togliere il gene centrale (quello in teoria più importante, che caratterizza la rete) e vediamo quel che succede.

Il client di Tn-Grid non è scritto in R?
Qui c'è una "variante" di quel linguaggio
R – a pirate's favorite language

boboviz ha scritto:

Il client di Tn-Grid non è scritto in R?
Qui c'è una "variante" di quel linguaggio
R – a pirate's favorite language

Non mi sembra una variante, mi sembra un link a vari libri su R..... Comunque, si, l'algoritmo da cui siamo partiti per gene@home era originariamente in R, ma e` stato completamente ri-scritto (ed ottimizzato) in C++. Altri pezzi di tutto il sistema sono scritti in python o php.

valterc ha scritto:

Non mi sembra una variante, mi sembra un link a vari libri su R..... Comunque, si, l'algoritmo da cui siamo partiti per gene@home era originariamente in R, ma e` stato completamente ri-scritto (ed ottimizzato) in C++. Altri pezzi di tutto il sistema sono scritti in python o php.

Infatti avevo scritto variante tra virgolette.
E comunque è interessante sapere che R è il linguaggio preferito dei pirati!!!

boboviz ha scritto:

valterc ha scritto:

Non mi sembra una variante, mi sembra un link a vari libri su R..... Comunque, si, l'algoritmo da cui siamo partiti per gene@home era originariamente in R, ma e` stato completamente ri-scritto (ed ottimizzato) in C++. Altri pezzi di tutto il sistema sono scritti in python o php.

Infatti avevo scritto variante tra virgolette.
E comunque è interessante sapere che R è il linguaggio preferito dei pirati!!!

Chissà perché, forse i pirati hanno bisogno di fare molti conti statistici.... Oppure e` sulla falsariga di Perl linguaggio preferito dai dromedari e javascript dai rinoceronti... (quelli di O'Reilly fanno strane associazioni...)