ARGOMENTO:

Per spremere ancora di piu' la mia 4770, sto iniziando a provare uno script per fare lo switch automatico tra Milkway e Collatz. Se tra qualche giorno vedo che sta in piedi e vi interessa lo metto in area cosi' chi ha voglia di provarlo puo' aiutarmi nel test.

Piccola premessa: lo script in questione serve per risolvere l'annosa criticita' della cache cortissima per Milkway GPU.
Inserire il Collatz sempre attivo come progetto di backup non funziona bene, perche' anche regolando lo share a favore del MW, dopo un certo tempo Collatz inizia lo stesso ad appropiarsi della GPU per lunghi periodi e ...

stabilito che e' preferibile fare girare il Collatz solo in quei (frequenti e brevi) periodi in cui il MW e' fermo perche':

1 - il MW sembra un progetto dal peso specifico scientifico maggiore rispetto al Collatz

2 - il Collatz non puo' sfruttare quel 15% in piu' di GPU che consente di fare il MW con le applicazioni ottimizzate e i <cmdline> vari dell'app_info

Quindi se siete anche voi in condizione di lasciare il MW attivo e il Collatz in suspend pronto a riesumarlo a mano non appena vi accorgete di avere la GPU in idle, ma vi secca scoprilo la mattina dopo che e' rimasta ferma tutta la notte allora quello che sto' provando e' lo script per voi.

Interessato.
Anche se spero che dopo aver sistemato il server di MW questo problema vada a sparire.

Edit doppio

canapa ha scritto:

Interessato.
Anche se spero che dopo aver sistemato il server di MW questo problema vada a sparire.

Non sono così ottimista (ed é per questo che sto provando lo script), perchè:

1) il funzionamento GPU only (nel mio caso) dei due progetti e la grande differenza tra la dimensione delle due cache e anche delle relative deadline mettono in crisi lo scheduler del client già in condizioni normali (entrambi i progetti con WU disponibili)

2) il funzionamento che voglio ottenere (di un progetto come "backup" dell'altro) non é espressamente previsto dall'architettura dello scheduler ( se lasciato in "free running" ), quindi deve essere per forza guidato a mano o in qualche modo automatico esterno

su che dati basi le scelte del tuo script?

nel senso: cosa leggi e dove li leggi?

baxnimis ha scritto:

su che dati basi le scelte del tuo script?

nel senso: cosa leggi e dove li leggi?

Controllo la dimensione della coda del MW ogni x minuti, se le WU scendono sotto una certa soglia, passo a un controllo ogni y secondi iniziando a fare con lo stesso intervallo degli update del progetto.
Se la coda termina faccio il resume del collatz, e ricomincio il controllo della coda del MW ogni x minuti continuando con gli update al nuovo intervallo.
Non appena la coda del MW si ripopola, rimetto in suspend il collatz.
Il tutto usando il tool da command-line, da tcl.

astroale ha scritto:

...controllo ogni y secondi...

cos'è TCL ?


mi sembra di ricordare che per Winzozz c'è il problema di reperire il timer in DOS. Nel senso che comandi tipo SLEEP non sono nativi e bisogna procurarsi l'eseguibile

baxnimis ha scritto:

astroale ha scritto:

...controllo ogni y secondi...

cos'è TCL ?

mi sembra di ricordare che per Winzozz c'è il problema di reperire il timer in DOS. Nel senso che comandi tipo SLEEP non sono nativi e bisogna procurarsi l'eseguibile

E' un linguaggio di scripting, esiste una versione già compilata per windows, quindi no problem per i timer.

EDIT

Naturalmente lo si può lanciare sia in locale che in remoto, in questo caso ne puoi lanciare tanti quante sono le macchine da controllare, installando il TCL solo su un PC.

Inoltre cambiando un poco i parametri puoi usare lo stesso criterio per controllare altri progetti in modo "main + backup", ad esempio il main al posto del MW diventa il SIMAP e il backup gli altri progetti CPU che girano su quella macchina. In questo caso basterebbe lanciare lo script il giorno prima che rilascino le WU del SIMAP e non devi più sorvegliare l'inizio e il termine dell'elaborazione della coda per evitare di lasciare in idle la CPU.

come vanno le cose?

Per ora lo sto lasciando girare. Ovviamente da quando l'ho messo su il server non si e' piu' fermato e non ho potuto testare un RESUME del Collatz. Cmq ho gia' visto degli eventi di riduzione della coda che lo script ha sbloccato con un UPDATE.

Per inciso, sempre da quando l'ho lanciato (5 giorni) a parte ieri che ho dovuto staccare la corrente per qualche minuto, il RAC puntuale e' rimasto ai livelli massimi di sempre, confermado il mio sospetto su fatto che con il Collatz in suspend, ogni tanto la coda si svuota e l'update non forzato del client parte quando vuole lasciando dei buchi nell'elaborazione:



Se mi gira nel fine settimana, faccio qualche altra modifica per poter simulare un blocco del server e testare tutte le condizioni possibili senza aspettare che si inchiodi il MW.

EDIT

Qui link al mio criceto su BOINCstats:

it.boincstats.com/stats/user_graph.php?pr=milkyway&id=4385

A me succede una cosa simile con SETI / Collatz

SETI su un PC mi scarica solo una WU per volta, appena finita una scarica la successiva (perdo qualche secondo di elaborazione). Se quella WU va in errore allora perdo un minuto circa.

Mi ci vorrebbe qualcosa che fa entrare Collatz solo quando SETI non ha coda

baxnimis ha scritto:

Mi ci vorrebbe qualcosa che fa entrare Collatz solo quando SETI non ha coda

volevo avvisarti che finalmente a partire da boinc 6.10.32 è stata implementata la funzionalità di backup project. Un progetto impostato a resource share = 0 entra in funzione solo quando la coda degli altri si svuota.

cenit ha scritto:

baxnimis ha scritto:

Mi ci vorrebbe qualcosa che fa entrare Collatz solo quando SETI non ha coda

volevo avvisarti che finalmente a partire da boinc 6.10.32 è stata implementata la funzionalità di backup project. Un progetto impostato a resource share = 0 entra in funzione solo quando la coda degli altri si svuota.

Ottima notizia

cenit ha scritto:

baxnimis ha scritto:

Mi ci vorrebbe qualcosa che fa entrare Collatz solo quando SETI non ha coda

volevo avvisarti che finalmente a partire da boinc 6.10.32 è stata implementata la funzionalità di backup project. Un progetto impostato a resource share = 0 entra in funzione solo quando la coda degli altri si svuota.

Peccato che i progetti non permettano di mettere il resoruce share a 0...... almeno quelli che ho provato io.

cenit ha scritto:

baxnimis ha scritto:

Mi ci vorrebbe qualcosa che fa entrare Collatz solo quando SETI non ha coda

volevo avvisarti che finalmente a partire da boinc 6.10.32 è stata implementata la funzionalità di backup project. Un progetto impostato a resource share = 0 entra in funzione solo quando la coda degli altri si svuota.

Ecco perfetto, quando dopo anni, mi decido a perderci del tempo sopra ... non serve piu'.
Cmq visto che non mi e' ancora chiaro come funge lo share tra progetti CPU e GPU, continuero' a trastullarmi con sto' script.

EDIT

Una cosa che non ho mai capito dello share e' questa: visto che non e' impostabile nelle preferenze locali, come faccio se sul pc n.1 voglio metterlo al 100% e sul pc n.2 lo devo mettere allo 0% ? (per lo stesso progetto intendo)

canapa ha scritto:

cenit ha scritto:

baxnimis ha scritto:

Mi ci vorrebbe qualcosa che fa entrare Collatz solo quando SETI non ha coda

volevo avvisarti che finalmente a partire da boinc 6.10.32 è stata implementata la funzionalità di backup project. Un progetto impostato a resource share = 0 entra in funzione solo quando la coda degli altri si svuota.

Peccato che i progetti non permettano di mettere il resoruce share a 0...... almeno quelli che ho provato io.

Io i progetti su cui non elaboro sono tutti a 0 (SETI, Rosetta, ABC, POEM per farti alcuni esempi)

Ma dalle preferenze del sito di ogni progetto giusto?
Ho riprovato seti... ho messo 0 e lui mi ha rimesso 100....

Dove sbaglio?

astroale ha scritto:

Una cosa che non ho mai capito dello share e' questa: visto che non e' impostabile nelle preferenze locali, come faccio se sul pc n.1 voglio metterlo al 100% e sul pc n.2 lo devo mettere allo 0% ? (per lo stesso progetto intendo)

crei diversi profili (work, school, home, per citare quelli standard) ognuno con uno share diverso e poi associ i vari PC al profilo

non sarà una cosa perfetta (se hai più di 3 PC devi scendere a compromessi) però funzia

canapa ha scritto:

Ma dalle preferenze del sito di ogni progetto giusto?
Ho riprovato seti... ho messo 0 e lui mi ha rimesso 100....

Dove sbaglio?

Si, dalle preferenze di ogni progetto.

Non lo so però a me sono settati a 0.
Può c'entrare il fatto che uso BAM e ho impostato 0 da li?

baxnimis ha scritto:

astroale ha scritto:

Una cosa che non ho mai capito dello share e' questa: visto che non e' impostabile nelle preferenze locali, come faccio se sul pc n.1 voglio metterlo al 100% e sul pc n.2 lo devo mettere allo 0% ? (per lo stesso progetto intendo)

crei diversi profili (work, school, home, per citare quelli standard) ognuno con uno share diverso e poi associ i vari PC al profilo

non sarà una cosa perfetta (se hai più di 3 PC devi scendere a compromessi) però funzia

ah già che scemo lo facevo quando avevo i 90 cricetini, ed ero fissato con l'ottimizzazione da "CPU affinity", effettivamente in alcuni casi non bastavano 4 tipi diversi ... non è che con BAM o cose simili (mai provate) si riesce a gestire un tipo di profilo per ogni PC ?

Non c'entra, ma siamo sempre in argomento ... se con la rel 32 mettono questa fantastica possibilita (gestione tipo main/backup), allora finalmente si potrà impostare la cancellazione automatica delle WU a rischio deadline ?
Lo dico perché é ovvio che se tengo fermo lo spinhenge per 2 settimane mentre gira il SIMAP, moltissime WU finiranno per andare oltre la deadline e cancellarle a mano e' sempre una palla. Questo era anche uno dei prossimi obiettivi dello script, un altro lo switch solo al termine delle WU, niente WU lasciate in sospeso, magari al 90% con 40 ore di CPU time sulle spalle.