ARGOMENTO:

salve a tutti,

e' il mio primo messaggio su questo forum, spero di aver selezionato l'area giusta ...

Il mio problema e' questo: alcuni progetti, nel mio caso, ABC@home tendono ad assegnare una tonnellata di WU all'attach cosa che dopo qualche giorno si risolve in una paziente cancellazione di decine di WU per evitare che vadano oltre la deadline e il calcolo eseguito sia di fatto sprecato.

Siccome odio gli sprechi, ma odio anche dover abortire una per una centinaia di WU sui vari PC in rete che utilizzo con BOINC, (gestiti tramite BoincView), vorrei sapere se:

1) esiste un modo per abortire in una volta sola tutte le WU prossime alla deadline (qualsiasi trucco in BoincView, script per boincCmd ... o altri metodi sono bene accetti)

2) se e' possibile (e serve a qualcosa, nel caso indicato) ridurre la dimensione della cache, ma solo per il progetto "malfunzionante" sotto questo profilo, senza toccare la configurazione sugli altri che fungono benissimo (squadra che vince non si cambia)

Notare che ABC e' particolarmente rognoso sotto questo profilo perche' le WU in "deadline warning" cioe' segnate in giallo da BoincView sono destinate a sforare sicuramente a causa dell'estrema variabilita' della durata di ogni WU, ovvero basta che in quelle ancora presenti ve ne sia qualcuna da piu' di un giorno di CPU time, e tutta la coda passera' automaticamente la deadline.
Spesso sono destinate a sforare tutte le WU a meno di 2 giorni dalla deadline, quindi anche di quelle non segnalate da BoincView.

Grazie per l'attenzione.

Ale

Mah, forse era un post più adatto all'HelpDesk.

Sinceramente non so aiutarti con i tecnicismi, ma se qualche WU ti va in deadline posso supporre i seguenti motivi:

- hai troppi progetti attivi su singolo computer
- hai una cache impostata ad un livello inadeguato

Quindi prima di tutto ti invito a postare i dati relativi a queste due questioni, così vediamo qual'è la causa.
Poi per il resto aspettiamo i contributi di LucaB o di Ghz perchè io davvero non saprei come aiutarti

Ti ringrazio, per ora ho riportato in bolla la situazione senza perdere neanche una WU e sembra che la maggior parte dei client non abbia ricominciato a fare indigestione. Forse e' stato solo un transitorio iniziale ... spero.
Speriamo che non capiti un altro evento allo switch sul SIMAP all'inizio di maggio.

Grazie,
Ale

Ale, ho portato la discussione nell'HelpDesk in modo che possa servire anche ad altri in futuro!

Capisco il tuo problema e il tuo disappunto!
Purtroppo i progetti sono molto variegati e non sempre è possibile trovare un metodo che vada bene per tutti. Pensa ad esempio alle WUs di Climateprediction (che richiedono anche 1500h ad un Quad!!) e a quelle di SIMAP (che in un'oretta se ne ritornano alla base).

Conciliare tempi di elaborazione, cache e deadline non è affatto banale e problemi come il tuo sono all'ordine del giorno.

Posso darti cmq un po' di indicazioni di massima che sicuramente potranno esserti d'aiuto.

1) Quando fai il join ad un nuovo progetto assicurati di aver settato al minimo la cache. Questo fattore è importante... Al primo contatto il server del progetto non conosce la potenza di elaborazione della macchina, se non per i dati di benchmark effettuati dal Manager. Può quindi capitare che sovrastimi la potenza e che si illuda di aver trovato una macchina in grado di fare milioni di WUs al giorno. A quel punto ti inonda di WUs lunghe che, al contrario, richiedono ore di elaborazione. Ridurre al minimo la cache ha così due utili vantaggi:
a) eviti che il PC si riempa di WUs che andranno subito oltre la deadline;
b) dai tempo allo scheduler di ricevere da te un po' di WUs elaborate con cui potrà REALMENTE capire quanto e cosa sei in grado di fare. Il "transitorio iniziale" a cui fai riferimento è correlato strettamente a questo punto b).

2) Il problema è DOVE IMPOSTARE la cache. Sostanzialmente hai tre modi:
a) una impostazione comune a tutte le macchine legate al tuo account
b) una impostazione personalizzata per gruppi di macchine
c) una impostazione personalizzata per ogni macchina

2a) Settare globalmente la cache significa andare su uno dei tuoi progetti e impostare la cache nelle "General Preferences". Questa impostazione verrà portata su ogni macchina legata al tuo account a mano a mano che i vari client si collegheranno ai rispettivi server. Modifichi in un punto e porti su tutti i PC.

2b) Sempre sotto le "General Preferences" puoi impostare i profili (Home, Work, School). In questo modo potrai fare fino a tre configurazioni di cache e potrai scegliere a chi destinare ogni profilo, assegnando la "location" ad ogni PC. Quest'ultimi si vedranno assegnato un profilo e setteranno i propri parametri in base a questo.

2c) Ogni BOINC Manager può agire anche in proprio... basta andare nel menù Advanced e scegliere Preferences. In questo modo imposterai un settaggio di cache SOLO ed ESCLUSIVAMENTE per quella macchina e contemporaneamente la macchina ubbidirà SOLO a quelle preferenze, ignorando quelle provenienti dal web.

E' ovvio che sceglierai una gestione "manuale" dal BOINC Manager per le macchine che usi a contatto diretto (casa, ufficio, ecc.), mentre userai una configurazione dal web per tutte le altre milioni di macchine che hai collegato al tuo account ma che magari non sono sotto il tuo diretto controllo.

Tieni cmq presente una cosa: la piattaforma di calcolo distribuito prevede SEMPRE delle tecniche di ridondanza dei dati; per cui se le tue WUs vanno oltre la deadline, non preoccuparti... farai la gioia di qualche altro utente che si vedrà recapitare i tuoi scarti. Ovvio che se le WUs venivano rispedite ai server piene zeppe di errori avresti dovuto preoccuparti... in questo caso... fai tutti i tuoi esperimenti di deadline: se anche qualcosa va storto... le finalità dei vari progetti saranno salve cmq!

Spero che queste info possano aver chiarito qualche dubbio. Fai qualche prova e vedi come va. Se qualcosa non torna... io sono sempre qua!

LucaB76 ha scritto:

Ale, ho portato la discussione nell'HelpDesk in modo che possa servire anche ad altri in futuro!

Capisco il tuo problema e il tuo disappunto!
Purtroppo i progetti sono molto variegati e non sempre è possibile trovare un metodo che vada bene per tutti.

Pensa ad esempio alle WUs di Climateprediction (che richiedono anche 1500h ad un Quad!!) e a quelle di SIMAP (che in un'oretta se ne ritornano alla base).

Da questo punto di vista ho cercato di limitare il danno cercando di far elaborare un solo progetto ad ogni PC. Anche per ottimizzare il tempo dedicato, correggimi se sbaglio, ma una delle critiche che avevo letto recentemente in un articolo di uno studente polacco (avete riportato il pdf sul sito se ricordo bene), sia proprio il fatto che lo switch tra i progetti non avviene all'istante di un breakpoint del progetto running ma allo scadere del periodo di switch (60 minuti di default) portando allo spreco di una percentuale non irrilevante di CPU time.

Purtroppo da quando il SIMAP e' diventato periodico (voglio continuare a supportarlo perche' lo considero uno dei progetti piu' affidabili tecnicamente), ho anche io il problema dello switch, solo una volta al mese pero', perche' metto gli altri progetti in suspend.

A proposito, domanda:
stavano per implementare la possibilita' di fare lo switch tra un progretto e il successivo solo al termine dell'elaborazione di tutte le WU del progetto in depleting. L'hanno fatto ? come si imposta ?

2) Il problema è DOVE IMPOSTARE la cache. Sostanzialmente hai tre modi:
a) una impostazione comune a tutte le macchine legate al tuo account
b) una impostazione personalizzata per gruppi di macchine
c) una impostazione personalizzata per ogni macchina

2a) Settare globalmente la cache significa andare su uno dei tuoi progetti e impostare la cache nelle "General Preferences". Questa impostazione verrà portata su ogni macchina legata al tuo account a mano a mano che i vari client si collegheranno ai rispettivi server. Modifichi in un punto e porti su tutti i PC.

Mumble .. questo non mi conviene perche' dovrei ri-cambiarlo a fine mese su tutte le macchine che lavorano sul SIMAP. Se sul SIMAP non imposto esattamente 5 gg di cache (o meno) inizia a scaricare una WU per volta, per un preciso settaggio del server boincsimap.

2b) Sempre sotto le "General Preferences" puoi impostare i profili (Home, Work, School). In questo modo potrai fare fino a tre configurazioni di cache e potrai scegliere a chi destinare ogni profilo, assegnando la "location" ad ogni PC. Quest'ultimi si vedranno assegnato un profilo e setteranno i propri parametri in base a questo.

Idem come sopra.

2c) Ogni BOINC Manager può agire anche in proprio... basta andare nel menù Advanced e scegliere Preferences. In questo modo imposterai un settaggio di cache SOLO ed ESCLUSIVAMENTE per quella macchina e contemporaneamente la macchina ubbidirà SOLO a quelle preferenze, ignorando quelle provenienti dal web.

Questa sarebbe praticabile solo se potessi farlo usando il boinc manager da remoto sulle macchine. Non ho tempo per accedere ai PC durante il giorno e cosi' posso farlo solo da remoto tipicamente di sera.
Ma da da quel che leggo, il menu' "preferences" non sembra che, anche usando un manager 5.10.45 possa lavorare da remoto sui settaggi locali. Sarebbe cmq un po' noioso fare il logon ad ogni PC (peccato che BOincView non sia piu' manutenuto).

Non e' che e' uscito un qualche add-on che al posto della combobox del "select computer" consenta di usare un mini-elenco di indirizzi IP ordinato a piacere ?
... oppure esiste un file in cui viene memorizzato il contenuto della cache della combobox ?
L'avevo cercato parecchio tempo fa' senza successo.

Grazie mille,

Ale

astroale ha scritto:

Da questo punto di vista ho cercato di limitare il danno cercando di far elaborare un solo progetto ad ogni PC. Anche per ottimizzare il tempo dedicato, correggimi se sbaglio, ma una delle critiche che avevo letto recentemente in un articolo di uno studente polacco (avete riportato il pdf sul sito se ricordo bene), sia proprio il fatto che lo switch tra i progetti non avviene all'istante di un breakpoint del progetto running ma allo scadere del periodo di switch (60 minuti di default) portando allo spreco di una percentuale non irrilevante di CPU time.

Purtroppo da quando il SIMAP e' diventato periodico (voglio continuare a supportarlo perche' lo considero uno dei progetti piu' affidabili tecnicamente), ho anche io il problema dello switch, solo una volta al mese pero', perche' metto gli altri progetti in suspend.

In realtà lo switch comporta una perdita di lavoro svolto solo se la macchina viene spenta. Se la macchina lavora 24h/24 e un progetto viene sospeso, alla ripartenza l'elaborazione continua da dove era rimasta.

Per facilitare le cose, meglio impostare l'opzione "Leave applications in memory while suspended" (o localmente alla macchina o attraverso le preferenze sul web). In questo modo le ripartenze saranno più rapide, più affidabili e più sicure.

A proposito, domanda:
stavano per implementare la possibilita' di fare lo switch tra un progretto e il successivo solo al termine dell'elaborazione di tutte le WU del progetto in depleting. L'hanno fatto ? come si imposta ?

Che io sappia non esiste niente di tutto ciò. C'era un utility (non di BOINC) che terminava il client appena una determinata WU arrivava ad un checkpoint. Può servire, ad esempio, se un PC elabora Climate e un altro progetto qualunque con WUs brevi. L'uso dell'utility permetteva di uscire da BOINC al raggiungimento del checkpoint da parte della WU di Climate. Così facendo si poteva spengere il PC senza perdere nemmeno un ciclo di clock delle immense WUs di Climate. Forse esiste ancora qualcosa del genere... prova a cercare, se può farti comodo.

Non e' che e' uscito un qualche add-on che al posto della combobox del "select computer" consenta di usare un mini-elenco di indirizzi IP ordinato a piacere ?
... oppure esiste un file in cui viene memorizzato il contenuto della cache della combobox ?
L'avevo cercato parecchio tempo fa' senza successo.
Grazie mille,
Ale

Capisco i tuoi problemi... purtroppo quando hai a disposizione millemila PC è dura fare qualcosa di capillare... a meno che...

Hai provato il B.A.M.? it.boincstats.com/bam/
Con il Boinc Account Manager puoi collegare tutti i PC che vuoi, una volta per tutte, ad un gestore di progetti, il BAM appunto. In pratica ti fai un account sul BAM e scegli quali progetti aggiungere (ad es. Rosetta e SIMAP). Poi vai una volta sola su tutte le macchine e le colleghi a quell'account BAM. Da quel momento in poi ogni modifica fatta attraverso il BAM si ripercuoterà su tutte le macchine connesse al BAM. Dal BAM potrai gestire l'attach e il detach ai progetti, la sospensione di un progetto, la richiesta di lavoro, ecc. Una volta fatto sul BAM, entro un'ora tutti i PC riceveranno l'ordine impartito e reagiranno di conseguenza. Provalo, magari prima su un paio di PC, e dimmi come ti trovi.