Valutazione attuale: 5 / 5

Stella attivaStella attivaStella attivaStella attivaStella attiva
 

Il nuovo progetto del "gruppo LHC" è diventato stabile ed è uscito dalla fase di test e con questo sono attivi 5 progetti legati alla fisica dell'accelleratore ginevrino.

CMS-dev


Accedi per commentare

Avatar di ReLeon
ReLeon ha risposto alla discussione #124751 17/04/2017 19:03

Attenzione è sul forum di CMS-Dev (boincai05.cern.ch/CMS-dev/) che è il sito dove si gestiscono le app in sviluppo, da non confondere con quelle di produzione.

E come sviluppo, stanno testando il nuovo applicativo Linux nativo e non più via vbox. Dovrebbe essere più veloce


Prendo spunto per far osservare come questo sito sia diventato il sito di sviluppo di tutte le applicazioni -dev di tutto il grid del Cern.

E' cambiato l'indirizzo però: lhcathomedev.cern.ch/lhcathome-dev/index.php

Tenetelo a mente.. :cincin:
Avatar di zioriga
zioriga ha risposto alla discussione #124220 24/02/2017 21:30
Attenzione è sul forum di CMS-Dev (boincai05.cern.ch/CMS-dev/) che è il sito dove si gestiscono le app in sviluppo, da non confondere con quelle di produzione.

E come sviluppo, stanno testando il nuovo applicativo Linux nativo e non più via vbox. Dovrebbe essere più veloce
Avatar di ReLeon
ReLeon ha risposto alla discussione #124219 24/02/2017 21:22
Grazie della news, ma mi resta un dubbio:

Questa news arriva dal forum direttamente? Io non la ho trovata.. :arg:
Avatar di zioriga
zioriga ha risposto alla discussione #124202 24/02/2017 14:52

New native Linux ATLAS application
Hi all,

If you don't use Linux you can ignore the rest of this post. If you do you may be interested in trying the experimental ATLAS app which doesn't use virtualbox but runs natively on Linux.

IMPORTANT!! To run this app you must install CVMFS, the CERN VM File System, and configure it for ATLAS. This file system contains all the software for ATLAS WU and is normally inside the virtual image (the same as for all LHC vbox apps).

A simple installation guide can be found here: cernvm.cern.ch/portal/filesystem/quickstart

You should set up the repositories as shown in the example for ATLAS. If you have a squid proxy handy you can specify it there - if not I'm not sure whether it will work or not without configuring one.

Our target for this app is CERN or ATLAS-related institutes who have idle machines with CVMFS already installed, and we do not expect the average volunteer to install CVMFS and run this app. But I think all of you here are above-average volunteers :) and you may be interested in trying it.

Please give feedback on the ATLAS forums. Unfortunately there is no way to check for CVMFS on the client before requesting tasks, so if you don't have CVMFS you can still get these tasks and they will fail straight away. So better to uncheck the ATLAS app if you don't want to run it. 23 Feb 2017, 15:48:35 UTC · Commenta


quindi almeno su Linux stanno provando ad abbandonare la vbox

Consigliano, nel caso che non si voglia installare il CVMFS, di non richiedere lavoro per ATLAS (solo per chi vuole scaccolare per le applicazioni in sviluppo)
Avatar di ReLeon
ReLeon ha risposto alla discussione #124133 20/02/2017 22:01
Svuotamento coda CMS
A causa di un aggiornamento al server WMAgent, abbiamo bisogno di svuotare la coda dei lavori CMS.
Quindi, non stanno più inviando quotidianamente pacchetti e quindi faranno qualcosa per questo fine settimana, al fine di svuotare il server con il lavoro rimanente.
Se vedete che non ci sono più wu da CMS, impostate "blocca la richiesta di workunit" o interrompete BOINC.
Mi aspetto che l'intervento avrà luogo Lunedi mattina, e speriamo di avere nuove elaborazioni più tardi quel giorno.

Retropost: era di venerdì questo post, e ora vedo che hanno di nuovo lavoro, per cui l'aggiornamento è riuscito senza perdere elaborazioni per strada.
La cosa è interessante: nei server dei progetti che usano vbox, effettivamente dovrebbero esserci procedure diverse rispetto a un server di un progetto cpu normale, per cui li rende più complicati sicuramente... :concordo:
Avatar di ReLeon
ReLeon ha risposto alla discussione #124082 12/02/2017 16:32
Buone notizie per l'applicazione CMS @ Home
Questo pomeriggio abbiamo dimostrato l'ultimo anello della catena di produzione di dati Monte Carlo per l’utilizzo di questo progetto (e il progetto -dev), vale a dire il trasferimento dei file sui risultati dal Data Bridge temporaneo a un CMS Tier 2 (SE, storage element). In sintesi, i passaggi sono:

o Creazione di uno script di configurazione che definisce il/i processo/i da simulare
o Invio di un lotto di wu di durata e dimensione del file risultante file adatto ai volontari
o volontari che eseguono BOINC e l'applicazione CMS@Home, e i file dei risultati restituiti al Data Bridge
o fusione delle wu in un piccolo cluster al CERN per raccogliere i file più piccoli in file di grandi dimensioni (~ 2,2 GB) - questo passaggio deve essere fatto presso il CERN come la maggior parte dei volontari non avranno la bandwidth per gestire i volumi di dati richiesti. Questa fase serve per verificare l'integrità dei file e dei risultati richiesti al CMS.
o il trasferimento dei file uniti in ambiente Grid dove sono quindi immediatamente disponibili per i ricercatori del CMS di tutto il mondo.

Grazie a tutti. Da qui in poi si farà più politica, ma stiamo ottenendo il supporto in merito a come il progetto ha progredito. Ora abbiamo bisogno di muoversi in un ambiente più industriale e convincere coloro che stanno ai vertici di assumersi la responsabilità di avere flussi di lavoro adeguati e una raccolta di risultati. Si potranno vedere alcuni cambiamenti in futuro, soprattutto perché porteremo alcune caratteristiche più avanzate qui dal progetto -dev.

ReLeon :jump:
Avatar di ReLeon
ReLeon ha risposto alla discussione #121688 26/05/2016 11:44
Infrastructure Update
The authentication server used to get the proxy has been changed. New tasks from now on will use the new server. This change should be transparent but in case everything breaks in the next few hours, this will be why.

Attenzione quindi alle nuove wu, che potrebbero crashare..
Avatar di zioriga
zioriga ha risposto alla discussione #120692 08/03/2016 20:19

Change of project name
As mentioned earlier (under "Project Restructuring"), CMS-dev has evolved into a more general dev project for virtual machine applications running under LHC@home.

We will therefore rename the "CMS-dev" project to "vLHCathome-dev" as it is now a development project for early testing of applications that potentially could run in production under the Virtual LHC@home platform.

The change is planned for tomorrow 13 UTC, and you should later see this project as:
lhcathomedev.cern.ch/vLHCathome-dev/

Redirection will be put in place, so in principle BOINC clients should be able to follow. Otherwise please detach the project and re-attach to the new URL at your convenience.

Thanks to your contributions and feedback on tests of our applications, CMS-dev has been a success, and we would like to express our warm thanks for your contributions! :-)

Please note that this remains a development and test project, that might provide unstable applications and that any BOINC credit accumulated here might get lost.

If you prefer to just crunch and get credit, please give priority to our production LHC@home projects.

Many thanks for your collaboration!

... the team 8 Mar 2016, 14:17:35 UTC

Avatar di zioriga
zioriga ha risposto alla discussione #120677 08/03/2016 06:27

Tasks for the LHCb application will start to be submitted. By default this has been made opt-in so you should only get tasks if you specifically ask for them. The application is still in development so only give it a try if your curious. 7 Mar 2016, 15:22:48 UT


I'm very curious, but unfortunately now I'm over committed to cosmology plank workunits
Avatar di ReLeon
ReLeon ha risposto alla discussione #120652 05/03/2016 14:44

An initial alpha version of the LHCb application has been added. There are currently no tasks for now. Two new topics have been created for the message boards so that discussions on the CMS application and LHCb application can be kept separate. 3 Mar 2016, 11:00:25 UTC

beauty :maroni: ecco il tassello mancante

Avatar di zioriga
zioriga ha risposto alla discussione #120629 03/03/2016 14:51

An initial alpha version of the LHCb application has been added. There are currently no tasks for now. Two new topics have been created for the message boards so that discussions on the CMS application and LHCb application can be kept separate. 3 Mar 2016, 11:00:25 UTC

Avatar di zioriga
zioriga ha risposto alla discussione #120608 01/03/2016 17:26

Project Restructuring
As discussed in other threads, we would now like CMS-dev to become our general testing project. In order for this to happen the project should support sub-projects similar to PrimeGrid and per app credit. We are aiming to add these features within the next few days. 1 Mar 2016, 9:56:45 UTC ·

Avatar di zioriga
zioriga ha risposto alla discussione #120232 30/01/2016 14:44
questo fatto direi che giustifica sempre di più la mia proposta di mettere in home page del nostro sito le notizie RSS dei progetti (nella forma da decidere). proposta per la quale continuerò a battermi
Avatar di zioriga
zioriga ha risposto alla discussione #120227 30/01/2016 14:12
@ReLeon

è già da più tempo che il passaggio era stato "annunciato" da questa news

CMS beta in Virtual LHC@Home
Some tasks are now being run through vLHC@Home -- see this thread for details. 12 Oct 2015, 14:17:20 UTC


quindi direi che di mesi di test ne abbiano avuti più che a sufficienza
Avatar di ReLeon
ReLeon ha risposto alla discussione #120221 30/01/2016 13:15
Constructive suggestions please
As mentioned elsethread, I have to prepare a summary of required/desired improvements to CMS@Home to take it up to production readiness. Please post suggestions and criticisms in this thread. Please keep it short and non-personal, as I'll have to de-serialise the thread to make my report.
Avatar di ReLeon
ReLeon ha risposto alla discussione #120192 28/01/2016 21:11

Aaah, ma quindi chiuderanno i battenti sul vecchio url?

Meglio così, sarebbe bella una grid di tutti i progetti LHC.


e allora tanto valeva che lo dicessero fin da subito, non si dicono queste cose così.
Io scaccolerò fintanto che ci saranno wu, e questa mi sembra una pessima idea, ora che ci stavano dando dentro.. vorrei che questa esperienza non diventasse una parte di vLHC senza che prima si sia fatto un dovuto periodo di test... troppo presto!!!!
Avatar di Nubman
Nubman ha risposto alla discussione #120175 28/01/2016 11:34
Aaah, ma quindi chiuderanno i battenti sul vecchio url?

Meglio così, sarebbe bella una grid di tutti i progetti LHC.
Avatar di zioriga
zioriga ha risposto alla discussione #120171 28/01/2016 03:31
Dal sito

Migrating to vLHC@home
As most of you already know, the aim of this project was to get the CMS application to a point where it was mature enough to be added to the vLHC@home project as a beta app. We believe that we have now reached that point and would like migrate our activity to that project.

The CMS beta application which should be identical to this one is now available in vLHC@home. Out of the 190 volunteers that have credit, 89% already have a vLHC@home account. Please could everyone who is running here try out the CMS beta application from vLHC@home. To do this you will need to go to the vLHCathome preferences and enable CMS Simulation.

lhcathome2.cern.ch/vLHCathome/prefs.php?subset=project

If the beta app is working for you, please stop running here. Once most have migrated, no new tasks will be created and the accumulated credit can be migrated from here to vLHC@home.

Please post any comments or issues relating to the migration in this thread.

Thanks to everyone who has supported this project and enabled us to get to where we are today.

Laurence 27 Jan 2016, 14:59:44 UTC · Commenta


pertanto bisogna scollegarsi dal progetto ed abilitare su vLHC la possibilità di ricevere anche CMS.

quindi: scaccolatore avvisato, scaccolatore salvato !!!! :) :)
Avatar di il druido
il druido ha risposto alla discussione #119778 08/01/2016 09:36

Mah, devo dire che personalmente non vedo questo presunto crash anche continuando a scaccolare come facevo prima con una adsl similare a quella che citi tu. E dire che qui di traffico ce n'è... :blink:


E io che pensavo di aver trovato una spiegazione a tutte le wu (sia di Atlas che di CMS) che mi fallivano o mi davo strani errori legati alla VM :muro:
Avatar di ReLeon
ReLeon ha risposto alla discussione #119756 07/01/2016 12:42

Quindi sostanzialmente mi stanno dicendo che se ho una normale ADSL Telecom a 7 mega (che come velocità è ancora la più diffusa in Italia...) con un upload di 0.3 Mbps non posso far girare il progetto? O che comunque rischio molti crash?


Mah, devo dire che personalmente non vedo questo presunto crash anche continuando a scaccolare come facevo prima con una adsl similare a quella che citi tu. E dire che qui di traffico ce n'è... :blink:
Avatar di renestrano
renestrano ha risposto alla discussione #119720 05/01/2016 15:34
Buongiorno, stavo sul forum per cercare una risposta allo stesso problema e ho trovato una soluzione sul sito ufficiale di ATLAS.
La incollo qui di seguito se può essere utile.
Renato

Hi, I had the same issue with the VirtualBox version 5.0.10 which cames out of the current Boinc bundle (BOINC 7.6.22). I was able to fix that issue with the latest VirtualBox version (5.0.12 r104815) from the VirtualBox site.

Steps I made:
1. Install latest VB version
2. abort all WUs
3. stop Boinc client
4. delete all VB img
5. start boinc client
6. requested new WUs

Greetings
Steffs
Avatar di il druido
il druido ha risposto alla discussione #119717 05/01/2016 13:03
Quindi sostanzialmente mi stanno dicendo che se ho una normale ADSL Telecom a 7 mega (che come velocità è ancora la più diffusa in Italia...) con un upload di 0.3 Mbps non posso far girare il progetto? O che comunque rischio molti crash?
Avatar di ReLeon
ReLeon ha risposto alla discussione #119694 05/01/2016 09:29
News da CMS

Important information on upload bandwidth
We've been puzzling for a while as to why we were getting a lot of "stage-out" failures -- i.e. problems returning result files to data storage.
I'd pushed up lately to CMS jobs taking 2-5 hours, depending on processor speed, and returning ~150 MB result files. This means that on average each VM is returning ~50 MB/hr (or to put it another way, at an upload speed of 1 Mbps, returning a result file would take 1500 seconds, or 25 minutes).
It seems technology is roughly consistent across the world, and many consumers are still on ADSL broadband -- where the A means Asymmetric, that is upload speed is usually much slower than download speed. Upload speeds around, or even less than, 1 Mbps seem to be the norm for ADSL broadband.
So, the problems started occurring when enthusiastic volunteers started running several machines at once on their home networks. This meant that the total load on the upstream channel exceeded availability, uploads stalled and we started getting transfer time-outs.
So, the caution to take away from this is to make sure you know you upload speed, and make sure you don't run so many machines that they take your line into saturation.
I believe there are some workloads we could commission with a somewhat smaller MB/hr result generation; I'll let you know if we can start running them.
Avatar di il druido
il druido ha risposto alla discussione #118179 30/10/2015 09:00
Finito il CH su Denis proverò a riprenderlo, sperando che il problema che avevo sia stato risolto, altrimenti lo lascerò di nuovo... Buttare via 15 ore ogni volta che elaboro una wu proprio non mi va...
Avatar di ReLeon
ReLeon ha risposto alla discussione #118175 30/10/2015 00:02
Un mese all'insegna delle novità per CMS-dev!!!! Eppure succose!
Non capisco come mai venga così poco scaccolato.... :eh:

29 Oct 2015

Updated Agent
The CMS Job Agent used in the VM has been updated. It contains the following changes:

* Fixed 1 hour (not) sleep issue
* Support for non-BOINC instantiations
* Added support for running under for vLHC@home

This update should be transparent but if not please let us know by posting a reply to this message.

22 Oct 2015

VirtualBox wrappers upgraded to 26178
The VirtualBox wrappers for Windows, Linux and Mac have been upgraded to 26178.

It contains the following fixes:
* VBOX: Add code to handle search path modification for Linux and Mac.
* VBOX: On a hypervisor detection failure dump all the logs to stderr, it would have quickly exposed a search path change on Mac OS X.
* VBOX: Reduce the amount of disk I/O when parsing the VM log file
* VBOX: Fix a regression introduced in 26172 with starting up a VM

Let us know how it goes.

20 Oct 2015

New jobs available
I've now submitted a larger batch of jobs since the failure rate seems manageable. There were a few host IP addresses recurring amongst the failures, I'll keep an eye out out for them in future and contact the owners if they continue to misbehave. You can start running tasks again now if you wish.

13 Oct 2015


New vboxwrapper
We've released new versions of CMS@Home with the latest vboxwrapper 26175. See the discussion in Number Crunching for the effects this has.

13 Oct 2015

New developments
We're at the stage where we have to make disruptive changes to the workflow, in order to get the results onto the Grid from the data-bridge. At some point soon we'll start getting errors for jobs in the current batch, at which time I'll ditch the rest and submit a small test batch. If we're lucky that may be the end of it, we'll have to see.
Thanks in advance for your understanding.

12 Oct 2015

CMS beta in Virtual LHC@Home
Some tasks are now being run through vLHC@Home -- see this thread for details.

9 Oct 2015


Possible short outage...
I'm about to try manually to install a new certificate proxy, as the default 7-day initial proxy is about to expire. This is the first time we've done this, so it may not work -- if it fails, expect to see job failures. I'm not sure if the jobs will fail before they get to your tasks or after... If I see failures I'll submit a new batch immediately, so don't panic if you see failures, we should ride it out OK.