Minute della riunione del Technical Board di INFN-Grid

Cnaf, 5 ottobre 2000

Presenti: F.Donno, C.Grandi, M.Sgaravatto, I.Lippi, M.Michelotto, F.Giacomini, U.Marconi, S.Vecchi, D.Galli, L.Luminari, M.Biasotto, S.Resconi, L.dell’Agnello, C.Vistoli, A.Chierici, G.VitaFinzi, L.Barone, M.Luvisetto, P.Cerello, L.Gaido, L.Silvestris, A.Ghiselli, M.Mazzucato, F.Ruggieri, A.Masoni, L.Perini, P.Capiluppi, E.Onofri.

Agenda

Ore 10

 

Comunicazioni DATAGRID e INFN-Grid, M.Mazzucato, F.Ruggieri

Stato di DATAGRID

E’ stata spedita alla CE una nuova versione dei documenti del progetto, con una piu’ chiara evidenza delle release del software e del 'manpower unfunded'. la fase contrattuale va chiusa entro il 25 ottobre e subito dopo ci sar la firma del contratto. Il CERN stato delegato a firmare per tutti i partecipanti per accelerare l’operazione. E’ stato richiesto un background document che documenti l’attivita’ in atto nelle varie organizzazioni partecipanti. Una prima copia e’ stata spedita alla CE assieme al progetto e un’altra versione va spedita entro il 25 ottobre.

Personale per DATAGRID

Per quanto riguarda il personale da assumere, si ricorda che va dedicato al WP1 e una persona va alle applicazioni. Il CERN e il CNRS hanno gia’ bandito i concorsi. Le sedi dove si sviluppa WP1 sono Bologna/CNAF, Padova, Milano, Torino e Catania. Si possono avere 3 articoli 23 e 3 assegni di ricerca. Si propone che invece degli AR si valutino le borse informatiche perche’ piu’ flessibili sia in termini burocratici che di definizione dell’importo, e ottenibili con maggior rapidita’ ( l’INFN ha una commissione stabile che si riunisce periodicamente per prendere in esame eventuali domande).

 

 

 

Commenti dei referee di INFN-Grid: valutazioni, actions…

Finanziamento di INFN-Grid

Il finanziamento approvato dai referee andra’ nel Direttivo di fine ottobre.

Per inciso MM informa che in UK il governo ha stanziato 30miliardi di lire per progetti sulla Grid per la ricerca.

I 2Glire subjudice per gli esperimenti GR1 saranno discussi il 19/12/00 (spostata al 4/12/00).

Le richieste dei referee sono state le seguenti:

 

WPs: stato, problemi, programmazione; tutti i coordinatori dei WP

Il WP1 rilascia la versione 1.1 del kit di installazione di Globus su piattaforma Linux.

Il kit supporta Condor e LSF come resource management system locale. Il kit permette anche di configurare gsi-wuftpd. E` possibile (e` una facolta`, non un obbligo) scegliere di implementare le 'customizzazioni' dell’INFN (certificati firmati dalla INFN-CA, e "implementazione" dell’architettura di test del GIS). Nella prossima versione e` previsto il supporto di Solaris 2.6, di PBS, e verra` "incluso" anche GDMP.

Il tool e’ stato messo a punto da F.Donno, A.Sciaba’, M.Sgaravatto e Xie, con la collaborazione del gruppo del WP1.

Flavia informa che durante la sua trasferta al CERN per lavorare con le persone del WP2 su GDMP, B.Segal ha proposto di includere il tool di installazione di Globus all’interno dell’attivita’ del WP2. Si decide che il kit di installazione di Globus vada inserito nel progress report del WP6 (testbed) e messo a disposizione di DATAGRID (action di AG). Il WP6 deve organizzare il supporto del tool a chi lo vuole usare. IL MB deve risolvere il problema di come regolamentare la distribuzione del software prodotto in DATAGRID (action di FR e MM).

Il WP1 ha programmato una riunione per il 12 ottobre prossimo. Si segnala che il server CA di Cecchini e’ spesso non attivo (action di MM), che il CNAF ha inserito un cluster PBS di 3PC in Globus e che Milano ne sta configurando un altro. Si raccomanda maggiore diffusione di informazione sulle attivita’ di Globus delle varie sedi.

CV informa sulle novita’ del WP1 di DATAGRID, gia’ presentate a Marsiglia, sulla necessita’ di programmare l’attivita’ e definire le collaborazioni con Livny e il Globus team. C'e' gia' stato un incontro con Miron che si e' dimostrato molto collaborativo (report dell'incontro allegato).

MS presenta le prove fatte nell’ambito di Condor-G e Globus con il software ‘Bypass’. Questo software permette di ridirigerelo standard input/output/error sulla submit machine, mentre ad esempio la n-tupla prodotta resta nel file system della executing machine

MS propone la configurazione per il run delle applicazioni di CMS relative alla produzione di eventi simulati, di cui parlera’ in un punto successivo. Non e’ ancora stata definita una data per la prossima riunione.

 

LB informa che ci sara’ una riunione del WP per fine ottobre. Dal workshop di Marsiglia c’e’ stata attivita’ relativa al GDMP (Pisa-Cern); si tratta di un software sviluppato da 2 persone di CMS/CERN (che entreranno anche in DATAGRID) attualmente finalizzato solo a Objectivity e che sarebbe necessario generalizzare.

Sul data management c’e’ molto interesse da parte del gruppo romano di APE.

L’ingresso dell’INFN in DATAGRID e’ stato concordato con B.Segal e prevede una persona a tempo pieno che dovra’ trascorrere 6 mesi al CERN per lavorare nel WP2. Questa persona e’ Maria Mennea di Bari.

 

 

I.Lippi presenta il noto programma di produzione di CMS ed esprime l’interesse ad usare i tools rilasciati di INFN-GRID. Dalla presentazione di Massimo le configurazioni che si possono utilizzare sono due:

  1. Condor + Globus + Data mover (situazione piu’ semplice)
  2. Stessa configurazione + software "Bypass"

Nella configurazione 2 un data mover per spostare i dati prodotti (le n-tuple prodotte) serve comunque, mentre lo 'standard output' viene ridiretto sulla submitting machine, tramite "Bypass". Questo standard output (almeno per le applicazioni di CMS) contiene utili informazioni per il "monitoring" del job: errori, eventi prodotti fino a quel momento, ecc..., e quindi e` utile poter controllare questi file (da parte del "production manager") durante l’esecuzione del job.

In assenza di Bypass , lo standard output e' accessibile nel file system della executing machine.

Si decide di avere entrambi i layout, uno di produzione con la configurazione 1 e uno di test piu’ ridotto con la configurazione 2.

Si discute come organizzare questi due layout e piu’ in generale come gestire il passaggio del software dall’interno del WP, in cui viene prodotto, alle applicazioni e al testbed.

Il modello potrebbe essere il seguente:

test all’interno del WPx su testbed ridotto

1)------------------------ report line < |

release | tools piu’ applicazioni in un testbed ridotto WPx, WP3, WP4 < |

2) ------------------------------------------------- |

release | test di quasi-produzione su un testbed esteso WPx,WP3,WP4 < |

3) -------------------------------------------------- |

produzione WP3 |

4) ----------- |

Descrizione del modello attraverso l’esempio presentato da MS e IL.

  1. Il WP1 rilascia il kit di installazione di Globus dopo aver fatto i test di funzionalita’ dei servizi di Globus. Il WP ha fatto finora test su macchine dedicate e sotto il suo controllo.
  2. Una task-force formata da persone del WP1 (Massimo,….), del WP3 (Ivano, Claudio…) e del WP4 (persone dei siti del testbed dove girano le applicazioni) segue i test relativi alla configurazione 2 e al termine dei test fara’ una release. Nel nostro caso i siti coinvolti sono Cnaf , Padova e Bologna.
  3. Questa release sara’ configurata su un testbed piu’ esteso per validare una release di produzione. Coinvolge il WP3 delle applicazioni e il testbed. I WP che hanno prodotto il software utilizzato saranno coinvolti solo per la consulenza, ma non per il supporto. Nel nostro caso i siti coinvolti sono Padova, Bologna, Bari, …
  4. layout dell’esperimento per la produzione. La Configurazione 1 farebbe gia' parte di questa fase.

Nella proposta in oggetto, configurazione1 e 2, vanno confermati siti e persone.

 

 

LG illustra la mail (allegata) sul testbed, inviata da LG e AG al TB prima della riunione, che raccoglie alcune considerazioni sulla composizione del WP (65 persone di cui 19 IT e i restanti degli esperimenti), i compiti e su come organizzare e avviare l’attivita’.

I punti principali sono:

Riguardo al WP del network(LG distribuisce una bozza di programma) si fa presente l’esiguita’ del man power rispetto al programma di attivita’ e la necessita' di lavorare in collaborazione con gli altri WP.

A fronte di nuove esigenze nate dall' installazione delle prime farm infn (e grazie al lavoro di CMS) si propone di modificare le priorita del wp 2.4 mettendo particolare enfasi ed urgenza al rilascio di un kit di installazione di farm di carattere sufficientemente generale".

Mailing list e documentazione, G.VitaFinzi

Giulia distribuisce tutte le mailing list per un ulteriore controllo. Si conferma di tenere la lista di interesse grid@infn.it e la tech-grid@infn.it come insieme delle liste dei WP.

Ogni 6 mesi le liste saranno riviste sulla base della partecipazione all’attivita’.

Giulia illustra la pagina delle note di INFN-GRID che viene accettata e si chiede che Giulia e Federico facciano una proposta su come regolamentare la pubblicazione delle note.

MM chiede che ci sia un logging di chi accede al software di infn-grid.

discussione sull’agenda della prossima riunione del technical board di DATAGRID

………..

partecipazione al GF5 di Boston: le persone che hanno dichiarato di partecipare sono: Mazzucato, Sgaravatto, Giacomini, Gaido, Ferrari, Ghiselli, Vistoli