Meeting del WP1 (Globus) di INFN-Grid Bologna (CNAF), 11.01.2001 Presenti: Roberto Barbera (CT) roberto.barbera@ct.infn.it Giuseppe Lo Biondo (MI) giuseppe.lobiondo@mi.infn.it Francesco Giacomini (CNAF) francesco.giacomini@cnaf.infn.it Luciano Gaido (TO) luciano.gaido@to.infn.it Massimo Sgaravatto (PD) massimo.sgaravatto@pd.infn.it Francesco Prelz (MI) francesco.prelz@mi.infn.it Alessandro Cavalli (CNAF) alessandro.cavalli@cnaf.infn.it Carlo Rocca (CT) carlo.rocca@ct.infn.it Massimo Biasotto (LNL) massimo.biasotto@lnl.infn.it Roberto Alfieri (PR) roberto.alfieri@pr.infn.it Fabio Spataro (PR) fabio.spatarp@pr.infn.it Alberto Gianoli (FE) alberto.gianoli@fe.infn.it Pietro Matteuzzi (CNAF) pietro.matteuzzi@cnaf.infn.it Andrea Cristofori (FE) andrea.cristofori@fe.infn.it Giulia Vita Finzi (CNAF) giulia.vitafinzi@cnaf.infn.it Antonio Forte (TO) antonio.forte@to.infn.it Stefano Lusso (TO) stefano.lusso@to.infn.it Luigi Fonti (CNAF) luigi.fonti@canf.infn.it Alessandro Italiano (CNAF) alessandro.italiano@cnaf.infn.it Antonia Ghiselli (CNAF) antonia.ghiselli@cnaf.infn.it Andrea Guarise (TO) andrea.guarise@to.infn.it (collegato in video conferenza) Enrico Fasanelli (LE) enrico.fasanelli@le.infn.it (collegato in video conferenza) Zhen Xie (PI) zhen.xie@pi.infn.it (collegata in video conferenza) Flavia Donno (PI) flavia.donno@pi.infn.it (collegata in video conferenza) Alessandro Spanu (Roma1) alessandro.spanu@roma1.infn.it (collegato in video conferenza) Agenda: - Stato delle distribuzioni (F. Donno, Z. Xie) - Software repository per le distribuzioni (L. Fonti) - Lavori sul GIS (G. Lo Biondo, G. Vita Finzi, E. Fasanelli, F. Semeria, A. Gianoli) - Stato del documento sulle informazioni di una farm pubblicate nel GIS - Web tools per OpenLDAP per "gestione gruppi" (C. Rocca) - Test con kerberos (F. Prelz) - Test con GRAM API (F. Giacomini) - Test con MPICH-G2 (R. Alfieri) - Script Globus per LSF (M. Biasotto) - Test con globusftp (L. Gaido) - Test con replica management tools (A. Domenici) - Execution benchmark (Torino *) - Scrittura report conclusivo La riunione, prevista per le 11.00, inizia alle ore 11.45 a causa di problemi con i collegamenti esterni in video conferenza. Sgaravatto introduce il meeting affermando che il WP puo' considerarsi esaurito e manca solo la stesura del report conclusivo. Obiettivo della presente riunione e' quello di fare una "short overview" delle attivita' in corso e di coordinare la scrittura del report conclusivo. 1) F. Donno e Z. Xie: "Stato delle distribuzioni" Donno e Xie dichiarano che il toolkit di installazione v1.3 e' quasi pronto, sia per cio' che riguarda la procedura di upgrading da versioni precedenti sia per quella di installazione da scratch. La versione del toolkit conterra' GDMP v1.2 e la patch fatta circolare fa Prelz per fissare il problema del memory leak nel GRAM. Ci sara' anche gli script di Rocca sulle CRL e le procedure "certpublish" e "certretrieve". La versione del toolkit non conterra' invece Perl e sara' disponibile per Linux RH6.1 e Sun Solaris 2.6. Prelz esprime perplessita' sulla presenza della procedura di upgrading e suggerisce di installare la v1.3 da zero. Dalla discussione che ne segue si conviene di lasciare la procedura di upgrading solo per gli "expert users" e suggerire l'installazione da zero per tutti gli altri, previo ovvio backup dei file di configurazione locali modificati. Donno e Xie dichiarano che la versione 1.3 del toolkit di installazione sara' pronto entro una settimana e accettano il suggerimento di pubblicizzare la disponibilita' della patch sul GRAM sin da subito. Donno poi riporta brevemente sul lavoro, in corso all'interno del Globus Team, sulla distribuzione del software e del quale e' venuta a conoscenza durante la sua permanenza ad Argonne. L'idea del Globus Team e' quella di suddividere il package in 70-75 pacchetti diversi e singolarmente selezionabili. Si vuole inoltre fornire un ambiente di sviluppo per gli sviluppatori dei vari pacchetti e fare un grosso uso di "shared libraries" per ridurre i tempi di compilazione. Il tempo stimato per la ristrutturazione, riferisce Donno, e' di 6 mesi per 11 persone. 2) L. Fonti: "Software repository per le distribuzioni" Fonti riferisce che la distribuzione del toolkit di installazion puo' essere effettuata dall'URL: http://www.infn.it/grid/dist.html Nella pagina e' anche presente la licenza INFN per il software. Quando un utente sceglie la versione del software che vuole "scaricare" si accede automaticamente alla "form" di registrazione. Chiunque puo' accedere al sito ed esiste un cookie che fa si' che, nell'arco di 24 ore, uno possa prelevare il toolkit senza doversi registrare tutte le volte. Si conviene di chiudere con delle ACL la cella AFS che contiene le distribuzioni ai siti NON "infn.it" e di mettere un link alla pagina di accesso summenzionata nella home page del progetto: http://www.infn.it/grid. 3) "Lavori sul GIS" Vita Finzi comunica che il laureando di Ferrara che si stava occupando dei test non e' stato disponibile nell'ultimo mese. Gianoli comunica che a Ferrara il "quantum grid" e' stato ricevuto in corrispondenza delle festivita' natalizie ed e' installato e funzionante solo da qualche giorno. Si conviene di usare, per la scrittura del report finale, le conclusioni tratte da Lo Biondo nel documento da lui preparato al riguardo. E' opinione comune, comunque, che il GIS di Globus, nella sua implementazione attuale, sia insufficiente e vada ristrutturato completamente. Lo Biondo dice altresi' che occorre uno script che prenda le informazioni fornite da Globus e "popoli" il Netscape LDAP Server che e' stato acquistato dall'INFN. Vita Finzi assicura il coordinamento dei lavori sul GIS dopo che Lo Biondo lascera' il progetto. 4) "Stato del documento sulle informazioni di una farm pubblicate nel GIS" Biasotto e Sgaravatto ricordano lo stato del documento che hanno fatto circolare nelle scorse settimane sulle informazioni di una farm che dovrebbero essere pubblicate sul GIS. Forte riporta sul lavoro da lui fatto sullo studio di PBS come job-manager ed espone i problemi avuti nella comprensione/interpretazione dell'assegnazione "resources_assigne.nodect=-1". Chierici si propone di aiutare Forte nella soluzione del problema e Forte si fa carico di scrivere la parte del documento relativa a PBS. 5) C. Rocca: "Web tools per OpenLDAP per "gestione gruppi"" Rocca riporta di aver testato una decina di pacchetti diversi che permettono di interfacciarsi e modificare i dati contenuti in un server LDAP. La sua raccomandazione e' di usare LDAP Browser Editor. Il programma e' scritto in JAVA e supporta SSL. E' scritto da uno degli sviluppatori di Globus. Rocca fa pure una dimostrazione del funzionamento del programma. Nella discussione che segue si conviene di invitare Cecchini, in qualita' di CA Manager a "popolare" al piu' presto il direttorio LDAP. 6) F. Prelz: "Test con kerberos" Prelz comunica di avere scritto un documento sui test che egli ha effettuato con kerberos. Il documento e' reperibile all'URL: http://www.mi.infn.it/~prelz/globus/globus_and_kerberos.html Prelz conclude che, al momento, l'accesso con Globus ad AFS e' possibile ma e' insicuro, inadatto e non scalabile per Grid. Ore 13.45: si interrompe per il pranzo. La riunone riprende alle 15.15. 7) F. Giacomini: "Test con GRAM API" Giacomini comunica che c'e' un tutorial disponibile nel sito di Globus per il test/studio delle API dei seguenti servizi: - "common services" (*) - security (*) - i/o - gram (client (*), myjob, jobmanager) - duroc - gass - ldap - rsl (*) - nexus Giacomini riporta di aver effettuato dei test solo sui servizi contrassegnati da (*). Dichiara che la documentazione a riguardo e' molto scarsa e che spesso, specialmente per rsl, la sola fonte di aiuto e' lo studio del codice stesso. Dichiara inoltre che alcune parti (specialmente le funzioni job_start_time() e job_check()) esistono come API ma non sono state implementate. 8) R. Alfieri: "Test con MPICH-G2" Alfieri riporta sui risultati dei test effettuati su LAN e su WAN a Parma e Padova con MPICH-G2. I risultati indicano che MPICH-G2 funziona meglio con pacchetti di dati di grosse dimensioni e peggiora al diminuire della dimensione dei pacchetti. Alfieri riporta pure la presenza di un errore in uno script che si verifica con MPICH-G2 e non con MPI. 9) M. Biasotto: "Script Globus per LSF" Biasotto dichiara di aver quasi ultimato la scrittura dello script che effettua il calcolo dei "free nodes" di una coda di LSF su cui si vuole fare una sottomissione. Occorre solo il calcolo del numero effettivo di CPU libere. Barbera e Sgaravatto si offrono di testare il lavoro di Biasotto a Catania e a Padova appena questo sara' ultimato e reso disponibile. 10) L. Gaido: "Test con globusftp" Gaido denuncia un rallentamento nell'attivita' dei test dovuto a problemi di omogeneizzazione delle versioni dei vari pacchetti software da utilizzare tra i vari siti impegnati nella sperimentazione (CNAF, PD, PI, TO e NA). Gaido dichiara che adesso in ogni sito e' stato approntato un PC dedicato opportumante configurato. Le note sull'installazione del software sono reperibili all'URL: http://www.to.infn.it/grid/gridftp/gridftp_install.txt Gaido comunica altresi' che test preliminari hanno fornito un transfer rate di circa 800 kB/s per file di 38 MB trasferiti tra Padova e Torino. I programmi esempio connect.c e listen.c possono essere trovati all'URL http://www.globus.org/datagrid/deliverables/globus_io/examples.html anche se, dichiara Gaido, danno problemi in fase di compilazione e link. Prelz suggerisce di esaminare il Makefile del GRAM di Globus. Gaido conclude dicendo che test sistematici partiranno dal 15 gennaio in un ambiente omogeneo. 11) A. Guarise: "Execution benchmark" Guarise riporta i risultati dei test eseguiti con il programma FBP v. 0.3. Guarise dichiara di avere osservato dei transfer rate molto bassi e a volte dei problemi di rete che hanno causato l'interruzione dell'esecuzione del programma con il codice di errore 139. Tale errore si e' verificato con file di dimensioni maggiori di 40 MB, non solo a Torino ma anche a Padova e Milano. Sono stati osservati transfer rate compresi tra 700 kB/s e 1 MB/s in LAN a 100 Mb/s. Guarise conclude dicendo che i risultati saranno al piu' presto resi disponibili su web. 12) "Test con replica management tools" Non c'e' nessuno che riporta sul punto in Agenda. 13) "Scrittura report conclusivo" Le proposte avanzate da Sgaravatto circa la struttura del documento, i coordinatori dei vari capitoli, l'editor ed i tempi di realizzazione vengono discusse. Alla fine viene approvato quanto segue: Struttura del report ==================== Ch. 1 - Introduction Ch. 2 - Globus deployment and installation tools INFN-GRID releases Software repository per distribuzioni Info su globus deployment (dove, quante macchine, che configurazioni,...) Ch. 3 - Security Valutazione GSI INFN CA "Gestione" del grid-mapfile Test con kerberos Distribuzione CRL Ch. 4 - Information Service Valutazione GIS Configurazione GIS per INFN Tool per browsing GIS Test di scalabilita` e performance Tool MRTG per monitor server Integrazione schema di default con altre info Netscape LDAP server come top level GIIS Review informazioni "raccolte" dal GRIS Ch. 5 - Resource Management Valutazione GRAM Test con Condor, LSF, PBS Condor-G e GlideIn Valutazione RSL Test GRAM API GRAM & GIS Test MPICH-G2 Test produzione CMS-Alice Ch. 6 - Data Access and Migration Globusftp Replica management tools GASS ??? Ch. 7 - Other services GEM HBM GARA ??? Ch. 8 - Conclusions Drafter e editor ================ Ch. 1 - Introduction - F. Prelz, M. Sgaravatto Ch. 2 - Globus deployment and installation tools - F. Donno Ch. 3 - Security - F. Prelz Ch. 4 - Information Service - G. Lo Biondo Ch. 5 - Resource Management - M. Sgaravatto Ch. 6 - Data Access and Migration - L. Gaido Ch. 7 - Other services - M. Sgaravatto Ch. 8 - Conclusions - F. Prelz, M. Sgaravatto Editor: F. Prelz ====== Scadenze ======== 11/1/2001 (oggi) Definizione della struttura del documento Assegnazione dei chapter agli autori Scelta dell'editor 28/1/2001 Gli autori producono un primo draft del loro chapter, e lo inviano a globus@infn.it 4/2/2001 Deadline per inviare feedback sul primo draft 11/2/2001 Gli autori producono un secondo draft, e lo inviano all'editor 20/2/2001 L'editor produce una prima versione del documento, e lo invia a globus@infn.it 23/2/2001 Deadline per mandare feedback all'editor 28/2/2001 L'editor produce la versione definitiva Si conviene che la formattazione del documento verra' fatta in LaTeX e che l'output sara' in formato PDF. La lingua sara' l'inglese. Dopo di cio', esaurita l'Agenda, la riunione si scioglie alle ore 17.00 circa. Notekeeper: R. Barbera