Condor

Condor è un sistema che sfrutta risorse di calcolo distribuite QUANDO ESSE NON SONO UTILIZZATE DAL “PROPRIETARIO” PRINCIPALE della CPU. La presenza di Condor non richiede dunque di allocare nessuna risorsa della macchina ospite in modo permanente (né disco, né CPU, né una struttura di filesystem comune) salvo l’installazione di un servizio di sistema, che occupa pochissime risorse.

Il lavoro in esecuzione su Condor può essere sospeso ed eliminato dal proprietario della macchina ospite in qualunque momento. In tal caso, Condor salva il lavoro fatto fino a quel momento dal processo ospitato e lo inoltra al proprietario del processo.

Howto del Tutorial di Francesco Prelz, 21-22 febbraio 2019:
1) Conceptual introduction: Distributed computing and storage, Opportunistic computing
Practical introduction: available tools, AMICO distributed storage (CEPH), AMICO distributed computing (HTCondor).
(Cluster AMICO: Apparato MIlanese per il Calcolo Opportunistico, Dipartimento di Fisica ed INFN)
Job examples: “Hello world”, File transfer via sandbox, Multiple/parametric job submission and control, File access via Object Storage, Script submission, Object Storage file staging, Interactive Jobs
http://www.mi.infn.it/~prelz/amico_intro/amico_intro.html
2) More complex cases: Common dependences and how to require them, Docker and HTCondor, Parallel jobs (MPI)
http://www.mi.infn.it/~prelz/amico_intro/amico_more.html

Un howto essenziale per sottomettere, monitorare e gestire un job: howto_condor.pdf (download PDF) di Miguel Villaplana, settembre 2017 (Sezione INFN di Milano e Dipartimento di Fisica).

User manual dell’ultima versione di CONDOR:
http://research.cs.wisc.edu/htcondor/manual/latest/

Sito web di HTCondor:
http://research.cs.wisc.edu/htcondor/

User tutorial (maggio 2015):
http://research.cs.wisc.edu/htcondor/HTCondorWeek2015/presentations/MillerK_introtutorial2015.pdf

 

Per ulteriori informazioni e commenti o segnalazioni di problemi inviare un messaggio a

amico-troubles@mi.infn.it
(AMICO: Apparato MIlanese per il Calcolo Opportunistico, Dipartimento di Fisica ed INFN)

Specificamente per l’uso di “condor” (HTCondor):

condor-troubles@mi.infn.it