5-servicios de sistema

V.SERVICIOSDELSISTEMA

NISLDAPNTP

CursoIntroduccinalclusteringyvirtualizacindesistemasAsociacindeProfesoresdeInformticadeAragn(APIA)

NIS

NetworkInformationService

ProtocolodeServiciosdeDirectorioclienteservidor

DesarrolladoporSunMicrosystems

Originalmente:YellowPages

OfreceinformacinadicionalalDNS

Distribuyeficherosdeinformacinalosnodosdeunared.Ej./etc/passwd

Ventaja:MuySimple


NIS

/etc/nsswitch.conf

passwd:compatgroup:compat

hosts:nisfiles

ServerDaemon:ypserv

ClientDaemon:ypbind


LDAP

ProtocoloLigerodeAccesoaDirectorio

ParecidoaunaBD

Undirectorioesunconjuntodeobjetosconatributosorganizadosdeformajerrquica

Ej.DirectorioTelefnico

Personas,unidadesorganizacionales,documentos...

Permitealmacenarinformacindeautenticacin


LDAP

OriginalmentefuecreadoparaaccederalosdirectoriosX.500medianteelusodeunprotocolosimple(TCP/IP)

X.500utilizabalapilaOSI(mascomplicado)

LaversinactualLDAPv3

Resumen:

Protocolodeaccesounificadoaunconjuntodeinformacinsobreunared

Desventaja:MuyComplejo


Ejemplo

dn:cn=JohnDoe,dc=example,dc=comcn:JohnDoegivenName:Johnsn:DoetelephoneNumber:+18885556789telephoneNumber:+18885551232mail:[email protected]:cn=BarbaraDoe,dc=example,dc=comobjectClass:inetOrgPersonobjectClass:organizationalPersonobjectClass:personobjectClass:top


NTP

NetworkTimeProtocol

ProtocoloparasincronizarlosrelojesdeunSistemadeInformacin

UtilizaUDPcomocapadetransporte

Diseadopararesistirlatenciavariable

NTPv4,sincronizadoconunadiferenciamximade10ms

Enusodesde1985

JerarquadeEstratos


NTP

Estrato1:RelojGPS

Estrato2yss:Derivadosdelacapaanterior

Resolucin2^32(0.233ns)

MuyimportanteenSistemasHPC

/etc/ntp.conf


Preguntas

V.GESTORDERECURSOS

IntroduccinInstalacinConfiguracinCmousarlo


PorquunGestordeRecursos?

Motivacin: Usomsefectivodelosordenadores Usodelosrecursos24h/dia Asignacinderecursosdeacuerdaareglas Cargabalanceada(asignaciondejobsalosnodosmenoscargados)

Objetivo: Elusuarioledicealsistemadebatchelnombredeunscriptespecificandosusnecesidades

ElGestordeRecursosgarantizaqueeltrabajoseejecutarloantesposible


ElproyectoSunGridEngine

DesarrolladoporSunMicrosystems

VersinOpenSource

N1GridEngineVersinComercial

Linux,Windows,Solaris...

OracleGridEngine

ARCO:Accounting&ReportingConsole

InterfazGrfica

DRMAA,JobAPIenC++,java,python...


Instalacin

DescargamosSGE6.1update7dehttp://gridengine.sunsource.net

SeguimoslospasosdeinstalacindeN1GridEngine6InstalationGuide

Instalacincompletaenservidoryseexportapornfsanodosdecomputo

EnlosnodosslosearrancarelclientedeSGE

Paralainstalacindeunclienteesnecesariohaberinstaladoanteriormenteelservidor


Instalacindelservidor

SGE_ROOT=/usr/local/sge

./install_qmaster

Options: ClassicSpooling(/var/sge/spool) Idrange:2000030000 Elrestopordefecto

Paraarrancarmaster: Source/usr/local/sge/default/common/settings.sh /etc/init.d/sgemasterstart


Instalacindelosnodos

Instalamoselclienteenelnodoservidor

SGE_ROOT=/usr/local/sge

./install_execd

Options: ClassicSpooling(/var/sge/spool)

Modificamoselnombredelservidora/usr/local/sge/default/common/act_qmaster

Debepoderresolversemediante/etc/hosts


Tiposdenodos

ExecutionhostNodosdecmputo Administrativehost Todos

Submithost Nodo de login


AadirnodoscomoExecutionhosts

Opcin1:Mediantelainterfazgrfica

Opcin2:Comandos ConfiguramoselnodocomoExecutionhost:

qconfAenodeXX Configuracindelnodo:

QconfAconffilenodeXX

filenodeXX:mailer/admin/sbin/mail_wrapper.shxterm/usr/bin/X11/xtermqlogin_daemon/usr/sbin/in.telnetdrlogin_daemon/usr/sbin/in.rlogindexecd_spool_dir/var/sge/spool


Submithostinstalation

Mquinadelogin

Esunnodoclienteigualquelosnodosdecmputo

Noseconfiguracomoexecutionhost,todoslosusuariosestnenesenodo.

Configuracindesdelainterfazgrfica


Daemons

SGE_QMASTER

SGE_EXECD

SGE_EXECD

SGE_EXECD

SGE_EXECD

SGE_SCHED

SERVERNODOS


QMON:Configurationtool

Configuracion de colas

Configuracin de usuarios

Configuracion Entornos Paralelos

Resource quotas

Configuracion de hosts


Conceptos

HostGroup:Agrupamosdistintostiposdehostsengrupos

Projects:Unusuarioperteneceaunoovariosproyectos

Queue:Formadaporhostgroups;Cadausuarioslopuedemandartrabajosaunanicacola

ACL:Gruposdeusuarios


QueueConfiguration


PolicyConfiguration

3formasdeasignarprioridadalosjobs Override:prioridadesabsolutas Functional:Sepuedeaumentarlaprioridadaunusuariodentrodeungrupo

ShareTree:Eslaqueofrecemsfuncionalidad.Ej.Bajarlaprioridadalosusuariosquemshorasllevanconsumidasenlosltimos30das


PolicyConfiguration


EjemploShareTreeProjectA (Total = 100)

user1 => share 50 => equivalent to 50 %user2 => share 25 => equivalent to 25 %user3 => share 25 => equivalent to 25 %

Half life decay Factor:

Ej. Penalizacin con un factor de 7 das sobre un consumo de 1000:

500 a los 7 das 250 a los 14 das 125 a los 21 das ....


SGEnetwork

master:

1Create~/default/common/hostsfilewith:

node1giganode1node2giganode2... ...

2Restartmaster

slaves:

1Create~/default/common/hostsfilewith:

node1giganode1node2giganode2... ...2Modifyact_qmaster:

lxsrv2giga

3Restartslave


ResorceQuota

DisponibledesdelaversinSGE6.1

Permiteunmejorcontroldelosrecursos

Ejemplo:

{nametestdescriptionlimitamoselusodelacolaAenabledTRUElimitusers!groupAqueues{queueA}toslots=14} RestringeelusodelacolaA,alosusuariosqueno

pertenecenalgrupoAausarunmximode14cores


ResourceQuota


ParallelEnvironment


SGEScript#!/bin/bash

#$o$HOME/tutorial_mpi/sample2/test.outjy#$Naddition#$Mabcd@mydomainmbea#$pege.mpich4

##LoadEnvironmentVariablessourcesetup.mpi64mpich

##Launchtheexecutablempirunnp$NSLOTSmachinefile$TMPDIR/machines$HOME/tutorial_mpi/sample2/addition

##Submitthejob##qsubqRESERVEDPBIFI2010submit_addition.sh


Variablesdeentorno

Tenemosunosscriptsquesirvenparacargarlasvariablesdeentornonecesariasparapoderutilizarlasaplicaciones

arturo@terminus:~>ll/admin/bin/rwxrxrx1rootroot21142008060217:21setup.amberrwxrxrx1rootroot34482008051418:27setup.charmmrwxrxrx1rootroot37892008060317:23setup.gaussianrwxrxrx1rootroot38832008062010:22setup.intelComprwxrxrx1rootroot35262008051418:17setup.intelMKLrwxrxrx1rootroot67312009031713:21setup.mpi


Setup.mpiif["$2"="mpich"];thenMPIR_HOME=/apps/apps$ARCH/mpich$VERSIONP4_RSHCOMMAND=sshif[z"${PATH}"];thenPATH="$MPIR_HOME/bin"elsePATH="$MPIR_HOME/bin:$PATH"fiif[z"${LD_LIBRARY_PATH}"]thenLD_LIBRARY_PATH="$MPIR_HOME/lib"elseLD_LIBRARY_PATH="$MPIR_HOME/lib:$LD_LIBRARY_PATH"fiexportP4_RSHCOMMANDMPIR_HOMEPATHLD_LIBRARY_PATHfi


ColaSCRATCH

Objetivo:Aprovecharhuecoslibresportrabajosdecortaduracin

Estformadaportodoslosnodosdelcluster

Lostrabajosqueselanzanaestacolatienenprioridamnima

Laduracinmximadelosjobses3horas

Puedeutilizarlacualquierusuario


ARCO

AccountingandReportingConsole

BasadoenSQL

sge_qmastergeneradatosencrudo

$SGE_ROOT/$SGE_CELL/common/reporting

Dbwriter:insertaestosdatosenunaBDquepuedeseraccedidamedianteSQL

BDsoportadas(Oracle,MySQL,PostgreSQL)

BasadaenJava


ARCO


Preguntas

5-servicios de sistema

Documents