Técnicas de Programación de la Shell de Linux para Administradores

Técnicas de Programación de la Shell de Linux para Administradores

Realizado por
PEDRO LOPEZ SOTO
Dirigido por
FRANCISCO R. VILLATORO MACHUCA y LAWRENCE MANDOW ANDALUZ

DEPARTAMENTO DE LENGUAJES Y CIENCIAS DE LA COMPUTACIÓN
UNIVERSIDAD DE MÁLAGA
MÁLAGA, NOVIEMBRE 2005

Índice de Contenidos
Capítulo 1. Introducción…………………………………………………………………………………………………………….1
1.1. Objetivos del Proyecto ……………………………………………………………………………………………………..1
1.2. Contenidos de la Memoria…………………………………………………………………………………………………3
Capítulo 2. Estudio Histórico y Práctico de la Evolución de las Shells ……………………………………………..5
2.1. UNIX. Un Comienzo………………………………………………………………………………………………………..5
2.2. Shell. Una Evolución………………………………………………………………………………………………………10
2.2.1 Shell Bourne. El Gran ‘Daddy’…………………………………………………………………………………..12
2.2.2 C Shell. El Valor de ser Diferente ……………………………………………………………………………..13
2.2.3 Shell Korn. El Retorno a las Tradiciones ……………………………………………………………………14
2.2.4 Shell POSIX. Adaptándose al Estándar………………………………………………………………………16
2.2.5 Shell Bash. En Busca de la Libertad…………………………………………………………………………..17
2.3. Conclusiones ………………………………………………………………………………………………………………..19
Capítulo 3. Comparativa Funcional de las Shells de Unix……………………………………………………………..21
3.1. Criterios Técnicos………………………………………………………………………………………………………….21
3.1.1 Histórico de Comandos ……………………………………………………………………………………………21
3.1.2 Edición de la Línea de Comandos ……………………………………………………………………………..24
3.1.3 Seguimiento Invisible de Enlaces Simbólicos ……………………………………………………………..25
3.1.4 Completado de Nombres de Ficheros, Comandos, Usuarios, Hosts y Variables ………………26
3.1.5 Facilidades para el uso del Prompt de Usuario…………………………………………………………….30
3.1.6 Evaluación de Expresiones Aritméticas y Lógicas……………………………………………………….33
3.1.7 Manejo de Variables………………………………………………………………………………………………..40
3.1.8 Sentencias de Control de Flujo de la Ejecución …………………………………………………………..47
3.1.9 Redirección de Entrada y Salida. Pipes ………………………………………………………………………50
3.1.10 Funciones………………………………………………………………………………………………………………54
3.1.11 Shells Libres …………………………………………………………………………………………………………..55
3.1.12 Diferencias Entre Shell Posix y Shell Korn…………………………………………………………………56
3.2. Conclusiones ………………………………………………………………………………………………………………..57
Capítulo 4. Técnicas Básicas de la Programación Shell…………………………………………………………………61
4.1. Comenzando a Crear un Script…………………………………………………………………………………………61
4.1.1 Ejecutar un Script ……………………………………………………………………………………………………63
4.1.2 Comentarios…………………………………………………………………………………………………………..66
4.1.3 Uso de Variables en un Script. Arrays. Variables Especiales ………………………………………..66
4.2. Comunicación con un Script ……………………………………………………………………………………………72
4.2.1 Argumentos de un Script ………………………………………………………………………………………….72
4.2.2 Sentencia read………………………………………………………………………………………………………73
4.2.3 Opciones y Argumentos con getopts……………………………………………………………………..74
4.3. Variables. Aritmética, Lógica y Cadenas …………………………………………………………………………..78
4.3.1 Aritmética y Lógica …………………………………………………………………………………………………78
4.3.2 Manejo de Cadenas………………………………………………………………………………………………….78
4.4. Condiciones………………………………………………………………………………………………………………….79
4.4.1 Cortocircuitos …………………………………………………………………………………………………………79
4.4.2 Condicional if……………………………………………………………………………………………………….81
4.4.3 Condicional case…………………………………………………………………………………………………..82
4.5. Bucles ………………………………………………………………………………………………………………………….84
4.5.1 while y until …………………………………………………………………………………………………….84
4.5.2 for………………………………………………………………………………………………………………………85
4.5.3 select………………………………………………………………………………………………………………..87
4.5.4 break y continue………………………………………………………………………………………………89
4.6. Funciones …………………………………………………………………………………………………………………….89
4.6.1 Definición de Funciones…………………………………………………………………………………………..89
4.6.2 Argumentos y Entorno de Funciones …………………………………………………………………………90
4.6.3 Finalización de Funciones ………………………………………………………………………………………..91
4.6.4 Librerías de Funciones …………………………………………………………………………………………….91
4.7. Flujo de Datos. Entrada y Salida ………………………………………………………………………………………92
4.8. Traps y Señales……………………………………………………………………………………………………………..93
Capítulo 5. Expresiones Regulares, sed y awk …………………………………………………………………………..97
5.1. Introducción …………………………………………………………………………………………………………………97
5.2. Expresiones regulares. grep …………………………………………………………………………………………..97
5.3. Comando sed ……………………………………………………………………………………………………………..100
5.3.1 sustituir ……………………………………………………………………………………………………………….101
5.3.2 Borrar………………………………………………………………………………………………………………….103
5.3.3 Imprimir………………………………………………………………………………………………………………104
5.3.4 Leer…………………………………………………………………………………………………………………….105
5.3.5 Escribir ……………………………………………………………………………………………………………….105
5.4. Comando awk ……………………………………………………………………………………………………………..106
5.4.1 Procesamiento de líneas en awk………………………………………………………………………………107
5.4.2 Campos definidos dentro de una línea………………………………………………………………………108
5.4.3 Operadores en los patrones……………………………………………………………………………………..109
5.4.4 Procesamiento pre-entrada y post-entrada…………………………………………………………………109
5.4.5 Impresión de valores con awk. Salida formateada……………………………………………………..110
5.4.6 Variables……………………………………………………………………………………………………………..111
5.4.7 Operadores y funciones ………………………………………………………………………………………….111
5.5. Programas sed y awk…………………………………………………………………………………………………..112
Capítulo 6. Aplicaciones para administración con la Shell Bash …………………………………………………..115
6.1. Análisis del Número de Argumentos de un Script: argumentos.sh ………………………………116
6.2. Bombardeo con Mails a un Servidor de Correo: mailbomb.sh……………………………………….116
6.3. Backups del Sistema en Cdrom: cdbackup.sh……………………………………………………………..117
6.4. Grabación en cd de una Imagen de Cdrom en formato .iso: grabacd.sh………………………….119
6.5. Representación de un Cursor en Pantalla: cursor.sh…………………………………………………….120
6.6. Ejemplo de uso del Script cursor.sh: usacursor.sh……………………………………………………..121
6.7. Escáner de red: escanea_ip.sh ………………………………………………………………………………..121
6.8. Escáner de red: escanea_ip_2.sh…………………………………………………………………………….122
6.9. Backup y Eliminación de Ficheros log: logrotate.sh…………………………………………………123
6.10. Conversión de Nombres de Ficheros a Caracteres Minúsculas: minusculas.sh………….125
6.11. Desglose de un Nombre Completo de directorio o Fichero en sus Componentes: path.sh126
6.12. Difusión de un Correo a Múltiples Usuarios: broadmail.sh ……………………………………..127
6.13. Desglose de un Fichero de Base de Datos en sus Componentes: cortafichero.sh …….128
6.14. Ejecución de un ftp a una Máquina Remota sin Intervención Manual : ftpremoto.sh ….130
6.15. Renombrado de Ficheros de Imágenes en Formato .jpg: renombra.sh ………………………..131
6.16. Gestión de Paquetes de Instalación en Formato .rpm: maneja_rpm.sh………………………..132
6.17. Petición de Usuario y Contraseña Para Scripts: login.sh …………………………………………..137
6.18. Eliminación de Segmentos de Memoria Compartida en el Sistema: rm_shmem.sh…………138
6.19. Selección de la Shell Para una Sesión Interactiva de Trabajo: selecciona_shell.sh..139
6.20. Agenda Personal: agenda.sh ………………………………………………………………………………….141
6.21. Creación de una Cuenta de Usuario: nuevousuario.sh……………………………………………143
6.22. Listado de los Usuarios de un Sistema: usuarios.sh………………………………………………..145
6.23. Ejemplo de Sentencia getopts: opciones.sh ……………………………………………………….146
6.24. Distribución de Ficheros en Múltiples Servidores: copia_array_remoto.sh …………..147
6.25. Kit Para Implantación de Aplicaciones en Servidores en Cluster: clustertoolkit.sh.148
6.26. Conversión de Ficheros en Formato .lj a Postscript y a Formato Pdf: lj-ps-pdf.sh…….150
6.27. Generación de un Informe de Totales: formatea.awk……………………………………………….151
Capítulo 7. Conclusiones ………………………………………………………………………………………………………..153
BIBLIOGRAFíA……………………………………………………………………………………………………………………….155
Apéndice A. Contenidos del CD adjunto ……………………………………………………………………………………….159

Descarga:

Técnicas de Programación de la Shell de Linux para Administradores

Linux Máxima Seguridad (Edicion Especial) E-BooK en PDF

Libro enfocado para aquellos administradores de sistemas, gestores y usuarios de Linux que deseen proteger servidores y estaciones de trabajo Linux contra intrusiones no autoriazadas y otras amenazas externas para la integridad de sus sistemas. Esta guia exclusiva de la seguridad en Linux la ha escrito un “hacker” con años de experiencia y en ella se identifican los agujeros y fallos de seguridad existente y potenciales, ademas de como solucionarlos.

Continuar leyendo «Linux Máxima Seguridad (Edicion Especial) E-BooK en PDF»

Instalar Varnish en CentOS 5 y CentOS 6

Varnish es un acelerador para HTTP que está causando furor en el mundo del hosting y en general en el mundo Linux. Varnish aparece como alternativa al poderoso Nginx, que durante mucho tiempo fue el rey en cuanto a la optimización a nivel de cache, proxy y balanceo de carga para los servicios web. Varnish además de hacer todo lo que hace Nginx con mejor rendimiento, también tiene algunas característiacs destacables, como por ejemplo:

  • Lenguaje propio VLC, que permite al usuario manipular varnish a su gusto.
  • Concebido desde el comiento para utilizarse en sistemas 64 bits
  • Soporte parcial de ESI
  • No necesita reiniciar para tomar los cambios de configuraciones

La forma de funcionar de Varnish es muy sencilla, pero a la vez efectiva:  se guarda la información de cada request en la memoria virtual y el S.O es quien decide qué es guardado y que es paginado al disco duro. Esto es muy útil para que no se cachee información mientras se mueve al disco duro por otras aplicaciones.

varnish

Cada request desde el cliente genera hilos independientes y una vez se llega al límite de hilos, las nuevas conexiones son puestas en cola y recién a medida que se liberan otras, estas nuevas comienzan a despacharse. Sólo si la cola de peticiones pendientes alcanza un gran límite recién serán descartadas.

Un escenario ideal es tener apache, lighttpd o nginx en el puerto 8080 y Varnish en el 80 para actuar como proxy delante del webserver. En fin, ahora que ya tenemos una ideal general de como funciona, vamos a la parte divertida:

Para instalar Varnish vamos a seguir los siguientes pasos:

Si bien este repo es para RHEL/CentOS 5.x, funciona perfecto en la versión CentOS 6.x.

Instalamos el repositorio:

 rpm --nosignature -i http://repo.varnish-cache.org/redhat/varnish-3.0/el5/noarch/varnish-release-3.0-1.noarch.rpm 

Instalamos Varnish

yum install varnish 

Lo configuramos para iniciar al arranque del sistema:

chkconfig varnish on 

Iniciamos Varnish

service varnish start 

Para comprobar si está funcionando, basta con tipear:

service varnish status

Finalmente, resta configurar el servicio desde dos archivos clave:

/etc/sysconfig/varnish, para configurar el servicio a nivel general

/etc/varnish/default.vlc, para configurar las directivas propias que afectarán a cada sitio web.

 

Más información en la web oficial de Varnish

Error en Qmail con demasiados procesos /var/qmail/bin/relaylock

qmail-logo

Si detectectamos en el servidor Linux con CentOS y notas que tienes muchos procesos del tipo:
/var/qmail/bin/relaylock /var/qmail/bin/qmail-smtpd /var/qmail/bin/smtp_auth /var/qmail/bin/

Es posible que el servidor no resuelva correctamente las DNS de los dominios, por lo cual el sistemas de listas negras tarda mucho en cerrarse y se acumulan los procesos.
Continuar leyendo «Error en Qmail con demasiados procesos /var/qmail/bin/relaylock»

Instalar Ubuntu Server sobre RAID 1 software

Un pequeño manual o reseña como lo querrais llamar… de cómo instalar Ubuntu Server en un sobre un RAID creado por software, en una máquina con dos discos iguales. Esta manual implica particionar y formatear discos duros, lo que destruye todos los datos. Por favor no la uses si no sabes lo que estás haciendo.

Página 1 – Particionar los discos duros

Instalar Ubuntu Server  (vale perfectamente para todas las version de Ubuntu Server) sobre un arreglo RAID creado por software es fácil, pero la interfaz puede ser confusa. La instalación la haré sobre una máquina virtual con dos discos duros idénticos de 8 GB cada uno.

Ubuntu installer 1

La instalación es totalmente standard hasta el momento de particionar los discos duros. En ese momento hay que decidir cuánto espacio dedicarle a cada función. En esta máquina de prueba usaré dos arreglos RAID; uno para la memoria virtual y otro para los datos. El de memoria virtual será de 512 MB (igual a la cantidad de RAM en este servidor) y el resto estará dedicado a una partición única.

Esta es la primera pantalla del particionador (nótense los dos discos iguales):

Ubuntu partitioner 1Acá escogeré la tercera opción, «Manually edit partition table». El particionador manual se ve así:

Ubuntu partitioner 2

Primero editaré el primer disco (/dev/sda en este caso). El instalador de Ubuntu pregunta si estoy seguro de crear una tabla de partición en blanco en el disco duro. Contestaré «Yes».

Ubuntu partitioner 3Ahora aparece el espacio vacío en el particionador:

Ubuntu partitioner 4Cuando selecciono el espacio vacío, Ubuntu pregunta qué deseo hacer con él.

Ubuntu partitioner 5Respondo «Create a new partition» y me pide que le diga cuánto espacio dedicarle a la partición. Ofrece usar todo el espacio (8.6 GB, en este caso).

Ubuntu partitioner 6Como mi idea es usar 0.5 GB para memoria virtual, bajo lo que ofrece a 8.1 GB

Ubuntu partitioner 7El tipo de partición es «Primary»

Ubuntu partitioner 8y deseo que lo cree al principio del disco duro.

Ubuntu partitioner 9Tras crear la partición, debemos decirle a Ubuntu el rol que esta tendrá. Por default, Ubuntu ofrece usar la partición para el sistema operativo.

Ubuntu partitioner 10

En este caso, queremos dedicarle la partición a un arreglo RAID. Por lo tanto, muevo el cursor a «Use as:» y aprieto Enter. En la pantalla siguiente se puede elegir el rol de la partición:

Ubuntu partitioner 11

Elige «physical volume for RAID» y presiona Enter. El rol de la partición cambia para confirmar:

Ubuntu partitioner 12Falta decirle que esta partición es booteable. Presiona enter sobre «bootable flag».

Ubuntu partitioner 13Esta partición está lista. Presiona «Done setting up the partition».

Ubuntu partitioner 14Ahora el disco duro tiene una partición creada, y espacio libre. Crearemos otra partición primaria en el resto del espacio. El uso será physical volume for RAID, no booteable. Presiona Enter sobre «FREE SPACE» y sigue los mismos pasos de nuevo. Recuerda aceptar usar todo el espacio restante, y cambiar el rol de la partición a «physical volume for RAID». Cuando termines, la parte relevante de la ventana principal del particionador debiera verse más o menos así (como se vea exactamente dependerá de tus discos duros):

Ubuntu partitioner 15

Ahora debes repetir exactamente el mismo proceso con el segundo disco duro. Los tamaños de las particiones deben ser idénticos. Cuando termines la ventana principal del particionador debiera verse así:

Ubuntu partitioner 16

Ahora es el momento de crear los arreglos RAID

Para crear los dispositivos RAID, escoge «Configure software RAID» (la opción de más arriba en el menú principal del particionador).

Ubuntu partitioner 17Antes de continuar, debemos confirmar que queremos guardar los cambios a las tablas de partición. Responde «Yes».

Ubuntu partitioner 18

Tras guardar los cambios aparece el menú de RAID por software. Crearemos dos dispositivos MD, uno para los datos y otro para la memoria virtual. Escoge «Create MD device».

Ubuntu MD 1

Lo primero que Ubuntu quiere saber es qué tipo de arreglo RAID estamos creando. En este caso es RAID 1. Escoge RAID 1 y presiona Enter.Ubuntu MD 2

Luego debemos decirle cuántos dispositivos serán parte de este arreglo. En este caso, usaremos 2.

Ubuntu MD 3Luego hay que decirle cuántos de éstos estarán en standby por si hay fallas (los «spares»). En este caso, 0, que es lo que ofrece por default (ya que el mínimo de dispositivos para un RAID 1 son 2, todos estarán ocupados).

Ubuntu MD 4

Por último hay que escoger los dispositivos que serán parte del arreglo. En este caso elegí la primera partición de cada disco (/dev/sda1 y /dev/sdb1).

Ubuntu MD 5Una vez que el arreglo está creado, el instalador muestra la pantalla inicial de la configuración de RAID de nuevo.

Ubuntu MD 1Repite los mismos pasos para crear un segundo dispositivo MD, RAID 1, con las otras dos particiones.

Cuando termines selecciona «Finish» y volverás a la pantalla inicial del particionador, donde habrá dos dispositivos nuevos: los discos duros virtuales que representan los arreglos RAID.

Ubuntu Partitioner with MD devicesLos dispositivos RAID se comportan como discos duros, y también deben ser particionados.

Página 3 – particionar los arreglos RAID

Escoge el primer dispositivo RAID, el de más capacidad (en este ejemplo, 8.1 GB) y presiona Enter. El particionador, por default, no le asigna rol.

Ubuntu partioning MD device 1Escoge «Use as: do not use» y presiona Enter. Elige usar un sistema de archivos Ext3:

Ubuntu partioning MD device 2y presiona Enter. Aún falta un paso más, decirle al instalador que queremos usar esta partición para el sistema de archivos. Mueve el cursor a «Mount point: none» y presiona Enter.

Ubuntu partioning MD device 3Dile que quieres usar esta partición para «/ – the root file system»

Ubuntu partioning MD device 4y, por último, confirma que terminaste de configurar esta partición. Apreta Enter sobre «Done setting up the partition». La partición debiera verse así antes de confirmar:

Ubuntu partioning MD device 5En la pantalla principal del particionador, los cambios están guardados (dice en forma muy compacta que será un sistema de archivos ext3, para montar /). Es hora de particionar el otro arreglo RAID.

Ubuntu partioning MD device 6

Escoge el RAID #1 y presiona Enter. Al igual que en el caso anterior, el instalador no le da un uso por default. Escoge «Use as: do not use» y presiona Enter.

Ubuntu partioning MD device 7

Elige «swap area» para este disco y presiona Enter.

Ubuntu partioning MD device 8Una vez que la partición esté configurada, elige «Done setting up the partition» y el particionador mostrará los dos dispositivos RAID con su configuración lista:

Ubuntu partioning MD device 9

Mueve el cursor hasta el final de la pantalla del particionador y elige «Finish partitioning and write changes to disk.»

Ubuntu partioning MD device 10Una vez más debemos confirmar los cambios a las tablas de partición:

Ubuntu partioning MD device 11Elige «Yes» y presiona Enter. El resto de la instalación de Ubuntu server es normal y no tiene relación con los discos. Si todo sale bien, el sistema bootea correctamente desde su arreglo RAID.