Browse Source

added more readmes

master
Mauricio Collazos 4 years ago
parent
commit
f1b250675c

+ 21
- 0
README.md View File

@@ -0,0 +1,21 @@
1
+# Plantillas para el uso del clúster CIBioFi
2
+
3
+En este repositorio encontrará plantillas para el envío de tareas en el
4
+clúster computacional de CIBioFi.
5
+
6
+- Docker
7
+  - Python
8
+    - [Lectura de archivos desde NFS](docker/python/read)
9
+    - [Escritura de archivos desde NFS](docker/python/write)
10
+    - [Instalación de requerimientos para Python](docker/python/requirements)
11
+
12
+  - R
13
+    - [Lectura de archivos desde NFS](docker/R/read)
14
+    - [Escritura de archivos desde NFS](docker/R/write)
15
+    - [Instalación de requerimientos para R](docker/R/requirements)
16
+- [Cuda](gpu)
17
+
18
+Para solicitar una plantilla específica de un lenguaje de programación,
19
+por favor envíe un correo a [mauricio.collazos@correounivalle.edu.co](mailto:mauricio.collazos@correounivalle.edu.co) 
20
+indicando su caso y solicitando asistencia
21
+

+ 9
- 0
docker/R/read/README.md View File

@@ -0,0 +1,9 @@
1
+# Lectura de archivos desde NFS para R
2
+
3
+En esta plantilla encontrará:
4
+
5
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
6
+- [read.R](read.py): Script con código fuente
7
+
8
+Como no se requiere ninguna instalación externa, no se hace uso de una 
9
+imágen de docker personalizada

+ 0
- 0
docker/R/read/docker_stderror View File


+ 0
- 0
docker/R/read/read_R_err.err View File


+ 0
- 19
docker/R/read/read_R_log.log View File

@@ -1,19 +0,0 @@
1
-000 (050.000.000) 05/10 11:13:59 Job submitted from host: <192.168.27.25:9618?addrs=192.168.27.25-9618&noUDP&sock=1446571_f6bf_4>
2
-...
3
-001 (050.000.000) 05/10 11:14:01 Job executing on host: <192.168.27.17:9618?addrs=192.168.27.17-9618&noUDP&sock=27247_c111_3>
4
-...
5
-005 (050.000.000) 05/10 11:14:02 Job terminated.
6
-	(1) Normal termination (return value 0)
7
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Run Remote Usage
8
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Run Local Usage
9
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Total Remote Usage
10
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Total Local Usage
11
-	49  -  Run Bytes Sent By Job
12
-	67  -  Run Bytes Received By Job
13
-	49  -  Total Bytes Sent By Job
14
-	67  -  Total Bytes Received By Job
15
-	Partitionable Resources :    Usage  Request Allocated 
16
-	   Cpus                 :        0        1         1 
17
-	   Disk (KB)            :       16        1     45972 
18
-	   Memory (MB)          :                 0      1024 
19
-...

+ 0
- 2
docker/R/read/read_R_out.out View File

@@ -1,2 +0,0 @@
1
-[1] hello.world
2
-<0 rows> (or 0-length row.names)

+ 10
- 4
docker/R/requirements/README.md View File

@@ -1,6 +1,14 @@
1
-# Requirements
1
+# Instalación de requerimientos para R
2 2
 
3
-Esta es una plantilla para la creación de una tarea en R que se ejecutará en el sistema de colas de CIBioFi.
3
+En esta plantilla encontrará:
4
+
5
+- [compile_docker_image.sh](compile_docker_image.sh): Un script que construye y despliega la imagen automáticamente al registro de CIBioFi
6
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
7
+- [Dockerfile](Dockerfile): Archivo de construcción de imagen Docker personalizada
8
+- [requirements.R](requirements.py): Script con código fuente
9
+- [install.R](requirements.txt): Archivo de requerimientos de R
10
+
11
+## Instruciones de uso
4 12
 
5 13
 Por favor modifique el archivo `install.R` indicando las librerías necesarias para su script
6 14
 
@@ -23,5 +31,3 @@ Y por último envíe la tarea usando
23 31
 ```bash
24 32
 condor_submit condor.submit
25 33
 ```
26
-
27
-

+ 9
- 0
docker/R/write/README.md View File

@@ -0,0 +1,9 @@
1
+# Escritura de archivos desde NFS para R
2
+
3
+En este plantilla encontrará
4
+
5
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
6
+- [write.R](read.py): Script con código fuente
7
+
8
+Como no se requiere ninguna instalación externa, no se hace uso de una 
9
+imágen de docker personalizada

+ 0
- 27
docker/R/write/docker_stderror View File

@@ -1,27 +0,0 @@
1
-Unable to find image 'r-base:latest' locally
2
-latest: Pulling from library/r-base
3
-0656ed1d7f85: Pulling fs layer
4
-c753f78c1082: Pulling fs layer
5
-9b7d77a2fb38: Pulling fs layer
6
-f759fbe73258: Pulling fs layer
7
-5dbb370e90a3: Pulling fs layer
8
-77bb82bbd854: Pulling fs layer
9
-f759fbe73258: Waiting
10
-77bb82bbd854: Waiting
11
-c753f78c1082: Download complete
12
-9b7d77a2fb38: Verifying Checksum
13
-9b7d77a2fb38: Download complete
14
-f759fbe73258: Verifying Checksum
15
-f759fbe73258: Download complete
16
-0656ed1d7f85: Download complete
17
-5dbb370e90a3: Download complete
18
-0656ed1d7f85: Pull complete
19
-c753f78c1082: Pull complete
20
-9b7d77a2fb38: Pull complete
21
-f759fbe73258: Pull complete
22
-5dbb370e90a3: Pull complete
23
-77bb82bbd854: Verifying Checksum
24
-77bb82bbd854: Download complete
25
-77bb82bbd854: Pull complete
26
-Digest: sha256:d0e69d45a36a60dfc7fd972f68fcbc154071018c79b7f44c28fe0e6032f94233
27
-Status: Downloaded newer image for r-base:latest

+ 0
- 0
docker/R/write/write_R_err.err View File


+ 0
- 19
docker/R/write/write_R_log.log View File

@@ -1,19 +0,0 @@
1
-000 (049.000.000) 05/10 11:02:21 Job submitted from host: <192.168.27.25:9618?addrs=192.168.27.25-9618&noUDP&sock=1446571_f6bf_4>
2
-...
3
-001 (049.000.000) 05/10 11:02:23 Job executing on host: <192.168.27.17:9618?addrs=192.168.27.17-9618&noUDP&sock=27247_c111_3>
4
-...
5
-005 (049.000.000) 05/10 11:02:39 Job terminated.
6
-	(1) Normal termination (return value 0)
7
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Run Remote Usage
8
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Run Local Usage
9
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Total Remote Usage
10
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Total Local Usage
11
-	899  -  Run Bytes Sent By Job
12
-	57  -  Run Bytes Received By Job
13
-	899  -  Total Bytes Sent By Job
14
-	57  -  Total Bytes Received By Job
15
-	Partitionable Resources :    Usage  Request Allocated 
16
-	   Cpus                 :        0        1         1 
17
-	   Disk (KB)            :       17        1     45972 
18
-	   Memory (MB)          :                 0      1024 
19
-...

+ 0
- 0
docker/R/write/write_R_out.out View File


+ 9
- 0
docker/python/read/README.md View File

@@ -0,0 +1,9 @@
1
+# Lectura de archivos desde NFS para Python
2
+
3
+En esta plantilla encontrará:
4
+
5
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
6
+- [read.py](read.py): Script con código fuente
7
+
8
+Como no se requiere ninguna instalación externa, no se hace uso de una 
9
+imágen de docker personalizada

+ 0
- 23
docker/python/read/docker_stderror View File

@@ -1,23 +0,0 @@
1
-Unable to find image 'python:3.7-alpine' locally
2
-3.7-alpine: Pulling from library/python
3
-bdf0201b3a05: Pulling fs layer
4
-59c926705abf: Pulling fs layer
5
-31ca6b067b5a: Pulling fs layer
6
-b18bc4e1c47b: Pulling fs layer
7
-7e244112a44c: Pulling fs layer
8
-b18bc4e1c47b: Waiting
9
-7e244112a44c: Waiting
10
-59c926705abf: Download complete
11
-bdf0201b3a05: Download complete
12
-bdf0201b3a05: Pull complete
13
-59c926705abf: Pull complete
14
-31ca6b067b5a: Verifying Checksum
15
-31ca6b067b5a: Download complete
16
-b18bc4e1c47b: Download complete
17
-7e244112a44c: Verifying Checksum
18
-7e244112a44c: Download complete
19
-31ca6b067b5a: Pull complete
20
-b18bc4e1c47b: Pull complete
21
-7e244112a44c: Pull complete
22
-Digest: sha256:a12943ec653051bab0c3a542cd99ef4b8f9c9253bfcdbfe291cfe5fea2c6008c
23
-Status: Downloaded newer image for python:3.7-alpine

+ 0
- 3
docker/python/read/read.py.save View File

@@ -1,3 +0,0 @@
1
-def read_file():
2
-    with open("/datos/test/dummy_file.txt") as f:
3
-        dataf.read()

+ 0
- 0
docker/python/read/read_python_err.err View File


+ 0
- 19
docker/python/read/read_python_log.log View File

@@ -1,19 +0,0 @@
1
-000 (055.000.000) 05/10 16:53:29 Job submitted from host: <192.168.27.25:9618?addrs=192.168.27.25-9618&noUDP&sock=1446571_f6bf_4>
2
-...
3
-001 (055.000.000) 05/10 16:53:30 Job executing on host: <192.168.27.17:9618?addrs=192.168.27.17-9618&noUDP&sock=27247_c111_3>
4
-...
5
-005 (055.000.000) 05/10 16:53:36 Job terminated.
6
-	(1) Normal termination (return value 0)
7
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Run Remote Usage
8
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Run Local Usage
9
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Total Remote Usage
10
-		Usr 0 00:00:00, Sys 0 00:00:00  -  Total Local Usage
11
-	802  -  Run Bytes Sent By Job
12
-	211  -  Run Bytes Received By Job
13
-	802  -  Total Bytes Sent By Job
14
-	211  -  Total Bytes Received By Job
15
-	Partitionable Resources :    Usage  Request Allocated 
16
-	   Cpus                 :        0        1         1 
17
-	   Disk (KB)            :       17        1     45972 
18
-	   Memory (MB)          :                 0      1024 
19
-...

+ 0
- 2
docker/python/read/read_python_out.out View File

@@ -1,2 +0,0 @@
1
-data for test
2
-

+ 33
- 0
docker/python/requirements/README.md View File

@@ -0,0 +1,33 @@
1
+# Instalación de requerimientos para Python
2
+
3
+En esta plantilla encontrará:
4
+
5
+- [compile_docker_image.sh](compile_docker_image.sh): Un script que construye y despliega la imagen automáticamente al registro de CIBioFi
6
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
7
+- [Dockerfile](Dockerfile): Archivo de construcción de imagen Docker personalizada
8
+- [requirements.py](requirements.py): Script con código fuente
9
+- [requirements.txt](requirements.txt): Archivo de requerimientos de Python
10
+
11
+## Instruciones de uso
12
+
13
+Por favor modifique el archivo `requirements.txt` indicando las librerías necesarias para su script
14
+
15
+```R
16
+django==2.2.0
17
+```
18
+
19
+Modifique luego el archivo requirements.py y coloque aquí su script.
20
+
21
+Por último ingrese al nodo master.cibiofi.univalle.edu.co (192.168.27.25) mediante SSH y copie en su sistema de archivos la plantilla modificada (use SCP o Filezilla)
22
+
23
+Ejecute el script `compile_docker_image.sh`
24
+
25
+```bash
26
+bash compile_docker_image.sh
27
+```
28
+
29
+Y por último envíe la tarea usando
30
+
31
+```bash
32
+condor_submit condor.submit
33
+```

+ 9
- 0
docker/python/write/README.md View File

@@ -0,0 +1,9 @@
1
+# Escritura de archivos desde NFS para Python
2
+
3
+En esta plantilla encontrará:
4
+
5
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
6
+- [write.py](read.py): Script con código fuente
7
+
8
+Como no se requiere ninguna instalación externa, no se hace uso de una 
9
+imágen de docker personalizada

+ 7
- 0
gpu/README.md View File

@@ -0,0 +1,7 @@
1
+# CUDA
2
+
3
+En esta plantilla encontrará:
4
+
5
+- [add.cu](add.cu): Archivo con el código fuente
6
+- [condor.submit](condor.submit): El archivo para enviar la tarea a HTCondor
7
+- [run.sh](run.sh): Archivo que se ejecutará al interior del contenedor como punto de entrada.

Loading…
Cancel
Save