Articles of paralelismo

¿Es seguro cambiar el tamaño de una partición mientras escribes?

Estoy trabajando en un script para configurar automáticamente los serveres de Amazon Linux. Los creo con discos virtuales de 100 gb, pero la partición principal siempre es de 8 gb. No hay problema, llamo a sudo resize2fs /dev/sda1 al comienzo de la secuencia de commands para expandirla a los 100 gb completos. El process es […]

¿Cómo ejecutar un script en múltiples instancias? (Servidor de Ubuntu)

¿Cómo puedo ejecutar una secuencia de commands en varias instancias en el server de Ubuntu? Por ejemplo, tengo un script de ejecución larga llamado scanner.sh colocado en /usr/bin/ , que deseo ejecutar el script en 10 instancias paralelas. ¿Cómo puedo comenzar las tareas paralelas (y pasarles diferentes banderas / opciones / parameters)? y ¿cómo puedo […]

Scripts de Python paralelos en una máquina remota

Similar a este hilo, tengo una máquina remota con 8 núcleos que quiero usar para ejecutar scripts en paralelo (1 script por core a la vez). Sin embargo, no tengo varias secuencias de commands bash, sino una única secuencia de commands de Python3 que quiero ejecutar con diferentes inputs. Intenté la input en parallel python3 […]

¿Cómo se pueden controlar múltiples processs "seriales" teniendo en count las CPU disponibles?

Supongamos que tiene un file binary que debe ejecutarse en varios files (supongamos que los files están numerados de 1 a N). Cada file debe procesarse haciendo una llamada a este binary (digamos … algo así como md5sum). Cada ejecución saveá el resultado en un file separado. Entonces … si tenemos 1000 files y solo […]

¿Existe una manera simple de limitar el número de processs secundarios que se ejecutan en paralelo?

Tengo un script bash que inicia varios processs rsync en paralelo. Me gustaría limitar el número de processs secundarios simultáneos pero no serializar todo el script. Aquí hay una versión simplificada del guion actual: #!/bin/bash ( flock -n 200 || exit 0 { for f in $(ssh $1 ls /var/images/) do rsync … & done […]

Nueva señal llega mientras la ejecución está en un manejador de señal, ¿cómo decidir cuál es el primero?

Estoy trabajando en una herramienta que maneja una gran cantidad de señales (con diferentes signos) con sigaction() . Necesito manejar el caso, si viene una nueva señal, mientras que el anterior estaba en un manejador de señal. Por lo tanto, necesito ser capaz de manejar la siguiente "stack": flujo normal del process controller de signal1 […]

Usando `sem` para hacer que un script se ejecute en paralelo

Tengo el siguiente script de shell (un liner), que quería usar para identificar directorys que tienen exactamente los mismos contenidos. Lo estoy usando para identificar y eliminar directorys duplicates (secundarios). Cuando trato de ejecutar el mismo script con sem , encuentro No such file or directory errores de No such file or directory . Ejemplo: […]

opción para build paralelamente una aplicación

Estas son las reglas / debian de una aplicación. llamado i-nex . Es una alternativa de CPU-Z para GNU / Linux y tiene un subdirectory Debian con los siguientes files: ┌─[shirish@debian] – [~/games/I-Nex] – [4454] └─[$] ll -r debian -rw-r–r– 1 shirish shirish 296 2016-11-13 02:12 i-nex-library.desktop -rw-r–r– 1 shirish shirish 93 2016-11-13 02:12 gbp.conf […]

Ejecutando un bucle for en paralelo

Tengo una pregunta con respecto a los scripts paralelos de Linux: Context: necesito procesar muchos files .dat Código que tengo hasta ahora: #!/bin/bash #PBS -S /bin/bash # set parallel parameters #PBS -rn #PBS -l walltime=2:00:00 #PBS -l procs=298 #PBS -l pmem=1600m #PBS -m bea #PBS -M myemail@somewhere.com #PBS -N FileName cd /home/user/Data/ # start matlab […]

Copiar carpetas a la vez

Quiero copyr una gran cantidad de carpetas a la vez, not one by one . ¿Es correcto usar el siguiente código? ¿Está ayudando a ejecutar el command cp para todas las carpetas a la vez? #!/bin/bash foreach i in $(cat $in/list.txt); do cp -avr source destination & done ¿Alguna otra idea que pueda hacer que […]