Articles of paralelismo de

Ejecute varios scripts y continúe hasta que todos los scripts estén listos

mi pregunta es, ¿puedo ejecutar varios scripts a la vez? Tengo acceso a un clúster con 32 cpus pero al mismo time tengo 900 scripts. Ahora lo que me gustaría hacer es poner cada secuencia de commands en una queue y, una vez que se haya terminado, iniciar otra. No estoy tratando de hacer un […]

¿Cómo transfiero rápidamente un file grande (~ 16 GB)?

¿Cómo transfiero rápidamente un file grande (~ 16 GB) de un punto de assembly a otro en 80 serveres? Los puntos de assembly están en particiones separadas. Intenté ansible (con la opción -f 100) y un script bash con rsync en un bucle, pero ambos methods son muy lentos, y ninguno parece elegante.

En un Makefile, ¿cómo puedo comenzar a procesar un file antes de que termine?

Estoy usando make para automatizar un proyecto que genera muchos datos, luego lo procesa, con recetas más o less así: processed-data: data data-processing-program $^ > $@ data: output-data > $@ Los data tienen su propia receta, porque varios otros objectives también lo procesan . El output-data -program se ejecuta por un time. Una vez hecho, […]

bash multi-hilos ayudan a requerir

Tengo una list de direcciones IP y necesito verificar los puertos abiertos usando nmap . Hasta ahora, mi script es así: #!/bin/bash filename="$1" port="$2" echo "STARTING NMAP" while IFS= read -r line do nmap –host-timeout 15s -n $line -p $2 -oN output.txt | grep "Discovenetworking open port" | awk {'print $6'} | awk -F/ {'print […]

hacer un bucle paralelo

Cómo hacer que este bucle sea paralelo: for a in $(seq 1 3) do for b in 0.1 0.2 do echo process with a=$a and b=$b & done done ¿está en paralelo o no? De hecho, quiero ejecutar el echo process with a=$a and b=$b instrucción echo process with a=$a and b=$b en paralelo para […]

¿Cómo puedo contar el time que necesita systemd para arrancar un objective pnetworkingeterminado y luego graficarlo?

Cuando quería saber cuánto time necesitaba realmente systemd para arrancar el objective pnetworkingeterminado, ¿cómo lo haría? Entonces, ¿es posible crear un gráfico para mostrar qué unidad toma cuánto time inicializar y hasta qué punto se ejecutan en paralelo?

Genera múltiples processs con un solo command

¿Hay alguna manera de crear, por ejemplo, 10 instancias de un process (por ejemplo, sí) con un solo command? $instantiate 10 yes

Pipeline como command paralelo

Normalmente, las tuberías en Unix se utilizan para conectar dos commands y usar la salida del primer command como la input del segundo command. Sin embargo, recientemente se me ocurrió la idea (que puede no ser nueva, pero no encontré Google) de utilizar pipeline para ejecutar varios commands en paralelo, como este: command1 | command2 […]

Estrategias para build un sistema de computación distribuida con sistemas híbridos Mac y Linux

Quiero build un sistema de computación distribuida para ejecutar Matlab, C y otros lenguajes de progtwigción para la informática científica. Ahora tengo varias máquinas Mac viejas con Lion Mac OS instalado que funcionan como serveres web o computadoras personales. También tengo una última máquina 16-Xeon-core para instalar con Linux. No he decidido qué distribución de […]

¿Puedo forzar a Linux a que arranque sus inicializaciones en paralelo?

Me preguntaba si podría inicializar controlleres, services, etc. (todos estos trabajos lo que Linux hace durante el inicio) en paralelo en lugar de secuencialmente. Quiero networkingucir agresivamente el time de arranque. Sé que algunos services dependen el uno del otro, pero para dar un ejemplo fácil: durante la testing de los dispositivos de networking, también […]