Articles of gnu paralelo

GNU Parallel: secuencia de commands de inicio en cada nodo

¿Hay alguna forma de ejecutar un script de inicio (o desassembly) en cada nodo al usar GNU Parallel? Por ejemplo, deseo distribuir (y equilibrar) muchas tareas de subprocess único entre muchos nodos de múltiples núcleos (específicamente, utilizar PBS para asignar los nodos, de un clúster de HPC compartido). Para cada nuevo nodo, es necesario ejecutar […]

Almacenar resultados de múltiples commands en una position específica en una matriz

La utilidad de parset permite almacenar la salida de commands en una variable o en cualquier matriz. Sin embargo, quiero almacenar la salida en índices de matriz específicos. $ parset arr echo foo {} ::: abc $ echo ${arr[0]} foo a $ echo ${arr[1]} foo b $ echo ${arr[2]} foo c ¿Cómo puedo especificar los […]

Gnu Paralelo: ¿más de uno por CPU?

Si solo tengo dos núcleos, ¿el parallel solo ejecuta dos processs a la vez? Supongo que todavía estoy confundido sobre processs, hilos y núcleos …

¿Por qué se paraliza GNU Parallel?

Estoy aprendiendo GNU paralelo e intenté lo siguiente: $ for i in {1.txt,2.txt}; do time wc -l $i; done 100 1.txt real 0m0.010s user 0m0.000s sys 0m0.010s 10000012 2.txt real 0m0.069s user 0m0.050s sys 0m0.018s Luego rehice el command anterior con el parallel , pero aminoró la velocidad. ¿Por qué? $ for i in {1.txt,2.txt}; […]

Problemas de simultaneidad con GNU paralelo

Mis scripts tienen problemas para ejecutar correctamente las cosas en paralelo GNU. Tengo un sub_script como tal (todas estas son versiones simplificadas): #! /bin/bash input=$1 # input is a date in YYYYMMDD format mkdir -p $input cd $input filename=$input'.txt' echo 'line1' > $filename echo 'The date is: '$input >> $filename Entonces tengo un file multi.sh […]

paralelo –max-procs 4 echo ::: {1..4} no produce salida?

Cuando ejecuto el siguiente command: parallel –max-procs 4 echo ::: {1..4} en mi PC, produce la salida esperada, 1, 2, 3, 4 (en líneas diferentes). Sin embargo, cuando ejecuto el mismo command en otra computadora (que tiene instalado en parallel ), no produce salida. Ambas PC tienen Ubuntu 14.04 instalado (el que funciona con el […]

¿Es posible ajustar el número de subtrabajos para el paralelo GNU después de la invocación?

Si ya comencé un trabajo con GNU paralelo de una manera similar a: $ cat jobs | parallel -j 70 "program {};" ¿Es posible, por ejemplo, mediante alguna señal, ajustar el número de trabajos de este trabajo paralelo? ¿Para que pueda indicar parallel que ahora debería ejecutarse como máximo en 75 subtrabajos?

gnu paralelo sin script de argumento

Lo siento, sé que la respuesta está ahí, pero la syntax se me escapa y esperaba algo de ayuda. Tengo 4 núcleos y 4 files de script de python preprocess0.py , preprocess1.py , preprocess2.py , preprocess3.py . Me gustaría ejecutar estos 4 processs en paralelo usando GNU parallel . No tengo files de input. El […]

¿"Paralelo" – 10 "significa que se ejecutarán exactamente 10 trabajos?

Al especificar la opción –jobs a GNU parallel , ¿qué significa exactamente? Ejecuto: parallel –jobs 10 ./program ::: {1..100} donde el program es una tarea intensiva, y los trabajos son completamente independientes entre sí. {1..100} representa inputs simbólicas para cada tarea. Cuando inspecciono los processs que se ejecutan en la PC, me parece que muchas […]

¿Puedo esperar escalar linealmente con GNU Parallel

Estoy usando GNU Parallel para realizar benchmarking usando 20 núcleos para probar la aceleración en comparación con hacer el mismo trabajo en solo 1 núcleo. ¿Debo esperar un escalado lineal casi completo, es decir, mi cálculo será aproximadamente 20 veces más rápido que si estuviera usando solo un núcleo? Para aclarar, un progtwigdor (por ejemplo, […]