Articles of gnu parallel

Cómo pasar el contenido de un file a una opción / parámetro de una function

Tengo un set de pares de files .txt. En cada par de files, File1 contiene un integer único y File2 contiene muchas líneas de text. En el script que estoy escribiendo, me gustaría usar el integer en File1 para especificar cuántas líneas quitar de la parte superior de File2 y luego escribir esas líneas en […]

¿Copia files en paralelo desde serveres remotos usando algún command en la terminal?

Estoy copyndo files del server remoto a mi server local usando el command below scp. Simplemente escribo el command debajo del terminal y comienza a copyr. scp -r user@machineA:/data/process/* /data/process/ Ahora, dado que en los serveres remotos, tenemos alnetworkingedor de 100 files y cada tamaño de file es de alnetworkingedor de 11 GB, por lo […]

¿Cómo copyr en dos carpetas simultáneamente usando GNU paralelo al generar múltiples hilos?

Estoy tratando de copyr files de machineB y machineC en machineA ya que estoy ejecutando mi script de shell inferior en machineA . Si los files no están en la machineB entonces deberían estar allí en la machineC así que intentaré copyr primero los files de la machineB , si no están en la machineB […]

GNU Parallel y sshpass con list de serveres en un bucle

Con este ciclo, actualizamos secuencialmente todos los serveres (list de serveres = consul members | grep awk {'print $2'} | cut -d ":" -f1 ) el package consul . for i in $(consul members | grep awk {'print $2'} | cut -d ":" -f1) ; do sshpass -p $PASSWORD ssh -oStrictHostKeyChecking=no -q root@$i "hostname && […]

Rsync copyndo todo de nuevo, no deltas

Estoy tratando de sincronizar dos volúmenes montados (1TB) en una sola máquina con rsync. Tal vez este no sea el mejor enfoque, pero estoy tratando de descubrir qué podría estar mal, ya que en cada lanzamiento, rsync copy todo nuevamente, no solo las diferencias. El command exacto es: find . -type f|parallel -v -j 24 […]

Use paralelo para dividir muchos directorys en subdirectorys o paralelizar esta tarea

Quiero paralelizar el spliting de muchos directorys en subdirectorys usando parallel o usando otra herramienta o método. Por ejemplo, tengo 1 000 000 directorys con contenido, pero es demasiado para un directory, así que quiero crear 10 directorys en el directory principal y mover en cada uno de ellos 100 000 directorys originales. También quiero […]

¿Cómo leer el resultado del primer paso del paralelo?

PREGUNTA En bash puede pasar datos paso a paso por datos de tuberías: program1 | program2 | program3 | … O puede hacer esto con variables (dependiendo de cómo funciona cada progtwig): RES1=$(program1) RES2=$(program2 $RES1) … Estoy buscando la contraparte de esos datos de aprobación en paralelo. EJEMPLO Intento convertir mi script "lineal" en un […]

Ejecución de GNU paralelo –sem cuelga en SGE Cluster

Estoy tratando de ejecutar 3 commands en paralelo en un clúster SGE, por ejemplo cmds=("prog 1 2 3" "prog 4 5 6" "prog 7 8 9") for cmd in "${cmds[@]}" do sem -j 3 $cmd done sem –wait Por lo tanto, mis commands se ejecutan y se completan con éxito, lo que infiero de los […]

scp no muestra salida cuando se usa con gnu paralelo

Tengo un script corto que usa scp para copyr files a varios hosts remotos (sí, sé de rdist y rsync ; rdist ellos funciona para algunos de los hosts; ese no es el punto aquí; solo estoy copyndo algunos files no críticos de todos modos). La carne del script se ve así: for h in […]

cómo solucionar un punto muerto (multihilo de un progtwig)

Necesito ejecutar un progtwig 100 veces, unas pocas horas cada una, lo cual está bien cuando lo ejecuto en serie, simplemente lleva mucho time, pero cuando trato de paralelizarlo usando GNU paralelo o simplemente '&' en bash, se cuelga / congela, sospecho que hay un punto muerto, pero no he escrito el progtwig, así que […]