Articles of uniq

Awk / bash Mantener la línea que contiene solo 3 campos

Así que, básicamente, tengo un file .txt en este formatting, USER:EMAIL:PHONE pero algunas líneas solo tienen USER:EMAIL Quiero extraer solo las líneas que contienen 3 campos, por ejemplo USER:EMAIL:PHONE

imprima las líneas duplicadas solo en los campos 1,2 del file csv

con el siguiente command podemos imprimir las líneas duplicadas desde el file uniq -d string file.txt pero ¿cómo podemos hacerlo en un file csv? Necesitamos imprimir las líneas duplicadas solo en los campos 1,2 del file csv, no include el campo 3 FS – "," por ejemplo: spark2-thrift-sparkconf,spark.history.fs.logDirectory,{{spark_history_dir}} spark2-thrift-sparkconf,spark.history.fs.logDirectory,true spark2-thrift-sparkconf,spark.history.Log.logDirectory,true spark2-thrift-sparkconf,spark.history.DF.logDirectory,true Resultados previstos: spark2-thrift-sparkconf,spark.history.fs.logDirectory,{{spark_history_dir}} spark2-thrift-sparkconf,spark.history.fs.logDirectory,true […]

Ordenar según diferentes campos y valores

Tengo los siguientes datos: AD12 Ar.1 352 AD12 Ar.7 495 AD12 Ar.8 491 AD12 Ar.6 495 AD12 Ar.5 495 AD12 Ar.9 491 AD13 Ar2.1 495 Quiero seleccionar las filas con el valor más alto basado en la tercera columna para los identificadores únicos en la primera columna, pero mantener los duplicates para el valor más […]

Eliminar líneas duplicadas después de comparar el primer patrón y el patrón especial

Estoy buscando un código para eliminar líneas duplicadas después de comparar el primer patrón delimitado por tabuladores: Ejemplo: ( ↦ = pestaña) car ↦ ab ↦ 38/43 car ↦ ca ↦ 2/34 house ↦ ca ↦ 34/34 house ↦ d ↦ 2/3 house ↦ ht ↦ 3/7 boat ↦ as ↦ 5/5 Quiero eliminar las […]

Usar los primeros caracteres al search duplicates

Tengo un set de datos en el file: AAAPOL.0001 AAAPOL.0002 AAAPRO.0001 AAAPRO.0002 AAAPRO.0003 AAAPRO.0004 AAAXEL.0002 AAAJOK.1111 AAAJOK.2222 Solo necesito la primera aparición usando el patrón de los 1er 6 caracteres, así que necesito saber cómo verificar el duplicado / unicidad que solo coincidirá con los 1er 6 caracteres. El command debería devolver esto a partir […]

¿Cómo get el tamaño de las carpetas principales al usar find para search criterios?

Estoy buscando una cierta expresión regular dentro de los nombres de file y estoy tratando de devolver las carpetas principales con sus tamaños de una manera única. Por ejemplo, aquí está el command que esperaba que funcione: find -E . -type f -regex '.*[fF][oO][oO].*' -maxdepth 2 | rev | cut -d'/' -f2- | rev | […]

Manteniendo las líneas repetidas un número de veces

Tengo un file con múltiples columnas y he identificado líneas donde los valores en la columna 3 han sido duplicates. Ejemplo de input: ABC 1 2 APPLE 3 4 PEAR 9 3 LEMON 8 3 ORANGE 8 2 APPLE 3 4 APPLE 9 3 LEMON 8 3 PEAR Puedo contar la frecuencia con la que […]

¿Por qué este command no ordera en function del recuento de uniq?

Tengo líneas en un logging similar a: 2015/11/02-07:55:39.735 INFO failed with ERR_AUTHORIZATION_REQUIRED. (10.10.10.11:61618) is not a trusted source. 2015/11/02-07:55:40.515 INFO failed with ERR_AUTHORIZATION_REQUIRED. (10.10.10.11:51836) is not a trusted source. 2015/11/02-07:55:39.735 INFO failed with ERR_AUTHORIZATION_REQUIRED. (10.10.10.10:61615) is not a trusted source. 2015/11/02-07:55:40.515 INFO failed with ERR_AUTHORIZATION_REQUIRED. (10.10.10.10:51876) is not a trusted source. 2015/11/02-07:55:39.735 INFO failed with […]

¿Por qué la utilidad de uniq me da resultados inesperados?

Así que hay un pepinillo que no puedo entender. Básicamente estoy creando un shellscript que imprimirá varios types de files que tenemos en nuestro directory. Sin embargo, funciona bastante, por alguna extraña razón cuando trato de usar uniq en mi salida, no funciona. Esta es mi salida POSIX shell script, ASCII text executable ASCII text […]

Versión less costosa de `sort -n | uniq -c | orderar -n`

Tengo una list de direcciones IP sin clasificar que necesito contar y orderar por apariciones. Yo uso sort -n | uniq -c | sort -n sort -n | uniq -c | sort -n sort -n | uniq -c | sort -n y eso funciona bien, pero me gustaría algo less costoso … ¿seguro que awk […]