Comandos de HDFS: comandos de Hadoop Shell para administrar HDFS

tutorial-hadoop

Comandos HDFS

En mis blogs anteriores , ya he discutido qué es HDFS, sus características y arquitectura. El primer paso hacia el viaje hacia la capacitación de Big Data y Hadoop es ejecutar comandos HDFS y explorar cómo funciona HDFS. En este blog, hablaré sobre los comandos HDFS con los que puede acceder al sistema de archivos Hadoop.
Entonces, déjeme decirle los comandos HDFS importantes y su funcionamiento que se utilizan con más frecuencia cuando se trabaja con Hadoop File System.

  • fsck

  • Comando HDFS para verificar el estado del sistema de archivos Hadoop.

    Comando: hdfs fsck /

  • ls

  • Comando HDFS para mostrar la lista de archivos y directorios en HDFS.

    Comando: hdfs DFS -ls /

  • mkdir

  • Comando HDFS para crear el directorio en HDFS.

    Uso: hdfs dfs –mkdir / nombre_directorio

    Comando: hdfs dfs –mkdir / new_Pentademy

    Nota: Aquí estamos intentando crear un directorio llamado “new_Pentademy” en HDFS.

  • touchz

  • HDFS Comando para crear un archivo en HDFS con un tamaño de archivo de 0 bytes.

    Uso: hdfs dfs –touchz / directorio / nombre de archivo

    Comando: hdfs dfs –touchz / new_Pentademy / sample

    Aquí estamos intentando crear un archivo llamado “muestra” en el directorio “new_Pentademy” de hdfs con un tamaño de archivo de 0 bytes.

  • du

  • Comando HDFS para verificar el tamaño del archivo.

    Uso: hdfs dfs –du –s / directorio / nombre de archivo

    Comando: hdfs dfs –du –s / new_Pentademy / sample

  • gato

  • HDFS Comando que lee un archivo en HDFS e imprime el contenido de ese archivo en la salida estándar.

    Uso: hdfs dfs –cat / path / to / file_in_hdfs

    Comando: hdfs dfs –cat / new_Pentademy / test

  • texto

  • Comando HDFS que toma un archivo fuente y genera el archivo en formato de texto.

    Uso: hdfs dfs –texto / directorio / nombre de archivo

    Comando: hdfs dfs –text / new_Pentademy / test

    Nota: Aquí la prueba es el archivo presente en el directorio local / home / Pentademy y después de que se ejecute el comando, el archivo de prueba se copiará en el directorio / new_Pentademy de HDFS.

  • copyToLocal

  • HDFS Comando HDFS para copiar el archivo de HDFS al sistema de archivos local.

    Uso: hdfs dfs -copyToLocal

    Comando: hdfs dfs –copyToLocal / new_Pentademy / test / home / Pentademy

    Nota: Aquí la prueba es un archivo presente en el directorio new_Pentademy de HDFS y después de que se ejecute el comando, el archivo de prueba se copiará al directorio local / home / Pentademy

  • poner

  • Comando HDFS para copiar una fuente única o múltiples fuentes del sistema de archivos local al sistema de archivos de destino.

    Uso: hdfs dfs -put

    Comando: hdfs dfs –put / home / Pentademy / test / user

    Nota: El comando copyFromLocal es similar al comando put, excepto que la fuente está restringida a una referencia de archivo local.

  • obtener

  • Comando HDFS para copiar archivos de hdfs al sistema de archivos local.

    Uso: hdfs dfs -get

    Comando: hdfs dfs –get / user / test / home / Pentademy

    Nota: El comando copyToLocal es similar al comando get, excepto que el destino está restringido a una referencia de archivo local.

  • contar

  • Comando HDFS para contar el número de directorios, archivos y bytes en las rutas que coinciden con el patrón de archivo especificado.

    Uso: hdfs dfs -count

    Comando: hdfs dfs –count / user

  • rm

  • Comando HDFS para eliminar el archivo de HDFS.

    Uso: hdfs dfs –rm

    Comando: hdfs dfs –rm / new_Pentademy / test

  • rm -r

  • Comando HDFS para eliminar todo el directorio y todo su contenido de HDFS.

    Uso: hdfs dfs -rm -r

    Comando: hdfs dfs -rm -r / new_ePentademy

  • cp

  • Comando HDFS para copiar archivos desde el origen al destino. Este comando también permite múltiples fuentes, en cuyo caso el destino debe ser un directorio.

    Uso: hdfs dfs -cp

    Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

    Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

  • Comando HDFS para mover archivos desde el origen al destino. Este comando también permite múltiples fuentes, en cuyo caso el destino debe ser un directorio.

    Uso: hdfs dfs -mv

    Comando: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • borrar

  • Comando HDFS que vacía la papelera.

    Comando: hdfs DFS -expunge

  • rmdir

  • Comando HDFS para eliminar el directorio.

    Uso: hdfs dfs -rmdir

    Comando: hdfs dfs –rmdir / user / hadoop

  • uso

  • Comando HDFS que devuelve la ayuda para un comando individual..

    Uso: hdfs dfs -usage

    Comando: hdfs dfs -usage mkdir

    Nota: Al usar el comando de uso, puede obtener información sobre cualquier comando.

  • Ayuda

  • Comando HDFS que muestra ayuda para un comando dado o todos los comandos si no se especifica ninguno.

    Comando: hdfs dfs -help

    Este es el final del blog de comandos de HDFS, espero que haya sido informativo y haya podido ejecutar todos los comandos. Para obtener más comandos HDFS, puede consultar la documentación de Apache Hadoop aquí.

    Ahora que ha ejecutado los comandos HDFS anteriores, consulte la capacitación de Hadoop de Pentademy, una empresa de aprendizaje en línea confiable con una red de más de 250.000 estudiantes satisfechos repartidos por todo el mundo. El curso de formación de certificación de Pentademy Big Data Hadoop ayuda a los estudiantes a convertirse en expertos en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume y Sqoop utilizando casos de uso en tiempo real en el dominio de Retail, Social Media, Aviación, Turismo, Finanzas.

    Tienes una pregunta para nosotros? Menciónelo en la sección de comentarios y nos comunicaremos con usted.

/ Big Data, Hadoop, open source, Tutorial

Comentarios

No comment yet.

Leave a Reply

Your email address will not be published. Required fields are marked *