Hive failed to create /user/hive/warehouse

Como parte de la arquitectura que decidí implementar en un proyecto de bigdata en un cliente, se comenzó a instalar hive, para poder poblarla de tablas de datos pesados. Tablas de 50G a 200G en una primera etapa.

Me encontraba realizando la configuración de derby integrado con Hive y al momento de configurar la instalación de hive, y crear los directorios me arroja el siguiente error.

mkdir: `/var/hadoop/USERS/user/hive/warehouse/': No such file or directory

La secuencia ocurrió cuando estaba creando los directories de Hive con HDFS

hadoop@srvhadoopt2:$ hadoop fs -mkdir /tmp
hadoop@srvhadoopt2:$ hadoop fs -mkdir /var/hadoop/USERS/user/hive/warehouse/
mkdir: `/var/hadoop/USERS/user/hive/warehouse/': No such file or directory

Troubleshotting

El error me aparecia por que es la version de hadoop que estaba utilizando, necesitaba usar el wildcar -p , como cuando ejecuto un mkdir -p para paths anidados.

hadoop@srvhadoopt2:$ hadoop fs -mkdir -p /opt/hadoop/user/hive/warehouse
hadoop@srvhadoopt2:$

Espero les sea de ayuda!

Have a nice weekend !

Anuncios

RED HAT FORUM Buenos Aires 2017

RHFBA-17-00(2)
Soluciones Opensource con Red Hat

Bajo la  consigna The Impact of the Individual se realizo una nueva edición del RED HAT FORUM Buenos Aires 2017 y allí estuvimos presentes.

La cita se produjo en Hotel Hilton Buenos Aires y  los temas que se expusieron fueron:

  • El impacto del Individuo.
  • Conocer los desafíos del mercado con un enfoque abierto.
  • TI en un mundo híbrido: como innovar en su negocio con Red Hat.
  • Creando talento para la cultura digital.
  • IBM Cognitive Systems.
  • Viviendo la Transformación Digital.
  • Porque el impacto de la cultura open source todavía esta por venir.
  • Potenciando la innovación a través del desarrollo de aplicaciones de la Nube.
  • El cliente en el centro de escena: the Red Hat way.
  • Respirando la cultura Red Hat: un día en la vida de soporte técnico.

Leer más “RED HAT FORUM Buenos Aires 2017”

AWS CLOUD EXPERIENCE BUENOS AIRES

Header_BuenosAires

Hace poco tiepo se llevo a cabo el evento de Amazon web services AWS Cloud Experience Buenos Aires, en Hotel Sheraton  Libertador y visitamos la Partner Expo.

Los temas de Agenda fueron:

Track Técnico 1:

IMG_20170713_184412287 (2)

  • Extendiendo su centro de datos a la nube: opciones de conectividad y consideraciones para ambientes híbridos.
  • Servicios de almacenamiento de AWS.
  • Servicios de base de datos de AWS.
  • Servicios de migración de datos de AWS.
  • Optimización de costos con los diferentes modelos de compra de servicios en la nube, Instancias Reservadas, SPOT y otros.

IMG_20170713_200849416

Track Técnico 2:

  • Comenzando con arquitecturas sin servidores.
  • Comenzando con Docker en AWS.
  • Servicios móviles en AWS.
  • Construcción de las aplicaciones de Big Data con la plataforma de AWS.
  • Construyendo aplicaciones IoT con AWS.

Leer más “AWS CLOUD EXPERIENCE BUENOS AIRES”