How to Install Kibana with Debian Packages

Luego de haber realizado mi instalación de Elastic Search, decidí montar un plugin llamado  Kibana, para poder visualizar y explorar datos que se encuentran indexados en  ElasticSearch.

Podemos decir también , que como en el pasado con otros productos open source aparecieron siglas como LAMP (Linux/Apache/MySQL/PHP) para esta familia de elastic, contenemos el stack ELK:

  • Elasticsearch
  • Logstash
  • Kibana

En mi caso, decidi comenzar la instalación de forma manual , con pkgs de Debian en mi Ubuntu server 16.

Descargamos los paquetes del repositorio oficial:

hadoop@srvhadoopt3:$ wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-amd64.deb
--2017-10-12 16:59:33--  https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-amd64.deb
Resolving proxgue.garba.com.ar (proxgue.garba.com.ar)... 10.0.60.3
Connecting to proxgue.garba.com.ar (proxgue.garba.com.ar)|10.0.60.3|:8080... connected.
Proxy request sent, awaiting response... 200 OK
Length: 52533368 (50M) [application/octet-stream]
Saving to: ‘kibana-5.6.3-amd64.deb’

kibana-5.6.3-amd64.deb                          100%[====================================================================================================>]  50.10M  1.34MB/s    in 65s

2017-10-12 17:00:40 (784 KB/s) - ‘kibana-5.6.3-amd64.deb’ saved [52533368/52533368]

Verifico que el paquete sea seguro y que contiene el hash correspondiente

hadoop@srvhadoopt3:$ sha1sum kibana-5.6.3-amd64.deb
12821507ace7c49eea5011e360f8353007f0ab90  kibana-5.6.3-amd64.deb

Bien, una vez descargado , procedemos con la instalacion del package: Leer más “How to Install Kibana with Debian Packages”

Failed to resolve config path [“/usr/share/elasticsearch/config/elasticsearch.yml”]

Al finalizar la instalación de elasticsearch decidí instalar los plugins:

  • mobz/elasticsearch-head
  • royrusso/elasticsearch-HQ

Pero por alguna razon, el comando no se ejecutaba correctamente y me arrojaba el siguiente error:

root@srvhadoopt3:~# /usr/share/elasticsearch/bin/plugin install -DproxyPort=8080 -DproxyHost=proxgue.garba.com.ar royrusso/elasticsearch-HQ
Error: Could not find or load main class "-DproxyPort=8080"
root@srvhadoopt3:~# /usr/share/elasticsearch/bin/plugin install DproxyPort=8080 DproxyHost=proxgue.garba.com.ar royrusso/elasticsearch-HQ
Exception in thread "main" org.elasticsearch.env.FailedToResolveConfigException: Failed to resolve config path ["/usr/share/elasticsearch/config/elasticsearch.yml"], tried file path ["/usr/share/elasticsearch/config/elasticsearch.yml"], path file ["/usr/share/elasticsearch/config"/"/usr/share/elasticsearch/config/elasticsearch.yml"], and classpath
at org.elasticsearch.env.Environment.resolveConfig(Environment.java:291)
at org.elasticsearch.node.internal.InternalSettingsPreparer.prepareSettings(InternalSettingsPreparer.java:95)
at org.elasticsearch.plugins.PluginManager.main(PluginManager.java:396)

Análisis

Investigando y analizando la salida de la ejecución del comando, con bash -x por delante, mas los concejos de gente de la comunidad, decidimos cambiar en el script el comando exec y reemplazarlo con el comando echo.

Ese cambio,  me retorno la sentencia para ser ejecutada.

Resolución

Editamos el archivo de configuración /usr/share/elasticsearch/bin/plugin, y vamos al Leer más “Failed to resolve config path [“/usr/share/elasticsearch/config/elasticsearch.yml”]”

Hive failed to create /user/hive/warehouse

Como parte de la arquitectura que decidí implementar en un proyecto de bigdata en un cliente, se comenzó a instalar hive, para poder poblarla de tablas de datos pesados. Tablas de 50G a 200G en una primera etapa.

Me encontraba realizando la configuración de derby integrado con Hive y al momento de configurar la instalación de hive, y crear los directorios me arroja el siguiente error.

mkdir: `/var/hadoop/USERS/user/hive/warehouse/': No such file or directory

La secuencia ocurrió cuando estaba creando los directories de Hive con HDFS

hadoop@srvhadoopt2:$ hadoop fs -mkdir /tmp
hadoop@srvhadoopt2:$ hadoop fs -mkdir /var/hadoop/USERS/user/hive/warehouse/
mkdir: `/var/hadoop/USERS/user/hive/warehouse/': No such file or directory

Troubleshotting

El error me aparecia por que es la version de hadoop que estaba utilizando, necesitaba usar el wildcar -p , como cuando ejecuto un mkdir -p para paths anidados.

hadoop@srvhadoopt2:$ hadoop fs -mkdir -p /opt/hadoop/user/hive/warehouse
hadoop@srvhadoopt2:$

Espero les sea de ayuda!

Have a nice weekend !

RED HAT FORUM Buenos Aires 2017

RHFBA-17-00(2)
Soluciones Opensource con Red Hat

Bajo la  consigna The Impact of the Individual se realizo una nueva edición del RED HAT FORUM Buenos Aires 2017 y allí estuvimos presentes.

La cita se produjo en Hotel Hilton Buenos Aires y  los temas que se expusieron fueron:

  • El impacto del Individuo.
  • Conocer los desafíos del mercado con un enfoque abierto.
  • TI en un mundo híbrido: como innovar en su negocio con Red Hat.
  • Creando talento para la cultura digital.
  • IBM Cognitive Systems.
  • Viviendo la Transformación Digital.
  • Porque el impacto de la cultura open source todavía esta por venir.
  • Potenciando la innovación a través del desarrollo de aplicaciones de la Nube.
  • El cliente en el centro de escena: the Red Hat way.
  • Respirando la cultura Red Hat: un día en la vida de soporte técnico.

Leer más “RED HAT FORUM Buenos Aires 2017”