wiki:udg/UdgCatalogAdmin

En esta wiki trataremos de resumir el proceso de generación y actualización de catálogos y datasets en el UDG a través de cualquiera de los TDS desplegados.

Situación Actual

En la actualidad, los servicios del UDG cuelgan de dos TDS, el TDS5 y el TDS7. El primero es el que soporta el servicio OPeNDAP mientras que el segundo soporta el NetCDF Subsetting.

Para gestionar de forma eficiente esta dualidad, por un lado se sincronizaron a través del subversión los catálogos y datasets de ambos TDSs, siendo necesario únicamente actualizar los del TDS5 al hacer algún cambio. Por otro lado, para evitar la competencia de recursos entre ambos, el TDS7 fue desplegado en dos working nodes (WN?? y WN??) del cluster, razón por la cual su sistema de directorios debió ser trasladado a una carpeta del WORK a la que dichos nodos tuvieran acceso, aunque manteniendo la sincronización con el TDS5.

Todas las estructuras de los diferentes TDSs se encuentran en /oceano/services, aunque luego sean links a otros directorios como ocurre con el TDS7 por las razones antes expuestas.

Pasos a seguir a corto-medio plazo

Entre las diferentes versiones se encuentra el TDS6, si bien es un link a un directorio de WORK. Dicha versión será la utilizada para eliminar la dualidad anterior por lo que se han actualizado los catálogos y datasets de dicha versión a la última versión del TDS5 aunque falta establecer donde se despliega el TDS6 y donde crear la working copy de los catálogos y datasets que le den soporte. Una vez creada dicha estructura podremos comenzar a depurar errores.

Proceso de generación y actualización de catálogos

La inclusión de nuevos datasets en los catálogos existentes en UDG puede dividirse en diferentes sub-tareas:

  • Working copy del TDS: para la generación de catálogos es necesario disponer de una working copy del TDS5 (en este caso) sincronizada con la existente en /oceano/services, que engloba los catálogos y datasets del TDS5 y del TDS7.
  • Generación del dataset: a través de diferentes herramientas de computación (matlab, xquery, etc.) se generan del modo más automático posible los ficheros NcML que engloban el nuevo dataset. Dichos scripts se guardan en las carpetas work de los diferentes datasets.
  • Inclusión del dataset en el catálogo: una vez definido el dataset, éste se incluye en el catálogo que le corresponda dependiendo del proyecto, dataset y permisos, incluyendo su metadato y un identificador de sus restricciones de acceso. Este identificador debe coincidir con el que se use en el TAP al dar de alta el role de ese dataset. Este proceso es eminentemente manual y, debido a los parámetros a definir, difícil de sistematizar y automatizar.
  • Actualización del repositorio: tras definir catálogos y datasets pasamos a subir nuestros cambios al repositorio central. Del mismo modo, actualizamos con los nuevos cambios la working copy correspondiente en /oceano/services/ (e.g. svn up TDS5).
  • Reiniciar el UDG: una vez actualizado el repositorio debemos diferenciar si el cambio afecta únicamente a datasets, en cuyo caso no es necesario reiniciar UDG, o también a los catálogos, en cuyo caso es necesario reiniciar UDG. El panel de administración se encuentra en: https://meteo.unican.es/tds5/admin/debug el cual, dependiendo de los permisos del usuario, permite la reinicialización del UDG y con ella la regeneración del sistema de catálogos.
  • Definición del dataset en el TAP: finalmente, para dar acceso a través del TAP debe darse de alta el dataset, con lo que ello implica, respetando el nombre del identificador de las restricciones de acceso al dataset ya que de otro modo, aún cuando el dataset esté definido, al no identificar el role el usuario no tendrá acceso al dataset.
Last modified 5 years ago Last modified on Sep 14, 2016 8:33:42 PM