Los equipos de científicos de datos y sus responsables en las organizaciones se encuentran con cada vez más dificultades. El 20% de los Chief Data Officers (CDO, por sus siglas en inglés) señalan que asegurar la disponibilidad de la información es un gran desafío de los próximos 2-3 años y un 13% apunta a la dificultad de escalar sus servicios de datos. Así lo refleja el estudio “Chief Data Officer: Leadership in data-driven enterprises” de la Consultora Bearing Point, realizado entre 116 CDO de organizaciones de Europa y África.
Por otro lado, el informe señala que el principal motivo para que las organizaciones elijan un CDO que lidere a sus equipos de científicos de datos e ingenieros reside en los problemas que genera la gestión y el gobierno de los datos, según un 58% de los encuestados.
Ante estos obstáculos que los CDO y los científicos de datos se encuentran en su trabajo, Denodo recomienda la implantación de la virtualización de datos en las organizaciones. Esta tecnología se basa en una capa lógica que integra todos los datos de la organización sin importar el formato y su origen. De esta manera, proporciona múltiples beneficios directos, pero en particular, mejora seis de los procesos de trabajo de los científicos de datos, que son claves para el desempeño de los equipos liderados por CDOs:
- Identificación de datos útiles: proporciona a los científicos de datos un acceso perfecto a todo tipo de fuentes de datos, desde Data Lakes hasta sistemas Presto o Spark, redes sociales o incluso archivos sin formato y/o JSON. Ofrece un catálogo de datos integrado, que permite encontrarlos con una funcionalidad tan simple como la de un motor de búsqueda.
- Modificación de los datos en un formato útil: también incluye herramientas administrativas que permiten agregar notas sobre la información. Los científicos de datos pueden usar sus propios sistemas de anotaciones como Jupyter o los que están incluidos en la plataforma de virtualización.
- Análisis de los datos: con la virtualización de datos, se pueden realizar directamente análisis ejecutando consultas sobre los datos cuando se encuentren por primera vez o en cualquier otro momento.
- Preparación y ejecución de algoritmos de ciencia de datos: Denodo Platform proporciona un optimizador de Queries (consultas) que agiliza su rendimiento mediante una serie de técnicas, incluida la transferencia de procesos sobre las propias fuentes. De esta manera, se pueden implementar más fácilmente diferentes algoritmos.
- Compartir resultados con usuarios de negocio: los científicos pueden compartir consultas y resultados con otros miembros de la empresa, para un flujo de trabajo más colaborativo e iterativo. Además, también pueden publicar datos directamente en herramientas como MicroStrategy, Power BI o Tableau y ver de inmediato los resultados en ellas.
José Andrés García, responsable de Denodo para Iberia y Latinoamérica, explica: “los CDOs y sus equipos de científicos de datos cada vez muestran más su preocupación ante las dificultades que se encuentran con los procesos, la gestión y la gobernanza de los datos; sobre todo, cuando tienen que operar con datos desestructurados y en distintas fuentes y formatos. Afortunadamente, la virtualización de datos les permite solventar todos esos desafíos, ya que ofrece una visión holística de toda la información empresarial en una sola capa y les permite trabajar sobre cualquier tipo de dato sin importar su origen”.
