Artículo escrito por Doug Cutting, creador de Hadoop
Debido a mi larga relación con la Apache Software Foundation, muchas veces me plantean la siguiente pregunta: “¿Cuál es el siguiente paso en la tecnología open source?”. Mi respuesta siempre varía entre: “No lo sé” y “Las posibilidades son infinitas”.
Durante el último año, hemos visto cómo la tecnología open source está haciendo grandes incursiones en la tecnología empresarial tradicional. Quién habría pensado que mi trabajo en Hadoop hace 10 años podría impactar en tantas industrias: desde fábricas, hasta teleoperadoras o empresas financieras. Todas ellas se han aprovechado de los beneficios de los ecosistemas open source no sólo para mejorar la experiencia de usuario y ser más innovadores, sino también para ayudar a mejorar la sociedad a través de investigaciones genómicas, medicina de precisión o programas para parar la trata de blancas, por poner algunos ejemplos.
A continuación, he preparado una lista con cinco consejos para los que sientan curiosidad sobre cómo empezar a trabajar con tecnologías open source y qué esperar de este ecosistema que está en constante cambio:
1.- Adoptar el cambio constante y la evolución de las tecnologías open source
Cambio constante: ésta es la primera lección que cualquiera que haga su incursión en las tecnologías open source necesita aprender y, a su vez, una de las grandes diferencias con el software tradicional. La naturaleza open source es fluida y flexible con nuevos proyectos que van surgiendo regularmente para casos de uso específicos. Este ciclo dinámico impulsa que los productos sean mejores de forma más rápida. Por lo que, para que las compañías puedan cosechar los beneficios completos de estas tecnologías, deben estar abiertos al cambio. El debate Spark contra MapReduce es una muestra perfecta de por qué esto es importante:
Es verdad que se están creando un menor número de aplicaciones nuevas basadas en MapReduce y en su lugar se usa Spark como el motor de procesado de datos por defecto. MapReduce se está viendo reemplazado como motor subyacente en herramientas como Hive y Pig, pero eso no significa que MapReduce esté obsoleto. Seguirá funcionando para aplicaciones ya existentes durante muchos años y, para determinadas cargas de datos a gran escala, puede continuar siendo una herramienta de gran valor. Esta tendencia sigue la evolución natural de la tecnología open source: MapReduce fue el motor 1.0 para ecosistemas de datos open source, Spark es el motor 2.0 y, en algún momento, habrá un motor 3.0 que acabará desplazando a Spark al legado de los motores.
2.- Cuando se introduce una nueva tecnología, hay que empezar poco a poco y de arriba abajo
En vez de diseñar y desarrollar soluciones específicas, el mercado actual tiende a la creación de plataformas de datos que persiguen objetivos genéricos y que incluyen herramientas que pueden combinarse de manera flexible para buscar, transmitir, aplicar el machine learning y muchas opciones más. Estos aspectos no requieren solamente de un conjunto diferente de conocimientos, sino también de un cambio cultural en la forma de gestión y en la estructura organizativa. Por esta razón, es importante introducir el debate de la gestión de datos como un tema importante en la directiva de las organizaciones. También recomendaría construir poco a poco una nueva cultura alrededor de unas cuantas aplicaciones, más que reemplazar todo el ecosistema a la vez para ayudar a todos los empleados a que se acostumbren poco a poco.
3.- Evitar depender de un proveedor optando por software open source
A medida que más organizaciones e industrias comienzan a adoptar la nube, deberían considerar el software open source, ya que no sólo aporta más robustez, escalabilidad y seguridad, sino que también puede ayudarles a no depender en un futuro de un único proveedor. Construyendo una plataforma open source, las empresas pueden llevar un control para mantener los costes bajos, usar diferentes plataformas cloud en distintas regiones o utilizar una combinación de sistemas locales basados en la nube. De hecho, las plataformas open source han probado ser técnicamente superiores y, probablemente, ganarán más terreno en 2017. Es difícil para un único proveedor competir contra un gran número de instituciones que colaboran entre sí. Además, los sistemas de datos open source son líderes en rendimiento y flexibilidad y están mejorando rápidamente.
4.- Para los que buscan trabajo: centraos en el bosque y no en los árboles del ecosistema open source
Aquellos que buscan trabajo en los campos de Ti, programación y data science no deberían obsesionarse en especializarse en tecnologías individuales, sino centrarse en comprender el mejor uso de cada uno de los componentes del ecosistema de datos open source y cómo pueden resolver los problemas. Esta comprensión global de alto nivel es la destreza más valiosa para las compañías que quieren innovar en tecnología. Debido a la aparición de nuevas tecnologías, es crucial entender cómo pueden encajar, a qué pueden reemplazar y qué nuevas oportunidades traen consigo.
5.- Buscar oportunidades en la falta de conocimientos
La falta de conocimientos en entornos big data va a continuar de manera relativamente constante en este año, pero esto no debería disuadir a la gente de adoptar Hadoop y otras tecnologías open source. Como muchos de nosotros sabemos, cuando se crean nuevas tecnologías normalmente al principio suelen ser conocidas por pocas personas. Sólo cuando un tipo concreto de software se convierte en un estándar maduro, empieza a aparecer un número sustancial de compañeros especializados en su uso; pero, incluso así, esta laguna puede persistir. Solamente desaparecerá cuando dejen de observarse mejoras en el software, lo que dudo que queramos que ocurra. En resumen, la falta de conocimientos es uno de los factores primarios a la hora de considerar un cambio de plataforma, pero también es un signo de que la innovación está a nuestro alcance.
Conclusiones
El ecosistema open source y su implementación en proyectos importantes continuará expandiéndose en los próximos años. El impulso a la colaboración une a las mentes más brillantes de hoy en día para desarrollar software a una velocidad inconcebible diez años atrás. Si tienes una idea para mejorar las tecnologías existentes o quieres movilizarte entorno a una para acabar con el statu quo, éste es el sitio. Por ello, animo profundamente a todo aquel que esté interesado a que se una a la comunidad y a todos los veteranos del open source a que sigan comprometidos con la causa. Si quieres más información sobre para unirte a la comunidad ASF, accede aquí.
