En los últimos 19 años, Shawn Edwards, CTO de Bloomberg, ha visto cambiar radicalmente la industria. Cuando se le preguntó sobre el mayor cambio que ha impactado a las empresas, Edwards dice: “Cuando pienso en mis 19 años en Bloomberg, creo que ha habido muchas tendencias. Me gusta bromear y decir que la industria de la tecnología tiene más tendencias que la industria de la moda”.
Si bien hay más modas pasajeras, Edwards dice que algunas tendencias se han mantenido. Uno de ellos es el software de código abierto, de alto rendimiento y escala web. Cuando comenzó a trabajar para Bloomberg, Edwards dice que la empresa no tenía una política de fuente abierta. Como consecuencia, el equipo de desarrolladores de Bloomberg tuvo que construir casi todo por sí mismo. “Había algunos productos creados por proveedores aquí y allá”, dice. “Pero en gran medida construimos todo nosotros mismos”. Pero en ese momento, comenzaba a aparecer software de código abierto de muy alta calidad, dice Edwards.
“Para nosotros, el software de código abierto tiene sentido en muchas dimensiones y yo lideré el esfuerzo y tuve que convencer a mucha gente de que deberíamos ser una empresa de código abierto primero en lugar de pensar automáticamente que teníamos que construir todo”, dice. “Veamos y veamos si hay algo lo suficientemente parecido, algo que podamos aprovechar con miles y miles de personas que están contribuyendo al proyecto”.
Dichos proyectos son un ecosistema, dice, que tiene sentido tanto financiera como económicamente para aquellas organizaciones que quieren usar código abierto. Sin embargo, el beneficio real del software de código abierto, según Edwards, es que acelera el tiempo de comercialización.
El cambio al código abierto en Bloomberg comenzó con la creación de una oficina de código abierto. Cuando se le preguntó por qué era necesario, Edwards dice: “Tuve que crear una oficina de código abierto porque tienes que trabajar con código abierto con mucho cuidado. Simplemente no puedes sacar nada. Hay software de código abierto que no deberíamos usar y tenemos que ser muy juiciosos sobre qué hacer, dónde y qué usar”.
Mirando qué proyectos evitar, Edwards dice: “Realmente se reduce a lo que estás tratando de lograr”. Además de las discusiones sobre los diferentes tipos de licencias, dice: “Cuando miras un proyecto en particular, ¿es la tecnología algo que será demasiado intrusivo? ¿Te obligará a reescribir tu propio código? ¿El código fuente abierto tiene un ecosistema u ofrece buenas API para que pueda usarse junto con otros sistemas que ya ha creado?
Más allá de estas preguntas, dice que las organizaciones que deseen utilizar proyectos de código abierto también deben evaluar si el proyecto se está desarrollando activamente. “No quieres un proyecto sin salida. No quieres un callejón sin salida”. Otro factor a evaluar es si la comunidad se está alejando del proyecto. “¿Hay una comunidad vibrante que esté funcionando bien y que no esté sumida en la política y otras cosas?” él dice.
Bloomberg también es un colaborador activo en una serie de proyectos de código abierto. Uno de ellos es Apache Solr, que proporciona búsqueda empresarial. Edwards dice que el proyecto ha adoptado sofisticados algoritmos de clasificación desarrollados por Bloomberg.
Bloomberg también tiene miembros del personal en otro proyecto de código abierto, JupyterLab, y ha pagado a empresas para que trabajen en el proyecto. “Creo que este es un ejemplo de lo que mejor hace la comunidad de código abierto”, dice Edwards, “reunir a las personas, trabajar en problemas comunes, retribuir y luego ampliar sus capacidades”. Él dice que Bloomberg usa Jupyter Labs internamente y que contribuir al proyecto “se sintió como lo correcto”.
Datos a escala
Para Edwards, Bloomberg es una empresa de datos y la forma en que recopila, procesa y distribuye los datos presenta desafíos únicos para la comunidad de código abierto. “Los datos son el alma de lo que hacemos en Bloomberg”, dice. El viaje comienza con las fuentes de datos y el web scraping. Luego, dice Edwards, Bloomberg necesita analizar “una colección heterogénea de grandes datos desordenados y darle sentido, digitalizarlo y dárselo a nuestros clientes de una manera consumible que tenga sentido para ellos”.
Si bien las empresas de escala web han sido pioneras en algoritmos para procesar datos en gran parte no estructurados, Edwards dice que el procesamiento de datos en Bloomberg implica combinar información estructurada y no estructurada. Todas estas fuentes de datos deben estar unidas para proporcionar análisis y permitir que los clientes de Bloomberg hagan las preguntas pertinentes.
Durante un panel de discusión en la Universidad de Columbia el año pasado, Edwards habló con un compañero panelista de Twitter. “Estábamos hablando de sistemas de big data en tiempo real a gran escala. Y en ese momento, mencionó que Twitter manejaba alrededor de 500 millones de tweets por día. En Bloomberg, tenemos, en este momento, 300 mil millones de mensajes o ticks por día”.
Si bien el tamaño de los datos es casi el mismo, Edwards dice que los sistemas de Bloomberg procesan principalmente datos estructurados, que deben ingerirse, normalizarse y procesarse. Luego está el análisis de datos y, finalmente, los datos deben distribuirse en todo el mundo a través de lo que, según Edwards, es una de las redes globales privadas más grandes del mundo. “Cuando piensas en este tipo de sistema, es único”, agrega. “Hay pocas personas que lidian con esta escala”.
