En Australia, el Peter MacCallum Cancer Center y John Holland Group, una empresa de infraestructura y construcción, recurrieron a los datos en la nube y a la plataforma de inteligencia artificial Databricks para resolver importantes problemas de fragmentación de datos que obstaculizaban su capacidad de extraer información de los datos comerciales.
Hablando en la gira mundial Data + AI de Databricks en Sydney, Australia, el mes pasado, los líderes tecnológicos de ambas organizaciones informaron que enfrentan desafíos como datos aislados, áreas comerciales competitivas, problemas de integración de datos y sistemas heredados, lo que generó la necesidad de buscar una solución de datos en la nube. .
Peter MacCallum Cancer Center consolida datos para utilizar IA
La infraestructura de datos heredada de Peter Mac limitó su capacidad para aprovechar eficazmente los big data y la inteligencia artificial en sus extensas operaciones clínicas y de investigación. La tecnología heredada también puso en peligro su misión de mejorar la vida de las personas con cáncer, incluido el uso de la IA para mejorar la toma de decisiones clínicas y acelerar los conocimientos biológicos y el descubrimiento de fármacos.
Problemas con la infraestructura de datos.
Durante la conferencia, Jason Li, jefe del centro central de bioinformática de la división de investigación del cáncer de Peter Mac, dijo que:
- Peter Mac estaba lidiando con varios datos aislados y sistemas heredados.
- La complejidad y el volumen de datos clínicos y de investigación en las operaciones del centro oncológico plantearon desafíos en áreas como el almacenamiento y el análisis de datos.
- Las preocupaciones éticas, de privacidad y de seguridad fueron factores clave para la gestión de los datos de Peter Mac y el despliegue de cualquier caso de uso futuro de la IA.
- La integración entre los departamentos clínicos y de investigación complicó el desafío de la gobernanza de datos porque cada uno tenía diferentes requisitos de datos.
VER: Informatica afirma que la fragmentación de datos es una barrera para la IA en APAC
Li dijo que Peter Mac seleccionó Databricks para ayudarlo a armonizar los datos en todo el centro y respaldar el análisis avanzado, incluida la inteligencia artificial, al tiempo que cumple con los requisitos de privacidad y seguridad de los datos en la atención médica.
Ampliarse a nuevos casos de uso de IA
Peter Mac probó por primera vez el potencial de IA de la plataforma Databricks con un proyecto piloto de transformación de IA:
- El centro creó un ciclo de vida de IA de extremo a extremo, que implicó la aplicación de aprendizaje profundo al análisis de imágenes de diapositivas completas de gigapíxeles para cuantificar un nuevo biomarcador para el pronóstico del cáncer de mama.
- Databricks respaldó el ciclo de vida de la IA, desde la ingesta inicial de datos hasta la implementación y el monitoreo del modelo, lo que, según Li, hizo que el proyecto fuera eficiente en términos de tiempo y costos;
- Los resultados del proyecto podrían ser “muy prometedores” para mejorar el pronóstico del cáncer de mama.
Li dijo que la velocidad en todo el proyecto fue una gran ventaja: “Estimamos que con Databricks, hemos acelerado cinco veces el proceso de desarrollo y reducido diez veces los gastos generales de comunicación entre las partes interesadas, lo que nos permite llevar innovaciones al mercado antes para beneficiar a los pacientes. “
La estrategia de IA ahora incluye proyectos futuros
La IA se ha convertido en una parte más importante de la estrategia de Peter Mac. Databricks apoya al centro oncológico en tres casos de uso adicionales: genómica, oncología radioterápica e imágenes del cáncer. Además, Peter Mac es:
- Ampliar el programa de IA para incluir la bioinformática convencional, que incluye proyectos de genética de poblaciones que involucran grandes tamaños de muestras y grandes cantidades de datos genómicos.
- Aplicar avances en Modelos de Lenguaje Grande y Generación Aumentada de Recuperación para extraer conocimiento de informes clínicos y radiológicos.
- Planeando implementar LLM en el futuro para la investigación en genómica y transcriptómica, que analiza el ARN o el transcriptoma para seguir siendo competitivo en la investigación del cáncer.
John Holland pretende unificar datos en todas las operaciones de construcción
Mientras tanto, John Holland gestionó 80 proyectos de infraestructura a gran escala por un valor de 13.200 millones de dólares australianos en 2023. Sin embargo, Travis Rousell, director de datos y análisis de la empresa, dijo que su entorno de almacenamiento de datos heredado estaba fragmentado y era difícil de integrar.
VER: Cómo mejorar la calidad de los datos en los lagos de datos
“Tenemos todos los problemas típicos que todos hemos tenido históricamente con los almacenes de datos y los problemas de datos”, dijo Rousell. “Nuestro entorno de almacenamiento de datos heredado se construyó de forma incremental a lo largo de 20 años. Ha evolucionado y desarrollado lentamente, y hemos creado este conjunto de silos de datos realmente pantanosos”.
Rousell añadió: “Podríamos construir BI [Business Intelligence] e informes al frente de ellos, pero unir esos datos para poder crear información sobre el flujo de actividades y comportamientos que están ocurriendo para que podamos impulsar el cambio en todo nuestro negocio ha sido un proceso realmente difícil para nosotros”.
Una plataforma de datos unificada para ofrecer información útil
John Holland se propuso crear una plataforma de datos unificada para desbloquear datos y generar valor empresarial. Esto fue parte del esfuerzo del grupo para impulsar la innovación y la ventaja competitiva en su industria a través de datos modernos y prácticas digitales como parte de un impulso más amplio de transformación digital.
La organización ha buscado:
- Proporcione una vista unificada e integrada de los datos en toda la empresa.
- Administre la gestión de datos en proyectos administrados por separado.
- Lograr centrarse en la ingeniería de datos en lugar de la ingeniería de plataformas.
El ahorro de costos proviene de una mejor gestión de datos
Hasta ahora, John Holland ha entregado varios procesos comerciales centrales al lago de datos de Databricks, incluida la gestión de proyectos, las operaciones de proyectos, los controles de proyectos, la seguridad y el análisis de flotas.
Como resultado del uso de Databricks, Rousell dijo que John Holland tenía:
- Reducción de los costos de infraestructura de plataforma en un 46 % en flujos de trabajo similares en comparación con entornos heredados;
- Reduje el esfuerzo y el tiempo de desarrollo de ingeniería de datos en un 30 % mediante la creación de nuevos productos y modelos de datos.
- Migré más de 600 usuarios a productos de datos aprovisionados a través del lago de datos de Databricks.
TI se convierte en un facilitador para el negocio de John Holland
Rousell dijo que Databricks garantiza que la TI y la tecnología no impidan el progreso del negocio.
“Creo que lo más importante que estamos logrando al hacer esto es que estamos creando esta cultura de datos del ‘sí’ dentro de John Holland”, explicó Rousell. “Históricamente, la dificultad para suministrar productos nuevos e innovadores ha significado que hemos tenido que soportar grandes proyectos lentos y no entregar resultados suficientes para el negocio.
“Ahora, si el negocio tiene una idea, podemos decir que sí; podemos implementarles un espacio de trabajo de datos que les brinde acceso a todas las capacidades y herramientas que necesitarán, y pueden desarrollarlo a gran velocidad”.
