BUSCADOR INTERNO

Loading

sábado, 3 de mayo de 2014

DATOS, MUCHOS DATOS



Esta combinación parece una historia de amor/odio, ¿no? Pero con el fin de responder a esta pregunta, vamos a tener una mirada más profunda sobre el tema. Hoy quiero hablar sobre un tema que me crea admiración y es cómo son capaces los equipos de gestionar la gran cantidad de información que reciben de los coches. Para muchos el concepto de Big Data es totalmente desconocido, sin embargo, es un término precioso que ha reinado con fuerza en Internet desde hace algún tiempo.
A medida que pasa el tiempo iremos escuchando este término cada día más, simplemente por el hecho de que las nuevas tecnologías aumenta con el paso del tiempo  la cantidad de datos digitales que son acumulados.  Big Data (del idioma inglés grandes datos) es un término aplicado a conjuntos de datos que superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable. Se utiliza normalmente en sectores de las tecnologías de la información y la comunicación aunque se extiende a más disciplinas. Las dificultades más habituales en estos casos se centran en la captura, el almacenamiento, búsqueda, compartición, análisis y visualización de dichos datos, pero tiene que quedar claro que las herramientas tradicionales no son capaces de procesar.
Veremos un ejemplo para comprenderlo mejor. En este caso usaré un avión para hacerlo. En un vuelo de Londres a Nueva York solo el motor del avión  genera 10TB de datos cada 30 minutos. Aunque la mayoría de estas matrices de información operativa se pierden después de la finalización del vuelo, las compañías están buscando diferentes maneras de recolectar, extraer y analizar los bits significativos. Este ejemplo se puede extrapolar perfectamente con la F1. Dentro de una máquina como esta hay infinidad de elementos que son susceptibles de controlar y para ello es necesaria una serie de sistemas muy complejos para poder hacerlo pero a pesar de todo, es imposible hacerlo al 100%. El límite superior de procesamiento se ha ido desplazando a lo largo de los años, de esta forma los límites que estaban fijados en 2008 rondaban los órdenes de petabytes a zettabytes de datos.
¿Cómo conseguir que la F1 y la Big Data se lleven bien? La verdad es que es muy complicado ya que por mucho que se quiera siempre hay flujo de información que no será plenamente procesada pero para intentar conseguirlo se utiliza el paquete estándar de adquisición de datos proporcionado por Mclaren Electrónic, aunque cada equipo puntero están en proceso o tienen implantado el suyo propio.
Para comprender mejor la cantidad de información que tienen que procesar en un F1, vamos a mostrar algunos números para hacerlo pero hay que tener en cuenta que aumentarán a medida que se desarrollen técnicamente los coches a lo largo del año.

  • El coche de F1 tiene alrededor de 300 sensores que transmiten datos a los boxes de los equipos.  
  • Alrededor de 750 mil millones de bit de datos son enviados en total de todos los vehículos durante el fin de semana. (Volumen)
  • Los datos brutos  no estructurados recogidos en una carrera por coche es aproximadamente de 20 GB.
  • La transferencia de datos máxima (rendimiento) durante la carrera es de 2 MB / s. (Velocidad)

!20 GB de datos por coche y carrera! Eso es una barbaridad pero no son todos, ahora hay que añadir a la ecuación los datos que llegan al coche desde el muro de las estrategias. Por tanto los equipos necesitan sin duda un sistema para que de forma  rápida y refinada puedan filtrar esa jungla de datos para poder  tomar decisiones rápidas. Se hace hincapié en el concepto "rápido", algo inherente y vital en la Fórmula 1. Esa rapidez necesaria para recibir, analizar y presentar la gran variedad datos es fundamental para los equipos. ¿Cómo hacer frente a la presión de los datos?

Uno de los equipos que más tiempo llevan aplicando esta tecnología es Mclaren. Todo, desde su sede en Woking hasta lo más banal  grita: "Hi-Tech". Hace años que el equipo ha iniciado una colaboración con SAP, el gigante de la tecnología para andar junto este camino para crear SAP HANA (High-Performance Analytic Appliance) que es una plataforma integrada (hardware + software) que combina innovadoras tecnologías de base de datos para crear una plataforma “in-memory” para aplicaciones de alto rendimiento, como herramientas de análisis y simulación en tiempo real. 
SAP HANA permite a los sistemas existentes en McLaren procesar datos 14.000 veces más rápido que antes. La columna vertebral de este complejo sistema es su motor de cálculo y base de datos  denominado ICE (In-memory Computing Engine). ¿Qué es la tecnología “in-memory? Para los que no estén familiarizados con el funcionamiento del un ordenador comentarles que un Pc analiza básicamente la información de la siguiente manera. En un ordenador hay dos tipos de almacenamiento de datos, por un lado el disco duro que es el gran almacén de datos y por otro la memoria RAM, más pequeña en volumen pero más activa ya que guarda solo la información que pueda ser procesada rápidamente. Cuando queremos hacer algún trabajo en el ordenador, por ejemplo ver una película grabada en el disco duro, la memoria RAM se encarga de coger del disco solo la parte de la película que será utilizada inmediatamente por el  procesador. Imaginaros una cocina para entenderlo mejor. El cocinero sería el procesador, la memoria RAM la mesa de trabajo, los fogones y por último el disco duro el almacén donde se guarda la comida. Si el cocinero quiere hacer un guiso, la RAM tiene que ir al almacén para obtener los alimentos para que los tenga a mano. Cuanto mayor sea el tamaño de la mesa de trabajo y los fogones, más cantidad de alimentos tendrá el cocinero a su disposición para poder usar sin tener que ir a buscar y por tanto menos tiempo perderá en ir a por ellos al almacén.Si llega un camión con mercancías, se va descargando pero como toda esa comida no se puede procesar en la mesa de trabajo, se lleva al almacén directamente. Es un ejemplo perfecto de cómo funciona un PC. ¿Qué tiene de especial el sistema usado para procesar los datos en F1? Usando el mismo ejemplo del cocinero, el sistema usaría muchos cocineros y una mesa de trabajo gigantesca para procesar todos los alimentos del camión en un instante. Así funciona el sistema ICE, crear un sistema de memoria del tipo RAM que pueda  tener todos los datos físicamente más cerca de la unidad central de proceso, es decir, alojando las bases de datos en memorias RAM de alta capacidad en lugar de hacerlo en discos. AL eliminar el acceso a discos, el procesamiento “in-memory” genera tiempos de respuesta hasta 10.000 veces mayores y se pueden procesar datos a una velocidad de 100GB por segundo.

Todo este esfuerzo tanto de  Mclaren como  SAP han dado como resultado algo puede interpretarse con  imágenes.
 

Como se puede ver, se trata de un cuadro de mandos del prototipo que muestra todos los parámetros vitales para ambos pilotos. Esto sería una herramienta ideal para los ingenieros - esencial, rica en datos y limpia y fácil de leer, al mismo tiempo.

Tenemos los conductores de ambos lados, separados por el trazado de la pista y la posición actual de los dos coches. Los datos para cada coche son fácilmente distinguible por los colores - azul para Button y amarillo para Hamilton, en este escaparate. Toda la pantalla es en realidad una aplicación en vivo y los cambios de datos automáticamente a medida que los coches están progresando. Como puedes ver, hay todos los parámetros vitales disponibles, junto con el compuesto de neumáticos actual, la vida de la serie, la presión de los cuatro.

Lo que es muy interesante es la línea de tiempo de predicción en la parte inferior de la pantalla. Este es el módulo que ajusta la estrategia de carrera en tiempo real basado en muchos factores predefinidos e históricos.
La alianza entre SAP y Mclaren parece estar progresando, por lo que es probable que actualizar el contenido en el futuro, especialmente cuando se trata de los nuevos motores.

La siguiente parada es la fábrica de Enstone, donde hace un tiempo Lotus ha anunciado una asociación similar con iRise. Aunque los detalles se mantienen en secreto por el momento, una imagen se ha filtrado hace algún tiempo, que sin duda nos puede decir algo.
 



A pesar de que no sabemos si se trata de un prototipo, Lotus están aparentemente mirando manera rápida y conveniente de visualizar la información.
La pantalla tiene tres pestañas y un cuerpo principal que muestra información estática en la esquina superior derecha. En la ficha Configuración existen parámetros de autos usados ​​para configurar el coche, obviamente. Una vez más, no sabemos cuánto de estos campos son dinámicas, pero sería desperdicio de espacio y tiempo no ser dinámico, ¿no? Así que, de nuevo, este es un ejemplo de cómo los datos pueden ser cosechados y utilizados para mostrar las características más importantes de un coche o los que son pertinentes a la carrera.

Más sobre Lotus y uno de sus socios tecnológicos - EMC. Según ellos, las características antes mencionadas se ven así:
  • Variedad - Más de 150 datos de registro de los sensores
  • Volumen - 50 GB de datos por raza
  • Velocity - 15 MB de datos por vuelta

Siguiente utilización de los modelos de datos grandes es la información histórica carrera. Todas esas pequeñas piezas de datos que vemos son almacenadas y luego utilizan posteriormente al tomar una decisión - sobre la base de un valor de temperatura, compuesto de neumáticos o el ángulo del alerón delantero de ataque. O una combinación de todos estos.

Esta es la breve historia de cómo los equipos de F1 están manejando el tema Big Data. A medida que vayan solventando las limitaciones cada vez los resultados serán más precisos y mejorarán los resultado aunque siempre pretenderán llegar más y más lejos sin que nunca lleguen a ver el final, pero eso será otra historia.  

2 comentarios:

  1. Es una idea quizas un poco mas avanzada de lo que en la industria se llama SCADA, donde tambien se usan adquisidores de datos para mostrar y almacenar datos analogicos y digitales de los diferentes sensores y actuadores de los procesos, para su posterior analisis, o de uso inmediato en caso de los PIDs. En la F1 tendras particularidades tales como una carrera solo dura 2 horas y hay que hacre todo rapidisimo. En la industria por el contrario el tiempo es un poco mas holgado, pero se manejan, por ejemplo, enormes cantidades de gas en un horno, que sin el control adecuado, resulta en una catastrofe. Genial aporte. Saludos.

    ResponderEliminar
  2. mi wikipedia de f1 = Jm Diaz Olmo - Agradecido por tus horas de tiempo para que siempre nos informemos.-
    Gracias Juan

    ResponderEliminar