Catálogo de componentes disponibles

Solución que combina el software y el hardware para la caracterización de chatarra a nivel de pixel usando imagen hiperespectral (Figura 5). En concreto, la solución es capaz de diferenciar entre aluminio, acero inoxidable, cobre, zinc, fracción estéril, plástico, y fracción férrica a nivel de pixel a partir del hipercubo obtenido con el software de adquisición (en esta versión no funciona en modo online).

Fábrica Piloto para procesamiento y manipulación de piezas en entornos de Industria 4.0, en Tekniker

Componentes de diferentes diseños de efectores finales para aplicaciones de inspección de defectos de pintura de piezas aeronáuticas. Los efectores han sido integrados y desplegados en diferentes robots industriales KUKA.

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

Conjunto de librerías de software para el procesado y análisis de nubes de puntos construidas con un escáner laser, orientado a la detección de FODs en entornos aeronáuticos; para el control del escáner láser del fabricante Leica para automatizar el proceso de obtención de nubes de puntos. Se incluye un simulador del escáner láser con el que obtener nubes de puntos de entornos virtuales.

Enlace al repositorio público:

• ROS Wiki: http://wiki.ros.org/large_3d_inspection
• Repositorio: https://github.com/fada-catec/leica_scanstation
• Repositorio: https://github.com/fada-catec/leica_point_cloud_processing
• Repositorio: https://github.com/fada-catec/leica_gazebo_simulation

El paquete también incluye un simulador del dispositivo Leica Scanstation C5, que permite al usuario adquirir una nube de puntos de la escena a la que apunta el dispositivo en el simulador. El simulador permite configurar la ventana de escaneo para que la nube resultante sea lo más parecida posible a la que se produciría con el Leica Scanstation C5 real. El uso del simulador comienza con la carga del entorno virtual y del dispositivo. A continuación, se carga el convertidor de perfil láser a nube de puntos, seguido del plug-in del dispositivo.

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

Sistema de reconocimiento de objetos basado en Deep Learning. Concretamente el modelo utilizado es YOLOv4 a través del framework Darknet. Este modelo ha sido entrenado para el reconocimiento automático de algunos tipos de conectores de cables.

Tanto el entrenamiento del modelo como la inferencia hacen uso de la GPU para aumentar la velocidad de procesamiento, pues resulta muy conveniente el uso de este hardware para aplicaciones con tratamiento de imágenes.

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

Herramienta software de propósito general para medición de piezas mediante visión artificial. Permite un alto grado de flexibilidad de configuraciones del puesto de medición, permitiendo utilizar diferentes tecnologías de cámaras, ópticas e iluminaciones.

Dispone de un conjunto de herramientas de inspección basadas en componentes (plugins) escalable y personalizable.

Fábrica Piloto para procesamiento y manipulación de piezas en entornos de Industria 4.0, en Tekniker

Plugin para la detección de defectos en una imagen a partir de un modelo de Deep Learning de Object Detection. El plugin exige la utilización del software “Sistema SmartVision para medición de parámetros geométricos”.

Sistema de captura y verificación de piezas en 3D. La solución realiza la captura de la geometría de una pieza empleando tecnologías basadas en proyección de franjas y realiza la verificación de la misma empleando técnicas de comparación con una pieza referencia.

Para su funcionamiento, el sistema requiere una cámara y un proyector que se encuentren separados y solidarios. En una primera fase se requiere la calibración del sistema mediante una mira de calibración. Se entrega plantilla en formato electrónico e instrucciones.

Una vez calibrado el sistema, se captura la información 3D de una pieza de referencia, de forma manual se elimina la información tridimensional no correspondiente a la pieza objetivo. A continuación, se le muestra al sistema nuevas piezas. El resultado de la inspección es la variación geométrica de la pieza de referencia frente a la nueva pieza.

Fábrica Piloto para operaciones con materiales flexibles, en Cartif

Una alternativa para la orquestación de las distintas habilidades básicas de un robot para que juntas compongan comportamientos complejos y adaptables es el uso de árboles de comportamiento (Behaviour Trees). A diferencia de una máquina de estados finitos, un árbol de comportamiento es un árbol dirigido con nodos jerárquicos que controla el flujo de decisiones y la ejecución de «tareas» o «acciones». Existen tres categorías de nodos: el nodo raíz, los nodos controladores de flujo y los nodos de ejecución. La ejecución de un árbol de comportamiento comienza por el nodo raíz y continúa con los nodos siguientes de acuerdo con la estructura y lógica definida en el propio árbol. En cuanto a los nodos de control de flujo, existen nodos predefinidos que implementan diversas lógicas como, por ejemplo, los selectores y las secuencias:

• Los selectores buscan secuencialmente al primer hijo que devuelve un resultado de éxito (note que este hijo puede ser directamente un nodo de ejecución o una estructura de nodos que después de ejecutarse comunique su resultado). Estos nodos son muy relevantes a la hora de elaborar estrategias de actuación robustas a fallos porque permiten implementar un control con planes alternativos cuando el agente robótico no puede ejecutar con éxito el plan predeterminado.
• Las secuencias ejecutan de forma sucesiva los nodos hijos que todavía no han finalizado su proceso (ya sea exitosamente o no). El valor de retorno de la secuencia será de fallo o en proceso si cualquiera de los hijos devuelve fallo o en proceso respectivamente y sólo será de éxito una vez que todos los nodos hijos hayan devuelto un resultado de éxito.

Finalmente, los nodos de ejecución representan, conceptualmente, la funcionalidad más básica, y es donde se integran las capacidades primitivas del robot. Esta estrategia permite desacoplar el desarrollo de módulos, o componentes funcionales, del diseño y generación del comportamiento del robot.

ROS ofrece una herramienta intuitiva y versátil, BehaviourTree.CPP, para diseñar y ejecutar comportamientos del robot mediante árboles de comportamiento. Esta herramienta fue desarrollada originalmente por Eurecat en el contexto del proyecto Europeo RobMosys y es mantenida actualmente (con código abierto) por la comunidad organizada alrededor de ROS. El proyecto también incluye un editor gráfico llamado Groot específicamente pensado para el diseño intuitivo de comportamientos.

Fábrica Piloto para la fabricación, ensamblado e inspección colaborativa, en Eurecat

Librería desarrollada a partir de la librería de ONVIF de Tereius, libOnvif (https://github.com/Tereius/libONVIF). Esta librería facilita el uso de la original simplificando los inputs necesarios para el uso efectivo de las posibilidades que proporciona el protocolo ONVIF en cámaras PTZ. Actualmente el proyecto tiene soporte para el movimiento relativo asociado a la parte PTZ y la grabación de videos en la memoria interna de la cámara.

Se dispone de un conjunto de robots conectados a una misma subred, por lo que es posible leer localmente datos del estado del robot y almacenarlos online en un servidor de la subred (mySQL).

Este activo consta de un panel de control donde se visualizan gráficos e históricos sobre estos datos en Grafana, que pueden verse desde un navegador web de cualquier dispositivo conectado a la subred.

Como posible extensión sobre esta misma base datos podrían analizarse para extraer conclusiones (e.g. mantenimiento predictivo).

Se pueden recibir datos de cualquier robot/dispositivo compatible con ROS y cualquier tipo de dato que ofrece la controladora del robot (posiciones, velocidades, consumos, temperaturas, errores, nombre del script corriente, robot en uso o no, estados I/O…).

Fábrica Piloto para la fabricación, ensamblado e inspección colaborativa, en Eurecat

Control de un servodriver AKD de Kollmorgen usando el protocolo Modbus mediante el framework de ROS para el control de ejes lineales.

Fábrica Piloto para la fabricación, ensamblado e inspección colaborativa, en Eurecat

Control de un PLC SIEMENS mediante el framework de ROS para el control de actuadores, lectura de sensores, etc

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

El sistema de seguimiento de personas es capaz de detectar y localizar personas en un espacio tridimensional (área de trabajo) aun cuando las personas visten uniforme. El sistema hace uso de las imágenes facilitadas por dos cámaras RGB a partir de las que, realizando una calibración estéreo previa, se es capaz de desambiguar la posición 3D de las personas detectadas en el área. Para detectar las personas en las imágenes 2D se utiliza la red neuronal YOLO (You Only Look Once) y mientras que para hallar la correspondencia entre imágenes se utiliza una combinación de desambiguación geométrica, algoritmo Húngaro y filtro de Kalman. Además, si se tiene un mapa de la zona de trabajo, este se puede calibrar con respecto a una de las cámaras para obtener así la posición de las personas con respecto a ese mapa.

https://www.youtube.com/watch?v=hLU7O-QtBGw

Fábrica Piloto para la fabricación de grandes piezas, en Aimen

El Capturer y el Visualizer son una pareja de programas software complementarios desarrollados por AIMEN para facilitar la implementación de sistemas de monitorización y control de procesos de fabricación láser y fabricación aditiva, aunque podría usarse para muchos otros.

El Capturer es una pieza de software que se encarga de realizar las comunicaciones con diferentes dispositivos de recogida de datos, guardar dichos valores y de mostrar sus valores en tiempo real. Los dispositivos actualmente soportados son:

• Cámaras: cámaras GiGE Genicam (la mayoría de cámaras industriales Ethernet soportan este standard) y Clamir (cámara con capacidad de control en tiempo real a 1000Hz para procesos láser).
• Señales analógicas: ADC USB Labjack (para señales por debajo de 100Hz como termopares) y osciloscopios digitales PicoScope (para señales hasta 10kHz como señales eléctricas).
• Buses industriales: Profinet y Ethercat utilizando tarjetas PCI.
• OPC-UA: protocolo industrial de Industria 4.0 autodescriptivo sobre Ethernet.
• Ethernet: comunicación a través de sockets Ethernet con paquetes configurables. Utilizado para comunicarse con robots industriales (ABB y KUKA).
• Serial: puerto serie.

Los datos capturados se guardan en formato comprimido HDF5 con distribución interna de tablas diseñado por AIMEN, que permite guardar información heterogénea (imágenes, escalares, etc.) capturada a distintas frecuencias y relacionar los datos de las diferentes tablas. HDF5 permite además reducir el tamaño de las capturas aproximadamente a la mitad con respecto a formatos no comprimidos y permite acceder a los datos en el archivo sin cargar la totalidad del archivo en memoria, lo que permite grabar durante varias horas y generar archivos de varios GBs sin dificultar el acceso posterior.

La parte gráfica de la aplicación se ejecuta de manera separada y se comunica a través de OPC-UA con el núcleo de captura. Esto permite ejecutar la captura en dispositivos embebidos sin sistema de ventanas y permite también el poder visualizar los datos que se están capturando desde una computadora personal de manera remota (por ejemplo acceder desde una oficina a un equipo remoto en fábrica para revisar cómo evoluciona el proceso de captura).

El Visualizer es un programa que lee los archivos HDF5 grabados por el Capturer y permite realizar un análisis y tratamiento a los datos capturados. El Visualizer tiene las siguientes capacidades.

• Representación temporal de valores escalares.
• Representación de las imágenes capturadas en 2D y 3D con distintos esquemas de colores y opciones de procesado simples como suavizado o extracción de perfiles (cortes de la imagen por un plano).
• Representación 3D de parámetros escalares para detectar posibles variaciones que dependan de la geometría o localización la parte de la pieza que se está fabricando.
• Cálculo de características (features) de los datos capturados, como características de las imágenes y de señales eléctricas (Fourier, etc.).
• Corte de HDF5 y exportación a otros formatos: csv, png, etc.
• Reproductor para poder reproducir el proceso tal como se capturó en la realidad o a velocidad lenta o incluso muestra por muestra.

El Capturer y el Visualizer se usaron con éxito en los siguientes procesos: LMD (Laser Metal Deposition), PBF L-B/M (Poweder Bed Fusion), WAAM (Wire Arc Additive Manufacturing), Dual Submerged Arc Welding, MIG/MAG welding , TIG welding , PAW (Plasma) Laser welding, Hybrid welding (Laser-Arc). Sin embargo, debido a la naturaleza genérica del programa, se podría usar para cualquier otro proceso de fabricación en el que se necesite realizar una monitorización y control de las variables físicas.

Fábrica Piloto para la fabricación de grandes piezas, en Aimen

Sistema capaz de determinar las condiciones que afectan al desempeño de un operario que trabaja con un robot colaborativo a través de parámetros subjetivos.

El sistema estará compuesto de elementos hardware para la adquisición de imágenes del rostro y del habla del operario. También contará con un ordenador que recoja la información y la procese.

Una aplicación software la analizará y calculará valores que indiquen el nivel de fatiga, alerta, concentración, etc. que pueda tener el operario. Estos valores podrán ser consultados en cualquier momento mediante consulta a servicio web.

Estos indicadores podrían utilizarse como entradas para un sistema de toma de decisiones que varíe la rutina del robot colaborativo para adaptarse a las condiciones del operario en todo momento.

Fábrica Piloto para operaciones con materiales flexibles, en Cartif

El guiado manual consiste, como su nombre indica, en la capacidad de poder mover un robot de forma que cuyo movimiento venga dado por acción humana. Para ello, el sistema deberá obtener los esfuerzos que se están aplicando sobre un punto determinado con el fin de poder reaccionar a este esfuerzo. Esta información será obtenida por un sensor de esfuerzos de seis ejes. Por ejemplo, si aplicamos una fuerza en el eje -Z del TCP del robot, el movimiento que se deberá generar será la elevación del TCP. Este comportamiento será el que se siga para el resto de los momentos y esfuerzos.

El guiado manual presenta dos modos de funcionamiento: calibración del sensor de esfuerzos; y modo de guiado manual, cuya resistencia al movimiento producido por el operario se podrá modificar para facilitar el guiado. Además, este modo podrá activarse mediante la integración de un pulsador externo.

Fábrica Piloto para la fabricación de grandes piezas, en Aimen

Sistema software que permite programar un brazo robótico (virtual o real) a través de la interacción con su gemelo digital mediante comandos de voz y gestos.

El sistema está compuesto de dos módulos:

• Aplicación de realidad mixta para Microsoft Hololens 2 donde se muestra el gemelo digital del brazo robótico y con el que se interactúa.
• Módulo de cálculo de trayectorias y gestión de la información procedente de la aplicación de realidad mixta.

Los comandos de voz implementados son Planifica, Ejecuta, Menú, Recoloca y Bloquea, pudiendo incluirse nuevos a instancias del usuario.

Software capaz de detectar de manera automática una serie de comandos de voz previamente definidos por el usuario para poder facilitar la comunicación persona robot. El software funciona sin conexión a internet y una vez detectado un comando lo expone a otros sistemas mediante una conexión TCP/IP y/o un topic de ROS.

La finalidad de este sistema es de tener una solución sencilla, fácilmente integrable y que funciona de manera local en un PC o miniPC sin necesidad de grandes capacidades de cómputo.

El activo viene configurado de manera predefinida con las siguientes 5 órdenes: “robot parar», «robot siguiente», «robot continúa», «robot acabar» y “robot detener». Como se puede apreciar en este caso la palabra “robot” es la palabra clave que identifica el comienzo de un comando, de la misma manera que “OK Google” lo hace para los asistentes de voz de Google.

La configuración de estas órdenes queda definida en un diccionario específico que viene junto al activo.

Capa de software que permite interactuar mediante lenguaje natural con un sistema de Picking, permitiendo al usuario seleccionar el objeto a coger mediante comandos de voz, e indicando mediante gestos con la mano dónde desea depositar dicho objeto. El sistema de diálogo de voz está preparado para un demostrador compuesto por un robot colaborativo que puede realizar una tarea de picking de objetos, de distintas marcas y colores, y depositarlos en una de las dos cajas existentes. El usuario puede seleccionar la marca o color de los objetos a coger mediante comandos de voz, indicando mediante gestos con la mano dónde desea depositar dicho objeto. En caso de que el sistema necesite información adicional para completar la solicitud, éste solicitará al operario dicha información estableciendo un diálogo entre ambos.

La finalidad de este sistema es permitir que perfiles de usuarios no especializados ni formados puedan interactuar con sistemas de forma natural sin una formación experta en programación.

Solución software para el reconocimiento de gestos estáticos basado en el reconocimiento de partes del cuerpo de una persona para poder trasmitir órdenes a una máquina (Figura 2). Esta solución se compone de dos módulos.

• Un módulo de generación y entrenamiento de gestos. Permite generar modelos al usuario. Se almacenan imágenes de gestos realizados por distintas personas y se entrena un modelo de machine learning para el mismo.
• Un módulo de inferencia que se encarga de la detección de las partes del cuerpo de una persona y el reconocimiento del gesto en base a los modelos generados por el usuario, dando como salida el identificador del gesto.

Fábrica Piloto para procesamiento y manipulación de piezas en entornos de Industria 4.0, en Tekniker

Conjunto de paquetes ROS para el control del proyector láser ZLP1 utilizado para aplicaciones de Realidad Aumentada para guiado del operario.

Enlace al repositorio público:

• ROS Wiki: http://wiki.ros.org/z_laser_projector
• Repositorio: https://github.com/fada-catec/z_laser_projector

Entre estos paquetes se incluye por un lado el control del proyector: proyección de figuras, definición de sistemas de coordenadas, etc. (ver ROS wiki para más info).Y por otro lado incluye también una GUI de control para el usuario así como un visualizador de figuras en RViz.

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

Se dispone de un algoritmo de unfolding para prendas manipuladas por robot, es decir, prendas suspendidas en el aire sostenidas por un punto de agarre. El funcionamiento del algoritmo se en 4 fases:

• Coger la prenda (no identificada) de una superficie o un montón.
• Identificar y tomar el punto inferior de la pieza, por tenerla más controlada para la identificación de ésta (camiseta, pantalón, etc) a través de redes neuronales (NN).
• Una vez clasificada la prenda, identificar y coger el primer Unfolding Grasping Point a través de otra NN.
• Identificar y tomar el segundo Unfolding Grasping Point a través de otra NN.
• En este step tendríamos la prenda cogida por los dos Unfolding grasping points y procederíamos al movimiento de unfolding (por ahora lo hacemos en el aire)

Se dispone de dos bases de datos para la identificación de los unfolding grasping points.

Fábrica Piloto para la fabricación, ensamblado e inspección colaborativa, en Eurecat

Software capaz de resolver operaciones de detección de piezas, ubicadas dentro de un contenedor o sobre un plano, proporcionando a un robot la pose 6D del candidato seleccionado. Utilizando la información obtenida a través de un sensor 3D (nube de puntos), el software es capaz de identificar individuos, configurados previamente a partir de su modelo CAD, que se encuentren en el interior del contenedor o plano definidos. Entre todos los individuos identificados y mediante criterios de selección configurables, el software calcula el mejor candidato libre de colisiones en coordenadas del robot.

El sistema permite la conexión con diferentes fabricantes de robots mediante SOCKETS o a partir del protocolo industrial PROFINET.

Para poder indicar la pose del candidato en coordenadas del robot es necesario realizar un proceso de calibración que permita conocer la posición relativa del sensor 3D y del robot.

El software cuenta con los siguientes interfaces de configuración:

• Definición y búsqueda del contenedor o plano en el que se encuentran las piezas sobre una nube de puntos.
• Definición de puntos de agarre de la pieza definida por su CAD
• Configuración de parámetros de búsqueda de candidatos y testeo sobre una nube de puntos. Visualización de candidatos junto con el gripper sobre la escena de testeo con posibilidad de filtrar puntos de agarre con y sin colisiones.

Fábrica Piloto para procesamiento y manipulación de piezas en entornos de Industria 4.0, en Tekniker

Sistema basado en la integración de información de un escáner láser y sensores embarcados que ofrece una localización lo suficientemente robusta para ser usada en robots aéreos en entornos sin señal GPS.

Enlace al repositorio público:

• http://wiki.ros.org/amcl3d#preview
• https://github.com/fada-catec/amcl3d

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

Sistema software capaz de posicionar un robot móvil con respecto a una referencia externa al robot con una precisión centimétrica. El sistema está basado en una cámara embarcada en un robot móvil, un patrón o referencia visible por la cámara y un algoritmo de control del movimiento de la plataforma móvil.

El robot recibe una posición final determinada respecto a la marca de referencia. El sistema de visión calcula la posición actual del robot respecto de dicha marca. En el caso de que no sea la posición objetivo se envía al sistema de control un movimiento de la plataforma para corregir el offset obtenido. La plataforma se mueve para corregir el offset y a la vez obtiene su posición actual por medio del sistema de visión enviando una nueva corrección. Esto se realiza de forma cíclica hasta alcanzar la posición objetivo dentro de un margen de error determinado por el sistema.

El objetivo principal del sistema es utilizarlo en aquellas operativas donde se necesite un posicionamiento del robot muy preciso y de bajo coste.

Fábrica Piloto para procesamiento y manipulación de piezas en entornos de Industria 4.0, en Tekniker

Los modelos digitales 3D de entornos son de gran valor no sólo en robótica para tareas de localización, planificación o interacción, sino también en otros ámbitos como la cinematografía o el diseño, por ejemplo.

Sistema de localización y mapeo simultáneo activo (ASLAM), para la generación de un modelo digital 3D del entorno. Durante el mapeo autónomo, la cámara RGB-D incorporada en el robot se orienta siempre hacia el área del entorno del que se dispone menos información. Una vez finalizado el proceso se obtiene como resultado la reconstrucción parcial o total del entorno.

El sistema se ha validado en simulación, tal y como se muestra Figura 6.

Este activo consta de un conjunto de imágenes anotadas destinado a la clasificación del tipo de prenda de ropa en situación de manipulación por brazo robot, es decir, la prenda de ropa cuelga de un punto.

El conjunto está compuesto por un total de 37 capturas de cada prenda (rotaciones de 10º de la última articulación del brazo robótico) con imágenes RGB y de profundidad.

Las imágenes de ejemplo corresponden a una camisa larga (id CL01).

Estos datos se utilizan para entrenar el módulo clasificador.

Actualmente, se está comprobando la precisión de la red clasificadora con prendas no catalogadas.

Software para la conversión de etiquetas desde formatos estándares (PASCAL VOC, COCO, CVAT) al formato propio de YOLO.

Enlace al repositorio público:

• https://github.com/fada-catec/advice_AI4EU_experiment/tree/main/advice_label_format_converter

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

Gemelo Digital para un sistema de localización en interiores. El Gemelo Digital está basado en ROS, utilizando RViz como visualizador, mientras que el sistema de localización indoor utiliza tecnología de Ultra Width Band (UWB) para el posicionamiento y seguimiento de tags en tiempo real.

El sistema está formado por un conjunto de antenas cuya ubicación en la fábrica ha sido estudiada de manera estratégica de tal forma que se pueda abarcar la mayor área posible. Estas antenas funcionan triangulando la posición de los tags que se utilizan para hacer el seguimiento de los activos, tales como carros de transporte, etc. Para facilitar el trabajo de la figura del responsable de logística, se ha desarrollado este Gemelo Digital de la planta en el que se puede llevar un seguimiento en tiempo real de la posición de los tags, así como la trayectoria realizada. Este tipo de herramientas resultan muy útiles para estos operarios en el desempeño de tareas tales como la optimización de rutas, seguimiento del stock del almacén, disponibilidad de activos, entre otras.

Como se puede ver en la Figura, el Gemelo Digital de la planta consiste en un modelo 3D simplificado de las instalaciones de CATEC, aunque se está realizando pruebas de escaneo del entorno y mapeado con el fin de obtener un mapa de la fábrica lo más detallado y fiel posible a la realidad. Para estas pruebas se están utilizando sensores 2D y 3D integrados en un AGV que, utilizando la propia odometría del robot, son capaces de ir reconstruyendo el entorno a su alrededor de manera automática.

Interfaz basada en navegador web que permite comparar las predicciones del modelo (YOLOv4) con el groundtruth. A su vez, la interfaz permite modificar las etiquetas del dataset original a partir de las predicciones. Actualmente el modelo está entrenado para la predicción de defectos en la carretera, pero se puede adaptar modificando los pesos para una nueva aplicación

Enlace al repositorio público:

• https://github.com/fada-catec/advice_AI4EU_experiment/tree/local/advice-lat

Fábrica Piloto para la supervisión y soporte interactivo en procesos manuales, en Catec

El sistema de detección de proximidad o PDS (Proximity Detection System) es un sistema software capaz de medir la distancia relativa entre un robot y cualquier objeto o persona en su proximidad, basándose en la información de la nube de puntos proporcionada por un sensor (o conjunto de sensores), un modelo URDF del robot y su posición en tiempo real.

El objetivo principal del sistema es utilizarlo como parte de la estrategia de seguridad basada en control y monitorizado de velocidad y separación en escenarios colaborativos. Cuando el sistema se utiliza con un sensor RGB-D, se pueden diferenciar las diferentes partes del cuerpo de una persona en la imagen.

Fábrica Piloto para procesamiento y manipulación de piezas en entornos de Industria 4.0, en Tekniker

El sistema de seguimiento de personas es capaz de detectar y localizar personas en un espacio tridimensional (área de trabajo) aun cuando las personas visten uniforme. El sistema hace uso de las imágenes facilitadas por dos cámaras RGB a partir de las que, realizando una calibración estéreo previa, se es capaz de desambiguar la posición 3D de las personas detectadas en el área. Para detectar las personas en las imágenes 2D se utiliza la red neuronal YOLO (You Only Look Once) y mientras que para hallar la correspondencia entre imágenes se utiliza una combinación de desambiguación geométrica, algoritmo Húngaro y filtro de Kalman. Además, si se tiene un mapa de la zona de trabajo, este se puede calibrar con respecto a una de las cámaras para obtener así la posición de las personas con respecto a ese mapa.

Fábrica Piloto para la fabricación de grandes piezas, en Aimen