SciELO - Scientific Electronic Library Online

 
vol.9 número1Diseño de un amplificador lineal de microondas para portadoras de Banda-X índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Enfoque UTE

versión On-line ISSN 1390-6542versión impresa ISSN 1390-9363

Enfoque UTE vol.9 no.1 Quito ene./mar. 2018

http://dx.doi.org/10.29019/enfoqueute.v9n1.204 

Informática, TIC, ...

Implementación de un prototipo para captura y procesamiento digital de imágenes térmicas adquiridas desde un UAV

Implementation of a prototype for capture and digital processing of thermal images acquired from a UAV

Ricardo Llugsi1 

Renato Escandón¹ 

1 Escuela Politécnica Nacional, Quito - Ecuador, Ricardo.llugsi@epn.edu.ec, renato.escandon@epn.edu.ec.

Resumen:

El presente trabajo se enfoca en el desarrollo de un prototipo para captura y procesamiento de imágenes térmicas desde un UAV (Vehículo Aéreo no Tripulado). El sistema está compuesto por dos partes: una etapa “aire” instalada en un dron DJI Phantom 3 Standard; y, otra programada en un PC receptor denominada “tierra”. El sistema aire permite la adquisición de imágenes con el uso de 3 elementos: una cámara térmica Flir Lepton, una tarjeta Raspberry Pi y un módulo GPS (para georreferenciación), mientras que para la transmisión de las imágenes a tierra se hace uso de una red Ad-Hoc. En la PC se efectúa un análisis de la información mediante el uso de histogramas y la detección de bordes (algoritmo de Canny), lo que desemboca en la generación de un filtro que permitirá discriminar en qué fotografías se puede definir claramente la ubicación de puntos de calor, evitando así el desperdicio de tiempo y potencia de procesamiento en la detección de falsos positivos en las imágenes. Finalmente, y para la comprobación de la correcta operación del sistema, el prototipo fue probado en condiciones climáticas adversas (neblina) en el sector del volcán Pululahua.

Palabras clave: imágenes térmicas; dron; UAV; Raspberry Pi 3; Canny; histograma.

Abstract:

The present work focuses on the development of a prototype for capturing and processing thermal images from an Unmanned Aerial Vehicle (UAV). The system consists of two parts: an "air" stage installed in a DJI Phantom 3 Standard. And another programmed into a receiving PC called "ground". The “air” system is composed by a Flir Lepton thermal camera, a Raspberry Pi card and a GPS module (for georeferencing). After that the images are sent to the PC using an Ad-Hoc network. The PC performs an analysis of the information through the use of histograms and edge detection (Canny algorithm). An algorithm is obtained in order to discriminate photographs with clearly heat points. Through the use of the algorithm the probability of detecting false positives in the images is reduced avoiding a waste of time and power during the processing. Finally, to verify the correct operation of the system, the prototype was tested in adverse weather conditions (fog) in the Pululahua Volcano sector.

Keywords: thermal imaging; dron; UAV; Raspberry Pi 3; Canny; histogram.

1. Introducción

El uso de fotografía térmica se ha extendido de manera vertiginosa en los últimos años. Aplicaciones tales como el análisis de calor en circuitos eléctricos (Szafron, 2014), el cuidado de fauna silvestre (Christiansen, et al., 2014) y, búsqueda y rescate de personas (Albrigtsen, 2016) son las aplicaciones típicas de este tipo de sistemas. Además, es necesario comentar que, por lo general, estos prototipos basan su operación en el uso de cámaras térmicas y plataformas electrónicas costosas, y que en la mayoría de casos tienen el limitante de solo poder adquirir imágenes de forma manual. Es necesario mencionar también que hasta hace pocos años se plantearon nuevos enfoques en el uso de cámaras térmicas como la portabilidad en UAVs, esto se manifiesta por ejemplo en operaciones tales como la inspección del aislamiento en edificios (Zhang, et al., 2015), (Krawczyk, et al., 2015) o en el seguimiento de objetos (Albrigtsen, 2016).

El uso de drones en conjunto con el aparecimiento de hardware de bajo costo y el uso de software libre, han abierto en esta década un nuevo campo para el diseño de prototipos en Ecuador, estos proyectos se han enfocado en la adquisición de información tal como el levantamiento de fotografía para catastro (Rivera, 2017) o para el monitoreo y manejo ambiental (Ballari, et al., 2015). Los datos adquiridos por este tipo de sistemas pueden ser de utilidad en campos que afectan directamente a la ciudadanía, por ejemplo en la adquisición de información del clima (Suárez, et al., 2017).

Si se tiene en cuenta la información de los párrafos anteriores en este documento se presenta la creación de un sistema que puede ser aplicado, por ejemplo, para ayuda en las tareas de rescate de personas, o seres vivientes en general, en condiciones climáticas adversas, es decir en presencia de lluvia, neblina, etc. (Karpowicz, 2016).

2. Metodología

Al considerar que todo cuerpo, que tenga una temperatura superior a los 0 grados Kelvin, emite radiación infrarroja (Cengel, et al., 2015), se puede hacer uso de una cámara térmica en conjunto con hardware y software libre, para adquirir y procesar la radiación infrarroja (temperatura) emitida por los seres vivos (PROMAX, 2014). La localización de una persona se realizará al tener en cuenta que va a ser el punto de mayor calor en un área fría debido a condiciones de lluvia o neblina

En este proyecto se hace uso de una Cámara Térmica Flir Lepton, que funciona a partir de la proyección térmica que se obtiene de 16 microembolos instalados en la base de un lente de este dispositivo; una Tarjeta Raspberry Pi, la misma que es una pequeña computadora de un costo relativamente bajo (Raspberry Pi Foundation, 2016); y, un dispositivo GPS que permitirá también el registro de información geográfica mediante el cálculo de la posición del prototipo cuando se capte al menos la señal de 3 satélites (Renfro, 2017). Es necesario mencionar que todo el sistema de adquisición de información, sistema “aire”, está anclado a un dron que va a estar operado remotamente.

En la Figura 1, se presenta el diagrama de conexión física de los elementos de hardware del Sistema Aéreo. Para la conexión entre el Raspberry Pi 3 y la cámara térmica se utilizaron los pines 1, 3, 5, 19, 21, 23, 26 del interfaz GPIO de la tarjeta Pi (líneas en color azul), además, para la conexión del módulo GPS se representa el cableado con líneas naranjas y se utilizaron los pines 8, 9, 10,17, adicionalmente es pertinente comentar que los pines 8 y 10, interfaz UART, se conectan de forma cruzada con los pines del GPS es decir los pines 8 y 9 de la tarjeta Pi se conectan a los pines RX y TX respectivamente.

Finalmente, la conexión de la batería va al puerto mini USB que tiene la tarjeta Raspberry Pi la cual entrega un voltaje de 5V / 1 A. El dron seleccionado es el Phantom 3 DJI Standard, el mismo que ha sido usado exitosamente con anterioridad para portar prototipos de adquisición de información (Suárez, et al., 2017).

Para la transmisión de las imágenes se hace uso de una red Ad-Hoc entre el sistema “aire”, y una computadora en el piso, sistema “tierra”. El sistema en tierra permite la adquisición, almacenamiento y presentación de las imágenes térmicas en un computador portátil, esto se realiza con el propósito que puedan ser analizadas por el personal correspondiente, por ejemplo un rescatista al momento de realizar tareas de búsqueda y rescate.

Fig. 1: Componentes del Sistema Aéreo 

Este enlace también permite a un operador desde la PC emitir un comando que solicite al sistema “aire” la adquisición de la imagen térmica en cualquier momento.

Para la transmisión de las imágenes se escoge el uso de un streaming de video ya que el mismo se diferencia de una descarga normal de archivos en que no se debe esperar que los archivos se descarguen por completo para poder utilizarlos (Intriago, 2016), lo cual facilita el uso de este sistema en condiciones climáticas adversas.

Para recibir las imágenes térmicas se plantea el uso del sistema descrito en el diagrama de bloques de la Figura 2, en el mismo se cita en un primer nivel el hardware que corresponde al computador portátil, en el segundo nivel se utiliza el sistema operativo Windows 7, y en el tercer nivel se requiere la instalación del programa Visual Studio 2013 y del sistema de manejo de bases de datos SQL Server. Para el almacenamiento de las imágenes con su ubicación geográfica se requiere de una base de datos por lo que se utilizará el sistema de manejo de bases de datos Microsoft SQL Server 2014 que es desarrollado por la empresa Microsoft. La base de datos constará de una sola tabla que servirá para el registro de las imágenes térmicas con la información de ubicación y tiempo.

Fig. 2: Diagrama general Sistema Tierra 

Una vez conseguida la plataforma para toma de imágenes infrarrojas, se procede a procesar dichas fotografías tomando en cuenta dos etapas: el análisis del histograma de la imagen infrarroja; y la aplicación del algoritmo de Canny (Gomes, 2014), para la detección de los bordes de los focos de calor de la imagen.

En la primera etapa se busca determinar, mediante la inspección de la distribución de tonos en el histograma, si una fotografía térmica puede o no brindar información con respecto a la localización de focos de radiación. Al considerar que un histograma es un gráfico de barras, que indica la distribución de un conjunto de datos (colores), se ha escogido su uso ya que permite de forma rápida resumir grandes cantidades de información de forma ordenada.

Seguidamente se detectan los bordes de la imagen para determinar, en forma gráfica, la ubicación del punto de radiación de calor en la fotografía térmica. Para llevar a cabo lo anterior se toma como base de procesamiento el algoritmo de detección de bordes de Canny, el mismo que implica la realización de los siguientes pasos:

Convolución de una imagen con un filtro Gaussiano , esto se realiza con el fin de reducir el efecto del ruido en imágenes, que afecta a la detección de bordes. El proceso de convolución permite que la imagen sea “suavizada” y de esta forma se reduzca el efecto del ruido.

Si se tiene en cuenta que la ecuación que define una función Gaussiana de dos dimensiones (Gomes, 2014) es la siguiente:

(1)

Se puede hacer uso de un filtro Gaussiano, por ejemplo de tamaño 5x5 con una desviación estándar de 1.4, para convolucionar a la imagen bajo análisis. El filtro mencionado puede ser implementado con el siguiente vector (forma aproximada):

Obteniéndose finalmente

(2)

A continuación se busca determinar los gradientes de intensidad de la imagen. Un gradiente de imagen es un cambio de dirección en su intensidad o color. El gradiente puede ser utilizado para encontrar la combinación de colores que implica una estratificación gradual del color (conocida también como “progresión del color”), es decir la variación de colores desde un valor bajo a uno alto.

Una vez que se ha procesado el filtro Gaussiano en la imagen, el resultado de la convolución es utilizado para obtener el gradiente a través de las derivadas parciales de los ejes “x”, “y” de la siguiente forma:

(3)

(4)

Lo anterior se obtiene de promediar las diferencias finitas sobre un cuadrado de dimensión 2 x 2. Seguidamente es necesario obtener la magnitud y el ángulo del arreglo , por lo cual se realiza la conversión rectangular-polar de las relaciones anteriores como se detalla a continuación:

(5)

(6)

Al momento de obtener los valores del gradiente se generan crestas anchas alrededor de los puntos máximos de la imagen, esto se constituye en un problema que puede ser mitigado con el uso de mecanismos de supresión de valores determinados como “no máximos”. Con la aplicación del método anterior se pueden equiparar todos los valores de gradiente a 0 (para ángulos de ±45°), excepto en los puntos máximos, lo que permite ubicar los cambios más agudos del valor de intensidad en la imagen.

Para el siguiente paso es necesario utilizar un valor de umbral en la dirección horizontal y vertical , que permita reducir los puntos en los cuales se tienen falsos bordes generados por ruido en la imagen. De lo anterior se genera un problema, la imagen final presenta discontinuidades en los bordes, para solventar este inconveniente es necesario identificar los pixeles “débiles” de la imagen y validarlos como pertenecientes a las imágenes. Una vez que se han realizado las actividades anteriores es posible determinar con precisión los bordes de un cuerpo contenidos en una imagen.

3. Resultados y Discusión

Las pruebas de este sistema fueron realizadas el 17 de febrero de 2017, en el sector del volcán Pululahua, ubicado a 17 km de la ciudad de Quito a una altura de 3066 metros, con una temperatura de 14°C y con presencia de neblina. La posición del dron fue de aproximadamente 40 metros de altura sobre el nivel del piso. Las coordenadas del sitio para pruebas se adquirieron con ayuda del dispositivo GPS portátil etrex y fueron las siguientes 00°01'25.9"N 78°30'14.9"W, según la Figura 3.

Fig. 3: Sitio de pruebas en el volcán Pululahua 

Adicionamente, en la Figura 4, se presenta la ubicación del lugar de pruebas del prototipo en Google Maps.

Fig. 4: Sitio de pruebas en el volcán Pululahua 

Para realizar un análisis adecuado de las imágenes infrarrojas, y la posterior determinación del algoritmo a usarse en el proyecto, se sobrevoló el sector por aproximadamente 30 minutos, adquiriendo 30 imágenes térmicas, de las cuales se escogieron 6 fotografías, ver Figura 5, en las que se puede apreciar de forma clara los puntos de radiación de calor.

Fig. 5: Análisis de ubicación de fuente de calor: (a) definitiva, (b) probable y (c) indeterminada 

Las imágenes térmicas fueron tomadas alrededor del lugar señalado (50 metros a la redonda) en la Figura 4, los puntos calientes representan los focos de radiación de un auto y 4 personas a la altura del piso. El tiempo en el cual se logra detectar el foco de radiación en la imagen no es fijo ya que, a pesar de que el dron tiene una excelente estabilidad, las condiciones climáticas cambian constantemente debido al viento presente en la ladera del cráter del volcán. La cantidad de falsos positivos en las imágenes es alto ya que de las 30 imágenes obtenidas solo en un 60% se detecta con claridad el foco de calor, en los otros casos la variación de temperatura detectada por la cámara no permite determinar con claridad el foco de radiación.

Es pertinente acotar que en las pruebas realizadas se determinó que a alturas más bajas la precisión en la detección de los puntos de radiación de calor mejora, pero el sobrevuelo de un dron en lugares con presencia de árboles tales como el bosque lluvioso en Ecuador, dificulta un sobrevuelo a baja altura, adicionalmente es pertinente mencionar que mientras más altitud se tenga se cubre una mayor área lo cual facilita realizar tareas de búsqueda.

La programación resumida que se usó para analizar las fotografías térmicas mencionadas se ofrece en el programa de la Figura 6.

Figura. 6: Algoritmo para la realización de histogramas y aplicación del algoritmo de Canny  

A continuación, en la Figura 7, se muestran los histogramas de las imágenes térmicas con el propósito de mostrar al lector la base del concepto manejado en este trabajo, que es en su forma más simple, indicar que mientras la distribución de colores de la imagen esté más orientada a la derecha del histograma, la probabilidad que en la imagen se encuentren falsos positivos disminuirá.

Fig. 7: Histogramas de las imágenes térmicas. 

En la Figura 8 se aprecian las imágenes con detección de borde (después de la aplicación del algoritmo de Canny) de cada una de las imágenes térmicas analizadas en este trabajo.

Es pertinente comentar que la imagen térmica fue obtenida con la cámara térmica Flir leptón, la misma que tiene una resolución de 80 × 60 pixeles, lamentablemente no se puede inherentemente mejorar la calidad y resolución de las imágenes.

De forma general se puede apreciar que después de la aplicación del algoritmo de Canny, en todas las imágenes existe un área delimitada que podría determinar la ubicación de puntos calientes. Sin embargo al comparar las imágenes térmicas con las obtenidas después de la aplicación del algoritmo, se puede apreciar que varias de estas áreas encierran falsos positivos. A continuación se realiza un análisis de la ubicación de puntos calientes “reales” a base del histograma de cada imagen.

Las Figuras 7 (b) y (e) muestran un histograma fuertemente orientado hacia la izquierda, lo cual indica una mayor presencia de tonos oscuros, esto limita la ubicación inmediata del punto de calor, aunque se pueda discriminar una cierta “área” en donde podría encontrarse el foco de radiación, existe una alta probabilidad de encontrar falsos positivos, ver Figuras 8 (b) y (e).

Fig. 8: Imágenes de la detección de bordes de las imágenes térmicas 

Asímismo, en los histogramas de las Figuras 7 (d) y (f), se aprecia que una orientación de los tonos a la derecha (tonos claros) del histograma, implica una reducción considerable de la probabilidad de encontrar falsos positivos en la imagen, es decir la probabilidad de ubicar efectivamente el punto de emisión de calor en la fotografía aumenta, ver Figuras 8 (d) y (f).

Es pertinente comentar que en la Figura 7 (c), se presenta un caso bastante particular, en las pruebas realizadas en el cráter del volcán Pululahua se pudo determinar, que a pesar de tener condiciones de poca visibilidad y temperaturas de 15°C, la carretera (lastrada) presenta una temperatura bastante mayor que la del follaje que la rodea. En ese sentido es difícil determinar el punto específico de radiación de calor ya que el área que abarca la carretera es bastante extensa y presenta una temperatura, a la altura del dron, bastante similar.

Finalmente en la Figura 7 (a) se aprecia que, a pesar que el histograma expone un mayor contenido de muestras de tonos oscuros (izquierda del histograma) que de tonos claros, el mismo se extiende ocupando casi todo el rango de tonos, esto indica que la imagen térmica presenta un adecuado contraste, lo que implica a su vez una alta probabilidad de discriminar totalmente el punto de emisión de calor una vez que se aplique el algoritmo de Canny, ver Figura 8 (a).

Si se tiene en cuenta los resultados descritos en los anteriores párrafos y que el rango total del histograma analizado es de 256, se puede dividir el mismo en dos partes, para discriminar que imágenes tienen mayor probabilidad de mostrar en forma clara los puntos de radiación de calor.

Se establecen dos partes, la sección A (colores con numeración menor o igual a 128) y la sección B (colores con numeración mayor a 128). Mediante la división anterior se puede decir que, si el histograma de una imagen presenta una cantidad de elementos, distribuida en un número igual en A que en B, o que está ubicada mayoritariamente en la sección A, la imagen va a brindar una buena noción de la posición de los puntos de calor, por lo cual esta sería la imagen que puede ser usada para detectar los focos de calor en las fotografías térmicas; de lo contrario, el análisis de la imagen se vuelve difuso y no se puede identificar el origen de la fuente de calor, lo anteriormente descrito se constituye en el filtro aplicado a las imágenes térmicas usado en el prototipo. Un esquema resumido de la programación realizada se presenta en el programa de la Figura 9.

Fig. 9: Algoritmo para evaluación de imágenes térmicas  

Una vez implementado el algoritmo anterior, el 15 de julio de 2017 se realizaron nuevamente pruebas en el sitio antes mencionado, con un sobrevuelo que duró 15 minutos, y en el cual se configuró al sistema para tomar fotografías cada 30 segundos, la cantidad de fotografías adquiridas fue de 23, de las cuales el algoritmo descartó automáticamente 9. Los falsos positivos detectados en las imágenes que no fueron rechazadas por el algoritmo aparecieron en 5 imágenes más, por lo que se puede decir que al momento de aplicar el procedimiento antes descrito el porcentaje de falsos positivos en las imágenes térmicas se redujo a 22%.

4. Conclusiones y recomendaciones

La tarjeta Raspberry usada contribuyó profundamente en la realización del proyecto, ya que permitió la implementación del sistema de adquisición de imagen térmica, la tarjeta se constituye por tanto en un sistema fiable, de bajo costo y que principalmente brinda facilidades físicas de instalación en un dron.

El tipo de análisis de imágenes infrarrojas presentado en este documento, permite implementar una metodología para determinar qué imágenes infrarrojas pueden usarse o no en un proceso de búsqueda de focos de radiación. Esto reduce el tiempo de detección de un foco de calor, ya que se genera una etapa inicial de filtrado de imágenes, y se evita la localización de falsos positivos y el consecuente desperdicio de potencia computacional.

Es necesario comentar que los resultados del algoritmo de Canny, en este caso, son aproximaciones de los límites entre las variaciones de color, y al tener en cuenta la baja resolución de la cámara, esto limita la efectiva determinación de dichos límites.

Una fotografía que presente un histograma distribuido casi uniformemente o que esté orientado a su izquierda, es la imagen que debería ser procesada preferentemente, por ejemplo, por un algoritmo de detección de patrones en imágenes, ya que en la misma se podrá discriminar de forma clara un punto o un área en la que se encuentre el foco de radiación. Además, una fotografía que tenga un histograma orientado a su derecha debería descartarse para evitar así un desperdicio de tiempo y potencia computacional.

La cantidad de falsos positivos detectados en las imágenes obtenidas en este trabajo fue inicialmente de un 40%, al momento de aplicar el procedimiento descrito el porcentaje de falsos positivos se redujo a 22%.

Bibliografía

Albrigtsen A. (2016) The application of unmanned aerial vehicles for snow avalanche search and rescue. Faculty of Science and Technology, Department of Engineering and Safety. The Artic University of Norway. [ Links ]

Ballari D., Acosta E., Espinoza A., Orellana D., Morocho V., Martin M., Hardter U. (2015). Análisis de imágenes UAV de las Islas Galápagos. Revista Geoespacial. No 12. ESPE. [ Links ]

Cengel Y., Ghajar A. (2015). Heat and Mass Transfer. 5a Edición. Editorial Wiley. [ Links ]

Christiansen P., Steen K., Jørgensen R., Karstoft H. (2014). Automated Detection and Recognition of Wildlife Using Thermal Cameras. Sensors Journal. Vol 14. [ Links ]

Gomes A. (2014). Computación visual y multimedia. Detección de Bordes. Universidad de Beira Interior. Portugal. [ Links ]

Intriago E. (2016). Análisis de tecnologías de Streaming: evaluación de protocolos y diseño de un caso de estudio. Universidad Politécnica de Madrid. [ Links ]

Karpowicz J. (2016). The Power and Potential of Drones. UAVs for Law Enforcement, First Response & Search and Rescue (SAR). Commercial UAV Expo. Las Vegas. [ Links ]

Krawczyk J., Mazur A., Sasin T., Stokłosa A. (2015). Infrared building inspection with unmanned aerial vehicles. Transactions of the institute of aviation. [ Links ]

PROMAX (2014). Cámara Termográfica: Cómo funcionan y por qué pueden ser necesarias. Recuperado de: http://www.promax.es (accedido el 10/06/2017). [ Links ]

Raspberry Pi Foundation (2016). Recuperado de: https://www.raspberrypi.org (accedido el 25/07/2016). [ Links ]

Renfro B., Rosenquest J., Terry A., Boeker N. (2017). An Analysis of Global Positioning System (GPS) Standard Positioning System (SPS) Performance for 2015. Space and Geophysics Laboratory. Applied Research Laboratories. The University of Texas at Austin. [ Links ]

Rivera J. (2017). Evaluación de Método de Corrección Geométrica de Fotografía Aérea escala 1:1.000 capturada por vehículos aéreos no tripulados estableciendo una red Geodésica de cuarto orden. Eje 5: Cartografía, catastro y Sistemas de Información Geográfica Municipales. Ponencia 1. Universidad del Azuay. [ Links ]

Suárez A., Llugsi R., Lupera P., Chango R. (2017). Implementación de un Sistema Aéreo de Medición y Almacenamiento de Parámetros Meteorológicos Georreferenciados para Zonas Pequeñas. Revista Politécnica, Vol. 39, No 2, p. 17 - 26. [ Links ]

Szafron C. (2014). Application of thermal imaging in electrical equipment examination. Wroclaw University of Technology. Poland. [ Links ]

Zhang J., Jung J., Sohn G., Cohen M. (2015). Thermal infrared inspection of roof insulation using unmanned aerial vehicles. International Conference on Unmanned Aerial Vehicles in Geomatics, Canada. [ Links ]

Recibido: 28 de Octubre de 2017; Aprobado: 30 de Marzo de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons