Automated identification of diverse Neotropical pollen samples using convolutional neural networks

Abstract

• Pollen is used to investigate a diverse range of ecological problems, from identifying plant–pollinator relationships to tracking flowering phenology. Pollen types are identified according to a set of distinctive morphological characters which are understood to capture taxonomic differences and phylogenetic relationships among taxa. However, categorizing morphological variation among hyperdiverse pollen samples represents a challenge even for an expert analyst.

• We present an automated workflow for pollen analysis, from the automated scanning of pollen sample slides to the automated detection and identification of pollen taxa using convolutional neural networks (CNNs). We analysed aerial pollen samples from lowland Panama and used a microscope slide scanner to capture three‐dimensional representations of 150 sample slides. These pollen sample images were annotated by an expert using a virtual microscope. Metadata were digitally recorded for ~100 pollen grains per slide, including location, identification and the analyst's confidence of the given identification. We used these annotated images to train and test our detection and classification CNN models. Our approach is two‐part. We first compared three methods for training CNN models to detect pollen grains on a palynological slide. We next investigated approaches to training CNN models for pollen identification.

• Because the diversity of pollen taxa in environmental and palaeontological samples follows a long‐tailed distribution, we experimented with methods for addressing imbalanced representation using our most abundant 46 taxa. We found that properly weighting pollen taxa in our training objective functions yielded improved accuracy for individual taxa. Our average accuracy for the 46‐way classification problem was 82.3%. We achieved 89.5% accuracy for our 25 most abundant taxa.

• Pollen represents a challenging visual classification problem that can serve as a model for other areas of biology that rely on visual identification. Our results add to the body of research demonstrating the potential for a fully automated pollen classification system for environmental and palaeontological samples. Slide imaging, pollen detection and specimen identification can be automated to produce a streamlined workflow.

Resumen

• El polen es utilizado para investigar una amplia gama de problemas ecológicos, desde la identificación de las relaciones planta‐polinizador hasta la fenología de floración. Los tipos de polen son identificados de acuerdo con un conjunto de caracteres morfológicos distintivos que permiten diferenciarlos taxonómicamente, así como entender sus relaciones filogenéticas. Sin embargo, categorizar la variación morfológica entre la gran diversidad de tipos de polen, representa un desafío incluso para un analista experto.

• Presentamos un modelo de trabajo automatizado para el análisis de polen, desde el escaneo automatizado de preparaciones permanentes de polen hasta la detección e identificación automatizada de los taxones correspondientes utilizando redes neuronales convolucionales (CNN). Analizamos 150 muestras independientes del polen presente en el ambiente de un bosque bajo tropical en Panamá utilizando un microscopio especial para escanear preparaciones permanentes de polen y capturar representaciones tridimensionales. Estas imágenes del polen fueron reconocidas por un experto utilizando un microscopio virtual y los datos se registraron digitalmente para ~100 granos de polen por preparación, incluyendo la ubicación e identificación. Utilizamos estas imágenes para entrenar y probar nuestros modelos CNN de detección y clasificación. Enfocamos nuestro plan en dos partes. Primero, comparamos tres métodos para entrenar modelos CNN para detectar granos de polen en una preparación palinológica permanente. Segundo, investigamos los enfoques para entrenar modelos de CNN para la identificación del polen.

• Debido a que la diversidad de taxones de polen en muestras ambientales y paleontológicas sigue una distribución de cola larga, experimentamos con métodos para abordar la representación desequilibrada utilizando los 46 taxones más abundantes. Encontramos que la ponderación adecuada de los taxones de polen en nuestras funciones objetivas de entrenamiento, produjo una mejor precisión para los taxones individuales. Nuestra precisión promedio para la clasificación de 46 vías fue del 82,3% y logramos una precisión del 89,5% para nuestros 25 taxones más abundantes.

• El polen representa un problema de clasificación visual desafiante que puede servir como modelo para otras áreas de la biología que se basan en la identificación visual. Nuestros resultados contribuyen a la investigación que demuestra el potencial del sistema de clasificación de polen totalmente automatizado para muestras ambientales y paleontológicas. Las imágenes de las preparaciones permanentes, la detección de polen y la identificación de muestras se pueden automatizar para producir un flujo de trabajo optimizado.