Unsupervised deep learning encoders/decoders for laparoscopic 3D depth estimation and surface reconstruction

Accurate and real-time methodologies for a non-invasive three-dimensional representation and reconstruction of internal patient surfaces is one of the main research fields in computer-assisted surgery and endoscopy. Mono and stereo endoscopic images of soft tissues and observable organs are converted into three-dimensional representation by the estimation of depth maps. In this Thesis, I developed and tested self-supervised stacked and Siamese encoder/decoder neural networks suited to work during a minimally invasive surgery, while respecting the constraint of real-time and in mono and/or stereo configurations. Computed depth-maps from monocular and stereo endoscopic images are tested with three different test sets known in literature and with a new challenging test set generated through simulated environments. I introduced also a fuzzy adaptive algorithm to fine tune depth estimations perturbed by specular reflection and other artifacts. The models I present outperform mono and stereo depth estimation obtained by state-of-the-art models on similar researches. Extensive robustness and sensitivity analyses on more than 30 000 frames are performed. This Research Thesis leads to important results and improvements in monocular and stereo real-time depth estimations of soft tissues by showing, also, their efficacy and applicability in real surgical workd-flows

Le metodologie accurate e in tempo reale per una rappresentazione e ricostruzione tridimensionale non invasiva delle superfici interne dei pazienti rappresentano uno dei principali campi di ricerca nella chirurgia assistita dal computer e nell’endoscopia. Le immagini endoscopiche mono e stereo dei tessuti morbidi e degli organi osservabili vengono convertite in rappresentazioni tridimensionali mediante la stima delle mappe di profondità. In questa tesi, ho sviluppato e testato reti neurali encoder/decoder stacked e siamesi auto-supervisionate adatte a funzionare durante un intervento chirurgico mininvasivo, rispettando il vincolo del tempo reale e in configurazioni mono e/o stereo. Le mappe di profondità calcolate da immagini endoscopiche monoculari e stereo sono state testate con tre diversi insiemi di test noti nella letteratura e con un nuovo insieme di test sfidante generato attraverso ambienti simulati. Ho introdotto anche un algoritmo adattivo fuzzy per affinare le stime di profondità perturbate da riflessi speculari e altri artefatti. I modelli che presento superano le stime di profondità mono e stereo ottenute dai modelli all’avanguardia su ricerche simili. Analisi di robustezza ed analisi di sensibilità estensive su più di 30 000 fotogrammi sono state eseguite. Questa tesi di ricerca porta a risultati importanti e miglioramenti nelle stime di profondità in tempo reale monoculari e stereo dei tessuti morbidi mostrando anche la loro efficacia e applicabilità nei flussi di lavoro chirurgici reali