TOWARD COGNITIVE SITUATION-AWARE WEARABLE INTELLIGENT SYSTEMS: ARCHITECTURE, MODELING, AND APPLICATIONS

THE RAPID DEVELOPMENT OF WEARABLE TECHNOLOGIES HAS TRANSFORMED HUMAN INTERACTION WITH THE SURROUNDING ENVIRONMENT. HOWEVER, MOST EXISTING SYSTEMS REMAIN REACTIVE, MERELY COLLECTING AND PROCESSING SENSOR DATA WITHOUT UNDERSTANDING OR ANTICIPATING THE SITUATIONS IN WHICH USERS OPERATE. THE GOAL OF THIS PH.D. THESIS IS TO ADDRESS THIS GAP BY DESIGNING A COGNITIVE AND SITUATION-AWARE WEARABLE INTELLIGENT SYSTEM (SA-WCS), INSPIRED BY ENDSLEY’S MODEL OF SITUATION AWARENESS (SA) AND THE COGNITIVE MECHANISMS OF THE HUMAN BRAIN. TO ACHIEVE THIS GOAL, THE RESEARCH BEGINS BY REVISITING THE THEORETICAL FOUNDATION OF SA AND INTRODUCES COMPUTATIONAL APPROACHES FOR SA SYSTEMS , WHICH DESCRIBE HOW HUMANS PERCEIVE, COMPREHEND, AND PROJECT ENVIRONMENTAL INFORMATION TO MAKE ADAPTIVE DECISIONS. BUILDING ON THESE PRINCIPLES AND COMPUTATIONAL APPROACHES, THIS STUDY INTRODUCES THE SA-WCS REFERENCE ARCHITECTURE, A MULTILAYERED COMPUTATIONAL FRAMEWORK THAT EMULATES THE THREE COGNITIVE LAYERS OF SA. EACH LAYER DEFINES A FUNDAMENTAL COGNITIVE FUNCTION: THE PERCEPTION LAYER RECOGNIZES HUMAN ACTIVITIES FROM MULTIMODAL WEARABLE SENSOR DATA, THE COMPREHENSION LAYER INTERPRETS CONTEXTUAL INFORMATION TO IDENTIFY MEANINGFUL SITUATIONS, AND THE PROJECTION LAYER ANTICIPATES FUTURE STATES AND SUPPORTS PROACTIVE ADAPTATION. AT THE PERCEPTION LEVEL, THE SYSTEM RECOGNIZES HUMAN ACTIVITIES FROM HETEROGENEOUS WEARABLE DEVICES USING MACHINE LEARNING. THE COMPREHENSION LAYER EXTENDS THIS UNDERSTANDING THROUGH CONTEXT REPRESENTATION MODELS TO IDENTIFY MEANINGFUL SITUATIONS BY DEVELOPING CONTEXT RECOGNITION TECHNIQUES, EVOLVING FROM EXPERT-DRIVEN CONTEXT SPACE THEORY (CST) AND FUZZY INFERENCE SYSTEMS TO A DATA-DRIVEN CONTEXT SPACE THEORY (DD-CST) TECHNIQUE. BOTH PERCEPTION AND COMPREHENSION INTERACT CONTINUOUSLY, MIRRORING THE HUMAN COGNITION. TO SUPPORT THIS INTERACTION, WE INTRODUCED AN ADAPTIVE FEEDBACK LOOP THAT ALLOWS COMPREHENSION TO REFINE PERCEPTION IN REAL TIME BY ADAPTING SENSING RATES AND FEATURE SELECTION BASED ON THE CURRENT SITUATION. THIS FEEDBACK MECHANISM ENHANCES ENERGY EFFICIENCY AND MIRRORS SELECTIVE HUMAN ATTENTION BY CONTINUOUSLY PRIORITIZING RELEVANT SENSORY INPUTS. FURTHERMORE, THE ARCHITECTURE IS EXTENDED WITH A SITUATION-AWARE GENERATIVE SENSING LAYER TO OVERCOME THE LIMITATIONS OF DATA IMBALANCE AND SPARSE CONTEXTUAL COVERAGE. THIS LAYER CAN SYNTHESIZE REALISTIC MULTIMODAL DATA USING CONDITIONAL GENERATIVE MODELING. THIS ENHANCEMENT SUPPORTS THE COGNITIVE LOOP BETWEEN PERCEPTION AND COMPREHENSION, ENABLING THE SYSTEM TO LEARN EFFECTIVELY, EVEN IN DATA-SCARCE SCENARIOS. AT THE LAST LEVEL (PROJECTION), THE FRAMEWORK EMPOWERS THE SYSTEM TO ANTICIPATE FUTURE SITUATIONS BY ANALYZING THE SEQUENTIAL DEPENDENCIES AMONG RECOGNIZED SITUATIONS. SEVERAL DATA MINING TECHNIQUES SUCH AS SEQUENTIAL PATTERN MINING (SPM) AND SEQUENTIAL RULE MINING (SRM), HAVE BEEN EMPLOYED TO CONSTRUCT A CAUSALITY-BASED PREDICTION FRAMEWORK, OFFERING A MACHINE INTERPRETATION OF THE HUMAN ABILITY TO ANTICIPATE WHAT COMES NEXT. MOREOVER, THE PROPOSED ARCHITECTURE WAS EVALUATED USING REAL-WORLD DATASETS, SUCH AS EXTRASENSORY, DOMINO, AND CLINICAL SENSOR DATA (HYPERAKTIV), CONSISTENTLY OUTPERFORMING TRADITIONAL ONE-STEP MACHINE LEARNING MODELS IN TERMS OF ACCURACY, BALANCED RECOGNITION, AND COMPUTATIONAL EFFICIENCY. IN ADDITION TO THESE EVALUATIONS, THE PROPOSED ARCHITECTURE (SA-WCS) WAS VALIDATED IN THE HEALTHCARE DOMAIN USING GRANULAR SITUATION-AWARE MULTIMODAL ADHD RECOGNITION TECHNOLOGY (G-SMART), WHICH INTEGRATES PHYSIOLOGICAL (HRV) AND BEHAVIORAL (ACTIVITY) SIGNALS TO MONITOR ATTENTION-DEFICIT/HYPERACTIVITY DISORDER (ADHD) SYMPTOMS IN A TEMPORALLY AND SITUATIONALLY AWARE MANNER. IN CONCLUSION, THIS THESIS PRESENTS A COGNITIVE FRAMEWORK FOR SITUATION-AWARE WEARABLE, ADVANCING WEARABLE SYSTEMS FROM REACTIVE SENSING TO EXPLAINABLE, GENERATIVE INTELLIGENCE FOR HUMAN-CENTRIC REASONING.

IL RAPIDO SVILUPPO DELLE TECNOLOGIE INDOSSABILI HA TRASFORMATO L'INTERAZIONE UMANA CON L'AMBIENTE CIRCOSTANTE. TUTTAVIA, LA MAGGIOR PARTE DEI SISTEMI ESISTENTI RIMANE REATTIVA, LIMITANDOSI A RACCOGLIERE ED ELABORARE I DATI DEI SENSORI SENZA COMPRENDERE O ANTICIPARE LE SITUAZIONI IN CUI GLI UTENTI OPERANO. L'OBIETTIVO DI QUESTA TESI DI DOTTORATO È COLMARE QUESTA LACUNA PROGETTANDO UN SISTEMA INTELLIGENTE INDOSSABILE COGNITIVO E CONSAPEVOLE DELLA SITUAZIONE (SA-WCS), ISPIRATO AL MODELLO DI CONSAPEVOLEZZA DELLA SITUAZIONE (SA) DI ENDSLEY E AI MECCANISMI COGNITIVI DEL CERVELLO UMANO. PER RAGGIUNGERE QUESTO OBIETTIVO, LA RICERCA INIZIA RIVISITANDO I FONDAMENTI TEORICI DELLA SA E INTRODUCE APPROCCI COMPUTAZIONALI PER I SISTEMI SA, CHE DESCRIVONO COME GLI ESSERI UMANI PERCEPISCONO, COMPRENDONO E PROIETTANO LE INFORMAZIONI AMBIENTALI PER PRENDERE DECISIONI ADATTIVE. BASANDOSI SU QUESTI PRINCIPI E APPROCCI COMPUTAZIONALI, QUESTO STUDIO INTRODUCE L'ARCHITETTURA DI RIFERIMENTO SA-WCS, UN FRAMEWORK COMPUTAZIONALE MULTISTRATO CHE EMULA I TRE LIVELLI COGNITIVI DELLA SA. OGNI LIVELLO DEFINISCE UNA FUNZIONE COGNITIVA FONDAMENTALE: IL LIVELLO DI PERCEZIONE RICONOSCE LE ATTIVITÀ UMANE DAI DATI MULTIMODALI DEI SENSORI INDOSSABILI, IL LIVELLO DI COMPRENSIONE INTERPRETA LE INFORMAZIONI CONTESTUALI PER IDENTIFICARE SITUAZIONI SIGNIFICATIVE E IL LIVELLO DI PROIEZIONE ANTICIPA GLI STATI FUTURI E SUPPORTA L'ADATTAMENTO PROATTIVO. A LIVELLO DI PERCEZIONE, IL SISTEMA RICONOSCE LE ATTIVITÀ UMANE DA DISPOSITIVI INDOSSABILI ETEROGENEI UTILIZZANDO L'APPRENDIMENTO AUTOMATICO. IL LIVELLO DI COMPRENSIONE ESTENDE QUESTA COMPRENSIONE ATTRAVERSO MODELLI DI RAPPRESENTAZIONE DEL CONTESTO PER IDENTIFICARE SITUAZIONI SIGNIFICATIVE SVILUPPANDO TECNICHE DI RICONOSCIMENTO DEL CONTESTO, EVOLVENDO DALLA CONTEXT SPACE THEORY (CST) GUIDATA DA ESPERTI E DAI SISTEMI DI INFERENZA FUZZY A UNA TECNICA DI CONTEXT SPACE THEORY BASATA SUI DATI (DD-CST). SIA LA PERCEZIONE CHE LA COMPRENSIONE INTERAGISCONO CONTINUAMENTE, RISPECCHIANDO LA COGNIZIONE UMANA. PER SUPPORTARE QUESTA INTERAZIONE, ABBIAMO INTRODOTTO UN CICLO DI FEEDBACK ADATTIVO CHE CONSENTE ALLA COMPRENSIONE DI AFFINARE LA PERCEZIONE IN TEMPO REALE ADATTANDO LA FREQUENZA DI RILEVAMENTO E LA SELEZIONE DELLE CARATTERISTICHE IN BASE ALLA SITUAZIONE ATTUALE. QUESTO MECCANISMO DI FEEDBACK MIGLIORA L'EFFICIENZA ENERGETICA E RISPECCHIA L'ATTENZIONE UMANA SELETTIVA, DANDO PRIORITÀ CONTINUA AGLI INPUT SENSORIALI RILEVANTI. INOLTRE, L'ARCHITETTURA È STATA AMPLIATA CON UN LIVELLO DI RILEVAMENTO GENERATIVO BASATO SULLA SITUAZIONE PER SUPERARE I LIMITI DELLO SQUILIBRIO DEI DATI E DELLA SCARSA COPERTURA CONTESTUALE. QUESTO LIVELLO PUÒ SINTETIZZARE DATI MULTIMODALI REALISTICI UTILIZZANDO LA MODELLAZIONE GENERATIVA CONDIZIONALE. QUESTO MIGLIORAMENTO SUPPORTA IL CICLO COGNITIVO TRA PERCEZIONE E COMPRENSIONE, CONSENTENDO AL SISTEMA DI APPRENDERE IN MODO EFFICACE, ANCHE IN SCENARI CON DATI SCARSI. ALL'ULTIMO LIVELLO (PROIEZIONE), IL FRAMEWORK CONSENTE AL SISTEMA DI ANTICIPARE SITUAZIONI FUTURE ANALIZZANDO LE DIPENDENZE SEQUENZIALI TRA LE SITUAZIONI RICONOSCIUTE. DIVERSE TECNICHE DI DATA MINING, COME IL SEQUENTIAL PATTERN MINING (SPM) E IL SEQUENTIAL RULE MINING (SRM), SONO STATE IMPIEGATE PER COSTRUIRE UN FRAMEWORK DI PREVISIONE BASATO SULLA CAUSALITÀ, OFFRENDO UN'INTERPRETAZIONE AUTOMATICA DELLA CAPACITÀ UMANA DI ANTICIPARE CIÒ CHE ACCADRÀ. INOLTRE, L'ARCHITETTURA PROPOSTA È STATA VALUTATA UTILIZZANDO SET DI DATI REALI, COME DATI EXTRASENSORIALI, DOMINO E DATI DI SENSORI CLINICI (HYPERAKTIV), SUPERANDO COSTANTEMENTE I TRADIZIONALI MODELLI DI APPRENDIMENTO AUTOMATICO ONE-STEP IN TERMINI DI ACCURATEZZA, RICONOSCIMENTO BILANCIATO ED EFFICIENZA COMPUTAZIONALE. L'ARCHITETTURA SA-WCS È STATA VALIDATA IN AMBITO SANITARIO CON IL SISTEMA G-SMART PER IL MONITORAGGIO MULTIMODALE DEI SINTOMI ADHD.