Ascolta

Descrizione

Il rilevamento e il tracciamento delle persone attraverso telecamere sono sempre più utilizzati in molte circostanze della vita quotidiana. Le principali applicazioni riguardano la videosorveglianza di ambienti critici in cui è di primaria importanza capire chi sta facendo cosa e verificare se si tratta di comportamenti normali o anormali.

Tuttavia, in altri contesti, le applicazioni di profilazione sono sempre più utilizzate per migliorare la qualità della visita - ad esempio, per comprendere gli interessi di un turista - o per fornire suggerimenti basati su scelte recenti, attività e luoghi visitati.

Mentre le telecamere e la visione artificiale sono ampiamente utilizzate insieme all'apprendimento automatico per eseguire il rilevamento e la classificazione automatici nelle applicazioni di sorveglianza, in altri contesti la profilazione si basa principalmente sulle informazioni raccolte degli utenti (ad esempio tramite i social network) e sull'estrazione di dati attraverso algoritmi di raccomandazione intelligenti.

Il progetto I-MALL mira a verificare fino a che punto Computer Vision e AI possono supportare la derivazione di profili individuali e fornire opportuni suggerimenti personalizzati ai fini di digital signage in un Centro Commerciale.

Recentemente, c'è stato un crescente interesse nell'introduzione di sensori nei centri commerciali per comprendere i comportamenti dei clienti e dare suggerimenti per organizzare i prodotti in modo appropriato in base agli interessi e agli orientamenti della massa. Il negozio Amazon Go, di recente apertura negli Stati Uniti, è una prima esperienza in cui viene messa in pratica una tecnologia di acquisto avanzata. Utilizzando l'app Amazon Go, il visitatore entra nel negozio, preleva i prodotti di interesse e non deve effettuare alcun checkout. La visione artificiale basata su deep learning e sensor fusion rileva automaticamente quando i prodotti vengono prelevati o restituiti agli scaffali e li traccia in un carrello personale virtuale. In Cina, Tao Café, un minimarket pop-up di Alibaba, ha implementato negozi senza cassiere con riconoscimento facciale e altre tecnologie avanzate, che consentono ai clienti di avere solo bisogno del proprio smartphone con l'app Taobao di Alibaba per entrare e fare il check-out. Questi sono solo esempi di come l'intelligenza artificiale e la tecnologia di visione artificiale, eventualmente supportata dall'IoT, possono trasformare drasticamente le nostre abitudini di shopping nel tempo libero.

I-Mall non punta a negozi incustoditi come Amazon Go e Tao Café. A differenza dei casi precedenti, le persone non vengono identificate gestendo la loro reale identità e il cliente non rivela alcuna informazione personale sensibile come cognome, numero di carta di credito, ecc.

Il nostro obiettivo è esplorare la possibilità di usare Computer Vision e AI per fornire, nel rispetto della privacy, un'assistenza allo shopping personalizzata ai clienti presso i terminali di digital signage del Centro Commerciale. A tal fine riconosciamo che l'esperienza di acquisto è strettamente legata allo stato emotivo dell'individuo e alle sue personali condizioni momentanee. Pertanto, l'analisi del comportamento individuale durante il tempo della visita è molto più utile degli attributi personali derivati dai dialoghi sui social network. Ci aspettiamo di utilizzare la Computer Vision e l'IA per identificarsi nuovamente all'interno del Mall e tracciare il percorso del cliente al fine di comprendere i suoi interessi, rilevare e classificare i suoi abiti e comportamenti, comprendere il suo stato e la sua personalità e infine analizzare le sue reazioni ai suggerimenti forniti dal terminale di digital signage. Si spera che queste informazioni aiutino a fornire consigli personalizzati ai clienti. A seguito della vigente normativa sulla privacy, nel nostro progetto, le identità dei clienti saranno identificate da numeri anonimi progressivi e a queste identità anonime vengono associati i luoghi visitati, interessi, comportamenti e sentimenti.

All'interno del progetto, l'unità di ricerca di Unipa si occupa di risolvere il problema del rilevamento e tracciamento dei clienti attraverso metodologie innovative che utilizzano telecamere a 360°. In particolare, il team ha sviluppato un tracker multi-persona per rilevare e tracciare le persone sulla scena considerando la loro posizione a terra. L'utilizzo di telecamere a 360° non richiede alcuna tecnica di calibrazione e rende particolarmente interessante l'adozione di queste telecamere nel contesto reale.

 

Parole chiave

videosorveglianza, computer vision, AI

 

Description

The detection and tracking of people through cameras are increasingly used in many circumstances of daily life. The main applications concern the video surveillance of critical environments in which it is of primary importance to understand who is doing what and to check whether it is normal or abnormal behavior.

However, in other contexts, profiling applications are increasingly used to improve the quality of the visit - for example, to understand the interests of a tourist - or to provide suggestions based on recent choices, activities and places visited.

While cameras and machine vision are widely used in conjunction with machine learning to perform automatic detection and classification in surveillance applications, in other contexts profiling relies primarily on information collected from users (e.g. via social networks) and on extracting data through intelligent recommendation algorithms.

The I-MALL project aims to verify to what extent Computer Vision and AI can support the derivation of individual profiles and provide appropriate personalized suggestions for the purpose of digital signage in a Shopping Center.

Recently, there has been a growing interest in introducing sensors in shopping malls to understand customer behaviors and make suggestions for organizing products appropriately according to the interests and orientations of the mass. The recently opened Amazon Go store in the US is a first experience where advanced shopping technology is put into practice. Using the Amazon Go app, the visitor enters the store, picks up the products of interest, and doesn't have to go through any checkout. Machine vision based on deep learning and sensor fusion automatically detects when products are picked up or returned to shelves and tracks the products in a virtual personal cart. In China, Tao Café, an Alibaba pop-up convenience store, has implemented cashier-free stores with facial recognition and other advanced technologies, which allow customers to only need their smartphone with Alibaba's Taobao app to go in and check out. These are just examples of how artificial intelligence and computer vision technology, possibly supported by the IoT, can drastically transform our leisure shopping habits.

I-Mall doesn't aim for unattended stores like Amazon Go and Tao Café. Unlike the previous cases, people are not identified by managing their real identity and the customer does not reveal any sensitive personal information such as surname, credit card number, etc.

Our goal is to explore the possibility of using Computer Vision and AI to provide, with respect for privacy, personalized shopping assistance to customers at the digital signage terminals of the Shopping Center. To this end we recognize that the shopping experience is closely linked to the emotional state of the individual and his personal momentary conditions. Therefore, the analysis of individual behavior during the time of the visit is much more useful than the personal attributes derived from the dialogues on social networks. We expect to use Computer Vision and AI to re-identify within the Mall and trace the customer journey in order to understand their interests, detect and classify their clothing and behaviors, understand their status and personality and finally analyze his reactions to the suggestions provided by the digital signage terminal. Hopefully, this information will help provide personalized advice to customers. Following the current privacy legislation, in our project, the identities of the customers will be identified by progressive anonymous numbers and the places visited, interests, behaviors and feelings are associated with these anonymous identities.

Within the project, Unipa's research unit is responsible for solving the problem of customer detection and tracking through innovative methodologies that use 360° cameras. Specifically, the team developed a multi-person tracker to detect and track people on the scene by considering their position on the ground. The use of 360° cameras does not require any calibration technique and makes the adoption of these cameras in the real context particularly interesting.

Key words

video surveillance, computer vision, AI

Figure