Loading...
Publication
Smart augmented reality application for enhanced museum experience
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 27.26 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Museums’ collections can be almost endless, with countless objects, making it
challenging to choose which ones to visit and appreciate. When a user enters a
museum he usually encounters a guide or a predefined route to aid him, which
more often than not is not suitable for his necessities and preferences. This dissertation
focus on developing a mobile augmented reality framework and intelligent
multiplatform application, that can be used as a museum guide and navigation
helper. The work was divided into 3 main modules: (a) an intelligent
routing system, (b) an adaptive user interface, and (c) an image recognition and
augmented reality framework. Also presented is the integration of the above
modules in an application.
The first module, (a) intelligent routing system module, poses a solution for a
"typical" museum problem. Museums routes do not take into account the physical,
moral or psychological limitations of a user and/or their preferences. It
resembles the traveling salesman problem where a route is calculated, only visiting
once each point of interest, diminishing as much as possible the "walking"
time, and extending the time spent admiring the museum’s objects. An Ant
Colony Optimization algorithm was used to handle the calculations and compute
an optimal walk, rendering the user’s preferences and limitations. This
problem was formulated as a multi-criteria optimization problem. Also focusing on adapting the application for the user, (b) an adaptive user
interface was developed, which adapts the application’s user interface on-thefly,
according to the user’s preferences and conditions. This module is built
upon a modular card system which is divided into structure and contents. It
relies on a modular system in the sense that a complex interface can be divided
into simpler and more manageable sub-modules, which can be used in
other parts of the application or even in a completely different one. On an ideal
application, each user would have a distinct interface/structure and contents.
Nonetheless, different users could share the same interface structure only modifying
the contents. The adaptive user interface is capable of (as the name implies)
adapting itself to the user, either by changing both its structure and contents
or only the contents displayed to the user.
Regarding the augmented reality module (c), a mobile image recognition and
tracking framework (MIRAR) was developed. The purpose of this framework
is to recognize and track the innumerous objects of the museum in a mobile device.
This framework is a marker-based augmented reality framework and even
though the recognition happens on the client (mobile device) a server is required
to keep the packaged markers accessible for the clients. These markers are preprocessed
in the server and grouped by section. As the user navigates through
the museum, an indoor beacon location system calculates his current position
that is transmitted to the server which, in turn, sends the correct markers for
that section to the mobile device.
Finally, the integration of the above modules is presented in an alpha version
of a mobile application, as well as tests and results for each module.
Os espólios dos museus contêm inúmeros objetos, tornando-se difícil escolher quais as obras a visitar e apreciar. Quando um utilizador entra num museu, geralmente depara-se com um guia e/ou rotas predefinidas, que frequentemente não são adequadas às suas necessidades e preferências. Esta dissertação foca o desenvolvimento de uma framework de realidade aumentada e de uma aplicação inteligente para multiplataforma, que pode ser usada como guia de museu e auxiliar de navegação. O trabalho foi dividido em 3 módulos principais: (a) um sistema de cálculo de rotas inteligentes, (b) uma interface adaptativa de utilizador e (c) uma framework de reconhecimento de imagens com realidade aumentada. Também é apresentada a integração dos módulos acima mencionados numa aplicação. O primeiro módulo, o (a) módulo do sistema de cálculo de rotas inteligentes, representa uma solução para um problema "comum" dos museus: as rotas existentes nos museus não tomam em consideração as limitações físicas, morais ou psicológicas do utilizador e/ou suas preferências. O problema em causa consiste em calcular uma rota, visitando uma e só uma vez cada ponto de interesse existente (mas não necessariamente todos os disponíveis no museu), percorrendo o menor caminho possível, e estendendo ao máximo o tempo de visita aos objetos do museu. Neste caso, foi usada uma adaptação de um algoritmo de Ant Colony Optimization para calcular o melhor caminho, considerando as preferências e limitações do utilizador. Este problema foi formulado como um problema de otimização multi-critério. Ainda nesta temática, (b) foi desenvolvida uma interface adaptativa de utilizador, que se ajusta de acordo com as preferências e condições deste. Este módulo é constituído por um sistema modular de cartões os quais são dividido em estrutura e conteúdos. Foi escolhido este sistema pois permite que uma interface complexa possa ser dividida em sub-módulos mais simples, que podem ser usados noutras partes da aplicação ou mesmo noutra aplicação completamente distinta. Idealmente, cada utilizador teria uma interface com estrutura e conteúdos distintos. No entanto, diferentes utilizadores podem partilhar a mesma estrutura/layout apenas modificando o conteúdo apresentado. Assim, este modulo permite criar facilmente diferentes interfaces para os diferentes utilizadores, quer modificando apenas os conteúdos apresentados ou também toda a sua estrutura. Relativamente ao módulo de realidade aumentada (c), foi desenvolvido uma framework de reconhecimento de imagens com realidade aumentada (MIRAR - Mobile Image Recognition and Augmented Reality) para dispositivos móveis. O objetivo deste módulo é reconhecer e fazer o restreamento dos objetos do museu recorrendo ao dispositivo móvel do utilizador. A framework desenvolvida é baseada no reconhecimento de marcadores e apesar deste acontecer no cliente (dispositivo móvel) é necessário um servidor para guardar os marcadores préprocessados. Estes são, posteriormente, acedidos pelos dispositivos móveis à medida que os utilizadores navegam pelo museu. A localização do utilizador dentro do é calculada através de um sistema de beacons bluetooth a qual é transmitida para o servidor, que, por sua vez, envia os marcadores correspondentes a essa localização para o dispositivo do utilizador. Finalmente, a integração dos módulos supra-mencionados é apresentada numa versão alfa da aplicação móvel, bem como testes e resultados para cada módulo.
Os espólios dos museus contêm inúmeros objetos, tornando-se difícil escolher quais as obras a visitar e apreciar. Quando um utilizador entra num museu, geralmente depara-se com um guia e/ou rotas predefinidas, que frequentemente não são adequadas às suas necessidades e preferências. Esta dissertação foca o desenvolvimento de uma framework de realidade aumentada e de uma aplicação inteligente para multiplataforma, que pode ser usada como guia de museu e auxiliar de navegação. O trabalho foi dividido em 3 módulos principais: (a) um sistema de cálculo de rotas inteligentes, (b) uma interface adaptativa de utilizador e (c) uma framework de reconhecimento de imagens com realidade aumentada. Também é apresentada a integração dos módulos acima mencionados numa aplicação. O primeiro módulo, o (a) módulo do sistema de cálculo de rotas inteligentes, representa uma solução para um problema "comum" dos museus: as rotas existentes nos museus não tomam em consideração as limitações físicas, morais ou psicológicas do utilizador e/ou suas preferências. O problema em causa consiste em calcular uma rota, visitando uma e só uma vez cada ponto de interesse existente (mas não necessariamente todos os disponíveis no museu), percorrendo o menor caminho possível, e estendendo ao máximo o tempo de visita aos objetos do museu. Neste caso, foi usada uma adaptação de um algoritmo de Ant Colony Optimization para calcular o melhor caminho, considerando as preferências e limitações do utilizador. Este problema foi formulado como um problema de otimização multi-critério. Ainda nesta temática, (b) foi desenvolvida uma interface adaptativa de utilizador, que se ajusta de acordo com as preferências e condições deste. Este módulo é constituído por um sistema modular de cartões os quais são dividido em estrutura e conteúdos. Foi escolhido este sistema pois permite que uma interface complexa possa ser dividida em sub-módulos mais simples, que podem ser usados noutras partes da aplicação ou mesmo noutra aplicação completamente distinta. Idealmente, cada utilizador teria uma interface com estrutura e conteúdos distintos. No entanto, diferentes utilizadores podem partilhar a mesma estrutura/layout apenas modificando o conteúdo apresentado. Assim, este modulo permite criar facilmente diferentes interfaces para os diferentes utilizadores, quer modificando apenas os conteúdos apresentados ou também toda a sua estrutura. Relativamente ao módulo de realidade aumentada (c), foi desenvolvido uma framework de reconhecimento de imagens com realidade aumentada (MIRAR - Mobile Image Recognition and Augmented Reality) para dispositivos móveis. O objetivo deste módulo é reconhecer e fazer o restreamento dos objetos do museu recorrendo ao dispositivo móvel do utilizador. A framework desenvolvida é baseada no reconhecimento de marcadores e apesar deste acontecer no cliente (dispositivo móvel) é necessário um servidor para guardar os marcadores préprocessados. Estes são, posteriormente, acedidos pelos dispositivos móveis à medida que os utilizadores navegam pelo museu. A localização do utilizador dentro do é calculada através de um sistema de beacons bluetooth a qual é transmitida para o servidor, que, por sua vez, envia os marcadores correspondentes a essa localização para o dispositivo do utilizador. Finalmente, a integração dos módulos supra-mencionados é apresentada numa versão alfa da aplicação móvel, bem como testes e resultados para cada módulo.
Description
Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017
Keywords
Interface de utilizador adaptativa Aplicação multiplataforma Realidade aumentada Reconhecimento baseado em marcadores Interação homem-máquina Navegação Cálculo de rotas Otimização