Loading...
Publication
Intelligent system for interaction with virtual characters based on volumetric sensors
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 134.24 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
A tecnologia vem sendo desenvolvida para ajudar-nos a completar ou aumentar a
produtividade nas nossas tarefas diárias. Muitas das máquinas construídas têm sido
progressivamente aperfeiçoadas para funcionar mais como um ser humano, usando
para isso os mais variados sensores. Um dos problemas mais desafiantes que a tecnologia
encontrou é como dar a uma máquina a capacidade que um "animal" tem de
perceber o mundo através do seu sistema visual. Uma solução será usar na máquina
sistemas inteligentes que usem visão computacional. Uma grande ajuda pode chegar
da perceção de profundidade pela máquina, tornando menos complexa a deteção e
a compreensão de objetos numa imagem por parte desta. Com o aparecimento de
sensores volumétricos (tridimensional 3D) no mercado consumidor, aumentaram os
desenvolvimentos feitos nesta área científica, permitindo assim a sua integração na
maioria dos dispositivos, tais como computadores ou dispositivos móveis, a um preço
muito competitivo. Os sensores volumétricos podem ser usados nas mais variadas
áreas pois apesar de terem aparecido inicialmente na área dos videojogos, estendemse
ainda à área de vídeo, modelação 3D, interfaces, jogos ou realidade virtual e aumentada.
Esta dissertação foca essencialmente no desenvolvimento de sistemas (inteligentes)
baseados em sensores volumétricos (neste caso a Microsoft Kinect) para a interação
com avatares ou filmes. Quanto a aplicações na área de vídeo, foi desenvolvida uma solução onde um sensor 3D ajuda um utilizador a seguir uma narrativa que é iniciada
assim que o utilizador é detetado, mudando os acontecimentos do vídeo consoante
ações pré-determinadas do utilizador. O utilizador pode então mudar o rumo
da história mudando de posição ou efetuando um gesto. Esta solução é ilustrada utilizando
retroprojeção, existindo ainda a possibilidade de ser apresentada em modo
holograma numa abordagem à escala.
O descrito no anterior parágrafo pode também ser aplicada a uma solução de vertente
mais comercial. Para isso, foi desenvolvido uma aplicação altamente configurável,
podendo-se ajustar (em termos visuais) às necessidades de diferentes companhias.
O ambiente gráfico é acompanhado por um avatar ou por um video (previamente
gravado), que interage com um utilizador através de gestos, dando uma sensação
mais realista devido à utilização de holografia. Ao interagir com a instalação,
são registados todos os movimentos e interações efetuadas pelo utilizador para que
estatísticas sejam construídas, de maneira a perceber os conteúdos com mais interesse
bem como as áreas físicas com mais interação. Adicionalmente, o utilizador poderá ter
a sua fotografia completa ou tipo BI extraída, podendo-lhe ser oferecidos em produtos
promocionais da empresa. Devido à curta área de interação oferecida por um sensor
deste tipo (Kinect), foi também desenvolvida a possibilidade de juntar vários sensores,
4 para cobrir 180º (graus) em frente da instalação ou ainda 8 para cobrir os 360º à volta
da instalação, de maneira a que os utilizadores possam ser detetados por qualquer um
deles e que não sejam perdidos quando atravessam para uma zona de outro sensor, ou
mesmo quando saem do campo de visão dos sensores e retornam mais tarde.
Apesar dos sensores referidos serem mais conhecidos na interação com um jogo
virtual, jogos reais e físicos também podem beneficiar deste tipo de sensor. Neste último
ponto, é apresentada uma ferramenta de realidade aumentada para snooker ou
bilhar. Nesta aplicação, um sensor 3D colocado por cima da mesa, capta a área de jogo
sendo depois processada para que sejam detetadas as bolas, o taco e as tabelas. Sempre
que possível, esta deteção é feita usando a terceira dimensão (profundidade) oferecida por estes sensores, tornando-se por exemplo mais robusto a mudanças quanto a
condições luminosas. Com estes dados é então previsto, utilizando álgebra vetorial, a
trajetória da bola, sendo projetado o resultado na mesa.
Description
Dissertação de Mestrado, Engenharia Elétrica e Eletrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2015
Keywords
Instalação interativa Visão computacional Interação homem-máquina Reconhecimento de gestos Holografia Visulização Aplicações Kinect Interação natural Snooker Realidade aumentada