sexta-feira, 24 de junho de 2011

Touchlib

Touchlib é um programa que interpreta as sombras projetadas na tela capturadas  pela webcam.  O software possui um código open souce, desenvolvido  em  C++ .
Serão realizados outros testes com o software CCV

testes com a tela sem leds




Essas fotos foram retiradas quando  eu fazia o teste do funcionamento da tela utilizando o papel, usando a teoria que dependendo da luminosidade no lugar o papel oficio substitui os efeitos dos leds infra-vermelho, por causa da cor branca emitida pelos leds.
Está meio descalibrada... MAS FUNCIONOU  PESSOAL! ISSO É O QUE IMPORTA.... É UM
PROGRESSO

sábado, 18 de junho de 2011

Instalação do Pymt

(Guia de instala ção foi pega do blog da equiope TECH HUNTERS,  que nos apoiam nas informações precisas para  a nossa tela funcionar.
Obrigado Equipe Tech Hunters)



PyMT, sigla para Python Multitouch, é uma biblioteca open-source
(licenciada em LGPL) para desenvolvimento de aplicações multitoques nas três plataformas (Linux\Mac\win).
Por possuir uma API de desenvolvimento (por isso muitas pessoas dizem que a PyMT é um framework) essa é uma das bibliotecas que estamos usando com maior frequência no nosso projeto.


Maiores informações sobre ela pode ser obtidas no site do projeto:



Mas vamos ao nosso objetivo:
Como eu instalo a pymt no meu pc que roda Ubuntu (9.04, 10.04 e o 10.10) ?


Via terminal, você deverá criar uma pasta para colocar o código fonte que você vai copiar via Git. Claro que você deve ter instalado no seu pc o pacote do git.
No terminal digite:
mkdir pymt
Depois digite:
cd pymt


E é nesse diretório que você instalará o código mais recente do PyMT que existe no repositório (github de um dos desenvolvedores da biblioteca chamado Mathieu). Geralmente esse processo demora um pouquinho, portanto não estranhe. Para fazer essa etapa você deve digitar no terminal:

git clone git://github.com/tito/pymt.git


Agora basta instalar o PyMT. Fazemos isso digitando:


cd pymt
Depois digite:
sudo python setup.py install


Pronto tudo instalado. Agora seria de bom tom você setar nas variáveis de ambiente do sistema operacional em qual lugar você deixou o PyMT. Dessa forma o compilador python irá neste caminho procurar o código da supracitada biblioteca. Faça isso digitando:


export PYTHONPATH=$PYTHONPATH:~/pymt/pymt
E para deixar de forma permanente basta digitar esse comando:
echo 'export PYTHONPATH=$PYTHONPATH:~/code/pymt' >> ~/.bash_profile
Para verificar se a instalação foi bem feita basta navegar até a pasta de exemplos
cd ~/pymt/pymt/examples/


e rodar qualquer um dos exemplos.


Todavia, existe um exemplo que na minha opinião é mais interessante de ser visualizado. Trata-se de marcador de toques, chamado de touchtracer feito por Thomas Hansen. Para rodar o mesmo basta ir para a pasta:


cd /pymt/pymt/examples/apps/touchtracer
E depois digitar:
python touchtracer.py


Observação: Somente lembrando que caso você deve ter instalado na sua máquina alguns pacotes como como o python 2.6 e outras coisas do universo python (numpy, pygames, etc). Na dúvida (caso você tenha o Ubuntu 9.10 ou o 10.04) digite no terminal:

sudo apt-get install python-setuptools python-pygame python-opengl
python-numpy python-gst0.10 python-cairo python-imaging python-enchant gstreamer0.10-plugins-good cython python-dev build-essential libgl1-mesa-dev libglu1-mesa-dev


Para quem usa o Ubuntu Maverick (10.10) a instalação é feita apenas
digitando o seguinte comando:


sudo apt-get install python-pymt


Referências:


http://equipetechhunters.blogspot.com/2011_01_01_archive.html
PyMT. Open Source Library for Multitouch Development
<http://pymt.eu/> Acessado em 07 de Janeiro de 2010.
Ai galera é isso estudem lembrem , Niguem nasce com a sabedoria, sabedoria se conquista!
Boa Sorte!
Thiago Neri

domingo, 27 de março de 2011

Ajudas

http://unilateralismouniversal.blogspot.com/search/label/multitoque

Download do Tuio

http://reactivision.sourceforge.net/

site dos programas relativos ao Tuio

http://www.tuio.org/?software

Instalação do Driver da Ps3 Eye Camera digital

PS3 Eye

Repare que a PS3 Eye funciona por padrão no Ubuntu 10.04, porém o CCV não a reconhece, para isso temos que instalar a biblioteca unicap que irá trabalhar com o driver gspca, vamos fazer o download da última versão:
Lembre-se de substituir “dinomagri” por seu usuário padrão.
cd /home/dinomagri/
wget http://unicap-imaging.org/downloads/unicap-0.9.5.tar.gz
Descompactar:
tar -xvzf unicap-0.9.5.tar.gz
Fazer o download o Patch do Kaswy:
wget http://kaswy.free.fr/sites/default/files/download
/ps3eye/unicap/unicap-gspca.patch
Antes de aplica-lo, precisamos do pacote patch, então:
sudo apt-get install patch
patch -p0 < unicap-gspca.patch
Vamos configurar e compilar:
cd /home/dinomagri/unicap-0.9.5
./configure
make
sudo make install
Caso ocorra algum erro, verifique novamente os passos ou deixe um comentário.

Instalção do CCV no Ubuntu 10.04

Instalação do CCV através do código fonte

O Community Core Vision (aka tbeta) é um software open source para visão por computador e máquina de sensoriamento, muito útil na construção de aplicações multi-toques. O CCV recebe como entrada um sinal de vídeo, para realizar um mapeamento no sinal e retornar como saída as coordenadas e o tamanho de um blob (objeto brilhante luminecente) e eventos(termo usado para descrever quando um sistema sabe se um objeto foi tocado por um dispositivo multi-toque) que descrevem a direção do movimneto de um dedo ou se um dedo foi pressionado ou solto. Também suporta webcams internas e externas, como poder se conectar  a diversas aplicações TUIO/OSC/XML. Suporta diversas técnicas de multi-toque, como por exemplo FTIR, DI, DSI e LLP.
Para mais detalhes sobre tecnologias multi-toques, leia o livro Multitouch Technologies, escrito pela comunidade NUI Group.
Bom primeiro temos que instalar o Subversion, que é um sistema de controle de versão:
sudo apt-get install subversion
Feito isso iremos baixar os códigos, crie uma pasta no home do seu usuário e acesse:
mkdir /home/dinomagri/CCV
cd /home/dinomagri/CCV
Digite:
svn checkout http://nuicode.svnrepository.com/svn/tbeta/trunk/tbeta
/Linux Linux-ccv

Esse processo irá demorar um pouco, relaxe … tome um café :) .
Após terminar o download acesse a pasta de scripts:
cd Linux-ccv/scripts/ubuntu/
Dê permissão de execução ao arquivo “install_codeblocks.sh” e execute o arquivo:
chmod +x install_codeblocks.sh
sudo ./install_codeblocks.sh
O script irá adicionar dois repositórios na source.lst e irá instalar o Code::Blocks
Faço o mesmo processo para o script “install_dependencies.sh”
chmod +x install_dependencies.sh
sudo ./install_dependencies.sh
Esse script irá instalar várias bibliotecas e programas.
Agora acesse, Aplicativos -> Desenvolvimento -> Code::Blocks IDE
Abra o projeto em “apps/addonsExamples/Codeblocks_8_linux/Community Core Vision.cbp”
Então Build e Run,
Irá aparecer o seguinte erro:
Linking console executable: bin/Community_Core_Vision
../../../libs/fmodex/lib/libfmodex.so: file not recognized:
File format not recognized
collect2: ld returned 1 exit status
Vamos arrumar:
cd /home/dinomagri/CCV/Linux-ccv/libs/fmodex/lib/
mv libfmodex.so libfmodex.so.bkp
mv libfmodexp.so libfmodexp.so.bkp
ln -s libfmodex-4.22.00.so libfmodex.so
ln -s libfmodexp-4.22.00.so libfmodexp.so
Agora, antes de compilar e rodar novamente o programa, vamos alterar o arquivo config.xml, que está localizado em “../../Codeblocks_8_linux/bin/data”
cd /home/dinomagri/CCV/Linux-ccv/apps/addonsExamples/
Codeblocks_8_linux/bin/data/
gedit config.xml
Iremos editar os seguintes parâmetros:
<CAMERA_0>
        <USECAMERA>1</USECAMERA>
        <DEVICE>1</DEVICE>
        <WIDTH>640</WIDTH>
        <HEIGHT>480</HEIGHT>
        <FRAMERATE>60</FRAMERATE>
</CAMERA_0>
Após isso, compile e rode! Pronto já está funcionando.
Para executar o programa sem utilizar o Code:Blocks, temos que modificar as libs que ficam dentro de bin/libs, para isso:
cd /home/dinomagri/CCV/Linux-ccv/apps/addonsExamples
/Codeblocks_8_linux/bin/libs
mv libfmodex.so libfmodex.so.bkp
mv libfmodexp.so libfmodexp.so.bkp
ln -s libfmodex-4.22.00.so libfmodex.so
ln -s libfmodexp-4.22.00.so libfmodexp.so
Agora podemos executar o script “clickToLaunchApp.sh” para abrir o CCV, sem ter que abrir o Code::Blocks! Para isso:
cd /home/dinomagri/CCV/Linux-ccv/apps/addonsExamples
/Codeblocks_8_linux/bin/
chmod +x clickToLaunchApp.sh
./clickToLaunchApp.sh
Pronto, agora temos tudo funcional! Qualquer dúvida entre em contato ou deixe um comentário.
Referências:
http://www.ubuntu.com
http://kaswy.free.fr/?q=node/49
http://wiki.nuigroup.com/Brazilian_Portuguese_translation_Multitouch_terminology
http://www.tuio.org/
http://nuigroup.com/
http://www.musa.cc/index.php/mesa-multi-toque/

sexta-feira, 25 de março de 2011

Mesa Multi-toque

Nesse artigo são descritas as atividades realizadas durante duas fases do projeto Mesa Multitoque . A primeira fase foi a construção e testes dos aspectos de hardware do sistema. A segunda fase foi o desenvolvimento de software para a plataforma multitoque, com base nas ferramentas e bibliotecas Processing, CCV e TUIO.

                             
Multitoque significa um conjunto de técnicas de interação que permite que um usuário controle aplicações gráficas no computador utilizando vários dedos. Um dispositivo multitoque geralmente consiste de uma tela de toque (que pode ser um display LCD, um quadro, uma parede, uma mesa, etc.) e um conjunto de softwares que trabalhe para reconhecer múltiplos pontos de toque na superfície, ao contrário de uma touchscreen tradicional, que apenas reconhece um ponto de toque na tela (NUI Group 2008).
O NUI Group atua como uma comunidade que oferece suporte, documentação e eventos relacionados às interfaces multimodais, e em especial, interfaces multitoque. Segundo o NUI Group, existem cinco técnicas principais para desenvolver o hardware para a superfície multitoque, são elas:
1.Frustrated Total Internal Reflection (FTIR), criada por Jeff Han;
2.Rear Diffused Illumination (Rear DI), utilizada no Microsoft Surface Table;
3.Laser Light Plan (LLP), criada por Alex Popovich e utilizada no protótipo da Microsoft LaserTouch ;
4.LED-Light Plane (LED-LP), desenvolvido por Nima Mota- medi;
5.Diffused Surface Illumination (DSI), desenvolvido por Tim Roth.
Todas essas técnicas tem por base a visão computacional e conceitos de ótica (por meio de algum tipo de câmera). Apesar do sensoriamento ótico estar na base da maioria das técnicas, existem diversas outras técnicas de sensoriamento que podem ser utilizadas na criação de interfaces naturais e multitoque. Algumas delas incluem sensores de proximidade, acústicos, capacitivos, resistivos, de movimento, orientação e pressão. É normal a combinação de vários sensores para formar uma técnica multitoque particular.
No projeto desenvolvido, foi escolhido o modelo FTIR pois é amplamente documentado na Internet, através de trabalhos como (Brand 2007). A Tabela 1 demonstra um quadro com as vantagens e desvantagens do modelo escolhido.

A configuração do modelo multitoque FTIR envolve três componentes principais: uma tela de acrílico transparente, uma matriz de LED’s infravermelhos e uma câmera com filtro infravermelho.  Os raios infravermelhos compõem uma porção do espectro luminoso que se localiza um pouco além do que o olho humano pode observar. Trata-se de uma faixa de comprimento de onda mais longa que a luz visível, porém mais curta que as microondas. No que diz respeito à tecnologia multitoque, a luz infravermelha é utilizada para distinguir entre uma imagem visível projetada na superfície de acrílico e os pontos de toque dos dedos que serão mapeados. Sem os LED’s infravermelhos e um filtro infravermelho na câmera, haveria confusão entre as imagens visíveis na tela de acrílico e o movimento dos dedos (NUI Group 2008).
Os LEDs são arranjados em torno da tela de acrílico, dessa forma eles brilham diretamente na superfície da tela. Uma vez que os LED’s infravermelhos são posicionados dentro do acrílico, a luz infravermelha atinge o topo e a base do acrílico em um ângulo aproximadamente paralelo, sendo esse efeito conhecido por reflexão interna total (do inglês Total Internal Reflection), como demonstra a Figura 1.

Figura 1 Efeito de Reflexão Interna Total de um LED infravermelho em uma tela de acrílico (Castle 2009).
Esse efeito acontece em determinados materiais quando a luz passa de um material para outro com um índice de refração maior e com um ângulo de incidência maior que um ângulo específico. Esse ângulo específico depende do índice de refração de ambos os materiais, sendo conhecido como ângulo crítico, cujo cálculo pode ser efetuado através da lei de Snell. Quando um dedo é pressionado contra o acrílico, uma parte da luz é refletida para baixo através da tela, sendo em seguida detectada pela câmera, como demonstra a Figura 2:

Figura 2 Resultado da reflexão da luz infravermelha quando um dedo é pressionado na tela de acrílico (Castle 2009)
No modelo de Mesa Multitoque construído, foram utilizados 38 LED’S infravermelhos, distribuídos em duas arestas de 17 LED’S cada. Para a alimentação, foi reaproveitada uma fonte AT que estava em um computador antigo, sem uso. Como esse tipo de LED suporta entre 1,5 e 1,6V, para uma tensão de alimentação de 5V fez-se necessária uma configuração de 6 circuitos paralelos, com 5 circuitos de 3 LED’s ligados em série e um circuito com 2 LED’s ligados em série, como demonstra a Figura 3.
Figura 3 Circuito da matriz de LED’s de uma das arestas.
A Figura 4 demonstra uma das arestas sendo construída, com o posicionamento dos LED’s infravermelhos.




Figura 4 Construção da aresta de LED’s.
A Figura 5 demonstra a aresta sendo posicionada na mesa, com os LED’s infravermelhos ligados.
Posicionamento da aresta de LED’s na mesa.
Para a imagem ser projetada na tela de acrílico, um projetor Datashow é utilizado, e um espelho serve de suporte tanto para refletir a imagem, como para a câmera realizar a captura, como demonstra a Figura 6, que apresenta um esquema geral da Mesa Multitoque.
                            Figura 6 Esquema da Mesa Multitoque construída.
A câmera utilizada para a construção da Mesa Multitoque foi a Sony PS3Eye (padrão no videogame Playstation 3). A documentação do NUI Group recomenda a utilização dessa
(http://lista.mercadolivre.com.br/Sony-PS3Eye)
câmera, por possuir uma taxa de 120 frames por segundo em uma resolução de 320×240 pixels.


CCV
Community Core Vision, ou CCV (conhecido anteriormente como tbeta), é um aplicativo open source para visão e sensoriamento computacional, muito útil na construção de aplicações multitoque. O CCV recebe como entrada um sinal de vídeo, para realizar um mapeamento no sinal e retornar como saída as coordenadas e o tamanho de um blob e eventos que descrevem a direção do movimento de um dedo ou se um dedo foi pressionado ou solto. O CCV suporta webcams internas e externas, assim como pode conectar-se a diversas aplicações TUIO/OSC/XML. Ele suporta diversas técnicas de multitoque, como FTIR, DI, DSI e LLP.
A Figura 9 demonstra um diagrama com o ambiente de trabalho CCV
Figura 9 Ambiente principal do CCV.
De acordo com o diagrama apresentado, o ambiente de trabalho do CCV é composto pelos seguintes itens:
1. Source Image – Exibe o vídeo  de entrada;
2. Use Camera Toggle – Atribui a câmera como fonte de entrada e grava frames da câmera selecionada;
3. Use Video Toggle – Atribui um arquivo de vídeo como fonte de entrada e grava frames do mesmo;
4. Botão Previous Camera – Seleciona o dispositivo de câmera anterior, caso haja mais de um;
5. Botão Next Camera – Seleciona o próximo dispositivo de câmera;
6. Tracked Image – Exibe o resultado final sobre o vídeo após o mapeamento de blobs;
7. Show IDs Toggle – Exibe o ID de cada blob mapeado;
8. Show Outlines Toggle – Exibe círculos de cor rosa em torno dos dedos no vídeo de entrada;
9. Controle de Threshold – Ajusta o nível de pixels aceitáveis no mapeamento: pixels com valor menor ao threshold serão removidos e os de valor superior serão aceitos no
mapeamento.
10. Botão Remove Background –  Recapturar uma imagem de fundo estática;
11. Dynamic Subtract Toggle – Ajusta dinamicamente a imagem de fundo, útil para o caso de falsos blobs ocorrerem devido a mudança de luzes no ambiente.
12. Controle de Smooth – Suaviza a imagem e filtra ruídos;
13. Controle de Highpass Blur – Remove as partes borradas da imagem e mantém as partes mais brilhantes
14. Highpass Noise – Filtra o ruído da imagem após passar o filtro passa-alta;
15. Controle Amplify – Amplifica o brilho dos pixels mais fracos – útil para amplificar os blobs;
16. On/Off  – Ativa ou desativa os filtros;
17. Camera Settings  – Altera configurações da câmera;
18. Flip Vertical  – Inverte verticalmente o vídeo de entrada;
19. Flip Horizontal – Inverte horizontalmente o vídeo de entrada.
20. GPU Mode – Ativa a aceleração de hardware 3D (GPU);
21. Send TUIO – Ativa o envio de mensagens TUIO;
22. Enter Calibration – Inicia o processo de calibração;
23. Save Settings – Salva a configuração atual.
Um processo que não costuma ser trivial é a configuração do CCV para reconhecer os dispositivos de câmera instalados no computador. Antes de tudo, para se realizar a captura com uma câmera comum, já detectada corretamente pelo kernel Linux, é necessário fazer o download do código fonte da  biblioteca unicap, para então compilar a mesma. Isso pois, o CCV realiza a captura de vídeo com base nessa biblioteca, apesar da mesma não ser distribuída no pacote CCV.
No caso do sistema desenvolvido, o objetivo é a utilização da câmera PS3Eye, pois trata-se de um dos modelos de câmera recomendados pelo NUI Group. Para isso, é preciso fazer o download do driver da câmera, que funciona apenas para a versão 2.6.30 do kernel Linux. Para o caso de um sistema Debian:
$ sudo aptitude install linux-image-2.6.30-bpo.1-686 linux-headers-2.6.30-bpo.1-686
Após isso, basta reiniciar o computador a partir do novo kernel e instalar o driver com os comandos:
$ sudo aptitude install mercurial
$ hg clone http://linuxtv.org/hg/~jfrancois/gspca/
$ cd gspca
$ make release
$ make
$ make install
Em seguida, é necessário aplicar um patch na biblioteca unicap, para o driver gspca da PS3Eye. Como o patch desenvolvido é para o unicap 0.9.5 e a versão atual do unicap é 0.9.7, é necessário então fazer uma pequena modificação no arquivo de patch, substituindo o número de versão no arquivo. Com o comando sed, não é necessário nem abrir o arquivo para realizar a modificação:
$ sed -i ’s/0.9.5/0.9.7/g’ “unicap-gspca.patch”
Após isso, o patch pode ser aplicado com sucesso:
$ patch -p0 < unicap-gspca.patch
Para utilizar o CCV com uma câmera e um projetor, é necessário antes executar o processo de calibração. A calibração permite que pontos de toque alinhem-se com os elementos na tela. Dessa forma, ao tocar algo exibido na tela, o toque é registrado na localização correta. Para que isso seja possível, o CCV necessita traduzir o espaço da câmera para o espaço da tela. Isso é feito com o toque nos pontos de calibração.
TUIO

TUIO é um framework que define um protocolo comum em uma API para superfícies multitoque tangíveis. O protocolo TUIO permite a transmissão de um descritor abstrato para superfícies interativas, incluindo eventos de toque e estados de objetos tangíveis. O TUIO codifica dados de controle de uma aplicação de mapeamento (como o CCV) e envia o sinal para qualquer cliente capaz de decodificar os dados no formato do protocolo (como o Processing).
Tecnicamente,  o TUIO é baseado no Open Sound Control (OSC) – um padrão emergente para ambientes interativos que não limita-se apenas ao controle de instrumentos musicais. Por tratar-se de um protocolo baseado em UDP, o OSC permite comunicação em rede, onde aplicações interativas podem comunicar-se remotamente.
Desde que foi publicada a primeira especificação do protocolo TUIO  como parte do sintetizador reacTable, o protocolo passou a ser adotado por diversos outros projetos relacionados à interfaces tangíveis e multitoque, como o trabalho desenvolvido pelo NUI Group.
Exemplo de Aplicação: Pilha Multioque
O aplicativo de pilhas multitoque foi desenvolvido para o sistema operacional Debian GNU/Linux 5.0 executando Kernel 2.6.30 em uma máquina Intel Centrino Core2Duo 1.8 Ghz, com 4Gb de RAM. Porém, todas as ferramentas utilizadas podem ser portadas sem maiores problemas para outros sistemas operacionais.
O proposto é que seja possível manipular com os dedos a representação gráfica de estruturas de dados tais como pilhas, listas e árvores. Para isso, inicialmente é necessário realizar uma integração entre as ferramentas CCV e Processing.
A comunicação entre CCV e Processing é realizada através de mensagens TUIO, com a utilização da biblioteca TuioProcessing, como demonstra o diagrama da Figura 10.


(http://www.tuio.org/?software)