Coreógrafos, bailarinos e outros intervenientes em processos de artes performativas conhecem bem a importância de gravar processos e de fazer anotações para melhorar performances, corrigir movimentos e apontar referências relacionadas. No entanto, este processo de anotação é muitas vezes manual, assíncrono com a performance e de difícil rastreabilidade ao longo do tempo.

Este é, precisamente, o contexto onde o software de anotação “MotionNotes”, desenvolvido no âmbito do projeto europeu WEAVE, ambiciona fazer a diferença. A ferramenta permite fazer anotações de vídeo em tempo real ou em câmara lenta, além de anotações sobre vídeos já existentes. Com isso, dá a coreógrafos e performers a possibilidade de criar notas no momento, sempre associadas a movimentos específicos no vídeo da performance.

“É um caderno de notas com um vídeo agregado”, resume Carla Fernandes, autora da ideia desta ferramenta, pensada “para facilitar o processo de criação e de arquivo”. A investigadora integrada ICNOVA – onde é coordenadora do grupo de investigação Performance & Cognição e do laboratório BlackBox – não tem dúvidas dos benefícios que o “MotionNotes” trouxe para quem investiga e trabalha nas áreas da dança e artes performativas. “Deixamos de ter em separado o vídeo e o papel com as anotações, com esta ferramenta fica tudo organizado”, realça.

Para a investigadora, a ferramenta acaba por ser quase como “um assistente de coreografia”, relembrando que esta era também a visão de Rui Horta, o coreógrafo que inspirou e apoiou o desenvolvimento da ferramenta numa fase inicial. Desde então, o software evoluiu e apresenta-se hoje numa versão estável e robusta, gratuita para qualquer utilizador e web-based. Ou seja, todos os registos podem ser feitos e armazenados online.

Anotações à medida de cada utilizador

A evolução da própria ferramenta tem permitido ampliar potencialidades e dar a cada utilizador a versatilidade de fazer anotações da forma mais ajustada ao seu método de trabalho e às especificidades de cada projeto. Em que sentidos? Não só na customização do tempo de delay na filmagem – que é a margem necessária para se criarem anotações –, mas também nos tipos de notas suportadas pelo “MotionNotes”.

O software permite, atualmente, cinto formas diferentes de anotações. Numa lógica de maior rapidez, é possível anotar em desenho livre com caneta em ecrã tátil ou com recurso a símbolos pré-definidos (importados de bibliotecas “MotionNotes” ou marcas próprias). Além disso, é também possível criar notas em texto, em voz ou com links/URL (para referências).

No ecrã de trabalho, cada tipologia de anotação surge numa timeline sincronizada com o vídeo, o que “facilita a navegação bloco a bloco, para que se possa ver tudo o que foi anotado ao longo da gravação, sem ser necessário percorrer o vídeo todo”, destaca Carla Fernandes.

Dar visibilidade aos processos de criação

Ao permitir o armazenamento de anotações ao longo de todo o processo de criação, o “MotionNotes” facilita a produção de arquivos digitais dinâmicos, algo que pode ser também interessante como instigador de novos processos criativos e de uma maior visibilidade e reflexão sobre os corpos no espaço. Carla Fernandes explica, por exemplo, que há artistas cujo processo criativo é impactado pelo arquivo de anotações que vão sendo feitas. Rui Horta, por exemplo, interessou-se em testar o uso das anotações de um processo como cenário para uma outra peça da sua autoria.

Ainda assim, desengane-se quem acreditar que uma ferramenta como o “MotionNotes” só é útil para as áreas da dança e performance. De acordo com a investigadora do ICNOVA, “várias pessoas estão a usar a ferramenta noutras áreas”. “Começaram-se a fazer experiências com o desporto, sobretudo em casos onde o movimento técnico de detalhe é importante, como o ténis ou golf, mas também na antropologia, com filmagens nas comunidades, ou até para professores de crianças”, exemplifica, acrescentando que “há muitíssimas aplicações possíveis, sempre que seja necessário anotar a performance do movimento”.

Uma equipa que alia performance, tecnologia e design

O “MotionNotes” integra-se no projeto europeu WEAVE, um consórcio de 12 parceiros de oito países. Em Portugal, Carla Fernandes coordena os parceiros nacionais – Universidade NOVA de Lisboa (FCSH e FCT) e Associação Pédexumbo – nas atividades de desenvolvimento de software para anotação e transmissão de movimentos de dança e artes performativas.

Em paralelo com o anotador, a equipa está também a investigar o reconhecimento semiautomático de gestos humanos em ambientes criativos. Desta forma, e numa lógica de machine learning, “o objetivo é que a máquina reconheça automaticamente alguns movimentos mais repetidos”, adianta a investigadora do ICNOVA, lembrando que, embora o reconhecimento automático de imagens seja uma tecnologia já bastante avançada, o mesmo não acontece para o reconhecimento de movimento (ainda muito limitado).

Para já, a investigação da equipa no âmbito do reconhecimento de movimento tem por base alguns movimentos típicos das danças tradicionais, a partir de vídeos da Associação PédeXumbo.

Além de Carla Fernandes, a equipa de projeto integra Nuno Correia (professor catedrático na NOVA FCT), o designer Stephan Jürgens (ESTC-IPL) e os bolseiros Rui Rodrigues e João Diogo. Urândia Aragão foi a designer responsável pelo desenho da primeira interface, na fase inicial da ferramenta, na altura ainda com a inspiração e inputs diretos do coreógrafo Rui Horta.

Para saber mais:

Rodrigues, R., Jurgens, S., Fernandes, C., Diogo, J. and Correia, N. (2022) Integrating 3D Objects in Multimodal Video Annotation. CHI Conference Journal, IMX2022.

Rodrigues R., Madeira R.N., Correia N., Fernandes C., & Ribeiro S. (2019) “Multimodal Web Based Video Annotator with Real-Time Human Pose Estimation”. Lecture Notes in Computer Science, vol 11872. Springer.

Gouveia, J., Fernandes, C., and Correia, N. (2016). “The Creation-Tool: Augmenting the Annotation of Performing Arts Rehearsals.” In: Fernandes, C. (Ed.) Multimodality and Performance. Newcastle upon Tyne: Cambridge Scholars Publishing.