UNIVERSIDADE FEDERAL DO ESPÍRITO SANTOCENTRO TECNOLÓGICO

PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIAELÉTRICA

RICHARD JUNIOR MANUEL GODINEZ TELLO

EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃODE SINAIS sEMG APLICADOS A UMA PRÓTESE DE

MÃO VIRTUAL

VITÓRIA2013

RIC

HA

RD

JUN

IOR

MA

NU

EL

GO

DIN

EZ

TE

LL

OD

isse

rtaç

ãode

ME

STR

AD

O-2

013

RICHARD JUNIOR MANUEL GODINEZ TELLO

EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃODE SINAIS sEMG APLICADOS A UMA PRÓTESE DE

MÃO VIRTUAL

Dissertação apresentada ao Programa de Pós-Graduaçãoem Engenharia Elétrica do Centro Tecnológico da Uni-versidade Federal do Espírito Santo, como requisito par-cial para obtenção do Grau de Mestre em EngenhariaElétrica, na área de concentração de Robótica e Auto-mação InteligenteOrientador: Prof. Dr. Teodiano Freire Bastos Filho.Co-orientadores: Prof. Dr. Anselmo Frizera Neto e Dr.Dinesh Kant Kumar.

VITÓRIA2013

Dados Internacionais de Catalogação-na-publicação (CIP)(Biblioteca Central da Universidade Federal do Espírito Santo, ES, Brasil)

Tello, Richard Junior Manuel Godinez, 1985-T277e Extração de características e classificação de sinais sEMG

aplicados a uma prótese de mão virtual / Richard Junior ManuelGodinez Tello. −2013.

115 f. : il.

Orientador: Teodiano Freire Bastos Filho.Coorientadores: Anselmo Frizera Neto, Dinesh Kant Kumar.Dissertação (Mestrado): Universidade Federal do Espírito Santo,

Centro Tecnológico.

1. Prótese. 2. Mãos. 3. Robótica. I. Bastos Filho, Teodiano Freire.II. Frizera Neto, Anselmo. III. Kumar, Dinesh Kant. IV. Universi-dade Federal do Espírito Santo. Centro Tecnológico. V. Título.

CDU: 621.3

Dedico este trabalho às pessoas que mais adoro na minha vida: a meus pais Elba eRichard, por seus esforços e exemplos de vida, e de maneira especial, meu irmão Carlos,

por ser meu grande amigo de sempre.

Richard Junior Manuel

Agradecimentos

Gostaria de agradecer a Deus, a meus pais Elba e Richard e a meu irmão Carlos, peloapoio de sempre. Da mesma forma, quero agradecer de forma especial ao CNPQ pelabolsa de estudos concedida, e a meu orientador, Prof. Teodiano, muito obrigado pelapaciência, por sua exaustividade nas correções de meus textos e seus acertados conselhos.De igual forma, ao Prof. Anselmo por seu gerenciamento atento e rápido na solução dosproblemas.

Não posso deixar de agradecer a todos os meus novos amigos brasileiros que fiz; sóespero não esquecer de algum de vocês, e se eu cometer esse erro peço desculpas; aRafael, Roberto, Lígia, Milton, Ígor, Valmir, Mariana, Diego, Alessandro, Sandra, Flá-vio, Fabrício, Marino, Thiago Calotti, Gabriel Zago, Arlindo, Cassius, Leonardo, Bruno,Carlos Valadão e Clebson: um grande abraço a todos vocês.

A meus amigos da Argentina: Natalia, Lucio e Eugenio da Universidad Nacional deSan Juan, muito obrigado a vocês por sua sempre atenciosa colaboração e amabilidade.

Finalmente, desejo agradecer a meus colegas e amigos de diversos países, que juntocomigo somos os chamados estrangeiros na pós-graduação da Elétrica, os quais contribuí-ram muito, de maneira direta e indireta, na realização deste trabalho: Jhon Freddy, JohnJairo, Dennis, Camilo, Carlos, Manuel e Anibal.

Não posso acabar esta lista de agradecimentos, sem antes agradecer a Jorge Aching,muito obrigado por ser meu amigo e me apoiar na minha chegada. Não esquecerei tuadisposição de sempre e teus grandes conselhos, Doutor!

Sumário

1 Introdução 16

1.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.2 Caracterização do Problema . . . . . . . . . . . . . . . . . . . . . . . . 17

1.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.4 Organização da Dissertação . . . . . . . . . . . . . . . . . . . . . . . . . 20

2 Fundamentação Teórica 21

2.1 Breve História da Electromiografia . . . . . . . . . . . . . . . . . . . . . 21

2.2 Sinais Eletromiográficos de Superfície (sEMG) . . . . . . . . . . . . . . 23

2.2.1 Definições . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.2.2 A Fonte do Sinal Eletromiográfico . . . . . . . . . . . . . . . . . 24

2.2.3 Considerações sobre Impedância em Sinais Eletromiográficos . . 28

2.2.4 Amplificação Diferencial e Rejeição de Modo Comum . . . . . . 28

2.2.5 Filtragem do Sinal Eletromiográfico . . . . . . . . . . . . . . . . 29

2.2.6 Análise Espectral e Filtros Passa Banda . . . . . . . . . . . . . . 30

2.2.7 Etapas do Processamento de Sinais sEMG . . . . . . . . . . . . . 31

2.3 Etapa 1: Aquisição e Segmentação de dados . . . . . . . . . . . . . . . . 32

2.3.1 Aquisição de Dados EMG . . . . . . . . . . . . . . . . . . . . . 32

2.3.2 Segmentação de Dados EMG . . . . . . . . . . . . . . . . . . . 33

viii

2.4 Etapa 2: Extração de Características . . . . . . . . . . . . . . . . . . . . 35

2.4.1 Domínio do Tempo . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.4.2 Domínio da Frequência . . . . . . . . . . . . . . . . . . . . . . . 39

2.4.3 Domínio Tempo-Frequência . . . . . . . . . . . . . . . . . . . . 42

2.4.4 Outros Extractores . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.4.5 Redução de Dimensionalidade . . . . . . . . . . . . . . . . . . . 46

2.4.6 Técnicas de Partição de Conjuntos de Amostras para Treinamento 47

2.5 Etapa 3: Classificação de Sinais sEMG . . . . . . . . . . . . . . . . . . . 51

2.6 Etapa 4: Aplicações de Controle . . . . . . . . . . . . . . . . . . . . . . 54

2.7 Plataformas Comerciais e Projetos de Pesquisa de Próteses de MembroSuperior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

2.8 Estado da Arte em Reconhecimento de Tarefas Motoras para EMG . . . . 61

3 Implementação e Resultados 64

3.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.1.1 Aquisição dos Sinais EMG . . . . . . . . . . . . . . . . . . . . . 65

3.2 Extração de Características . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.3 Classificação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

3.3.1 Análise Discriminante Linear e Quadrático - Classificador Baye-siano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

3.3.2 Classificador k-Vizinho Próximo (k-NN) . . . . . . . . . . . . . 72

3.4 Provas Experimentais e Resultados . . . . . . . . . . . . . . . . . . . . . 72

4 Modelagem da Mão Virtual 83

4.1 Sistema On-line de Biofeedback . . . . . . . . . . . . . . . . . . . . . . 86

5 Conclusões e Trabalhos Futuros 90

5.1 Conclusões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

5.2 Trabalhos a futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

A Publicaçoes Geradas 104

B Apêndice B 106

Lista de Tabelas

2.1 Técnicas de extração de características para sistemas de controle EMG. . 36

2.2 Tipos de classificadores utilizados no reconhecimento de padrões em EMG. 54

2.3 Características de alguns protótipos de pesquisa e próteses comerciais demão e braço. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

2.4 Estado da Arte em Reconhecimento de Tarefas Motoras em EMG. . . . . 63

3.1 Conjuntos de Tarefas Motoras a realizar. . . . . . . . . . . . . . . . . . . 65

3.2 Aplicações de controle mioelétrico com 4 canais. . . . . . . . . . . . . . 69

3.3 Porcentagens de acerto geral na classificação das diferentes tarefas motoras. 74

3.4 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 1 fazendo uso do classificador Bayesiano Linear. 74

3.5 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Linear. 75

3.6 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 3 fazendo uso do classificador Bayesiano Linear. 75

3.7 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 4 fazendo uso do classificador Bayesiano Linear. 75

3.8 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 1 fazendo uso do classificador Bayesiano Qua-drático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.9 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Qua-drático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

xi

3.10 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 3 fazendo uso do classificador Bayesiano Qua-drático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.11 Matriz de confusão em porcentagens de acerto (%) na classificação demovimentos do Conjunto 4 fazendo uso do classificador Bayesiano Qua-drático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.12 Valores de Desvio Padrão para os diferentes classificadores. . . . . . . . . 77

3.13 Desempenho da Classificação para Bayesianos. . . . . . . . . . . . . . . 81

3.14 Desempenho da Classificação baseada em k-NNs. . . . . . . . . . . . . . 82

Lista de Figuras

1.1 Etapas de processamento do sinal mioelétrico. . . . . . . . . . . . . . . . 17

1.2 Prótese de mão, modelo i-LIMB, da empresa Touch Bionics, Inc. . . . . . 19

2.1 Representação de um mecanismo de controle motor básico e da UnidadeMotora junto a seus componentes. Adaptado de (Merletti e Parker, 2004). 24

2.2 Diagrama de blocos de instrumentação EMG com varias opções. Adap-tado de (Criswell, 2010). . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.3 Os componentes que afetam ao sinal de EMG, uma vez que passam pelosamplificadores diferenciais. Adaptado de (Criswell, 2010). . . . . . . . . 25

2.4 Participantes na contração do músculo esquelético produzindo sinal EMG.Adaptado de (Rechy-Ramirez e Hu, 2011) . . . . . . . . . . . . . . . . . 26

2.5 Representação visual da atividade da Unidade Motora em relação aos ele-trodos. Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . . . . . 27

2.6 (a) Um registro de Sinal sEMG em bruto; (b) Um registro de Sinal sEMGcom filtro Notch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

2.7 (A) Três sinais independentes de 0.5, 1.0 e 1.5 Hz; (B) O sinal compostodas mesmas. Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . . 31

2.8 Densidade espectral de potência do sinal composto da figura anterior.Adaptado de (Criswell, 2010). . . . . . . . . . . . . . . . . . . . . . . . 32

2.9 Resumo das etapas de processamento do sinal sEMG. . . . . . . . . . . . 32

2.10 (a) Eletrodo passivo superficial; (b) Eletrodo passivo invasivo; (c) Ele-trodos ativos superficiais. Fotografia dos eletrodos da empresa Delsys(esquerda) e Touch Bionics, Inc. (direita). . . . . . . . . . . . . . . . . . 33

xiii

2.11 (a) Segmentação separada; (b) Segmentação sobreposta. Extraído de (Os-koei e Hu, 2008a). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2.12 Quadrículas tempo-frequência de (a) STFW; (b) WT e (c) WPT (En-glehart et al., 1999). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

2.13 Heterogeneização de um conjunto de amostras (Campo, 2008). . . . . . . 48

2.14 Técnica de “Cross-Validation” para 1000 amostras (Campo, 2008). . . . . 49

2.15 Dez partições que utilizam 10-fold Cross-Validation (Campo, 2008). . . . 51

2.16 Leave-One-Out sobre dez amostras (Campo, 2008). . . . . . . . . . . . . 52

2.17 Agrupamento dos tipos de classificadores mais usados. . . . . . . . . . . 53

2.18 Evolução no uso dos sinais EMG para controle de próteses de mão (Zeccaet al., 2002). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

2.19 Prótese de braço, Boston Digital Arm. . . . . . . . . . . . . . . . . . . . 56

2.20 Mão biônica da Otto Bock, modelo “Michelangelo”. . . . . . . . . . . . 57

2.21 (a) Prótese Proto 1; (b) Prótese Proto 2; (c) Projeto MLP (Modular Prosthe-tic Limb). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

2.22 (a) Braço Deka Gen 1; (b) Braço Deka Gen 2 e (c) Braço Deka Gen 3. . . 58

2.23 Prótese de mão, modelo i-LIMB Ultra. . . . . . . . . . . . . . . . . . . . 59

2.24 Prótese de mão, modelo Bebionic3. . . . . . . . . . . . . . . . . . . . . 60

2.25 Prótese de braço e mão, modelo Utah Arm 3. . . . . . . . . . . . . . . . 60

3.1 Etapas da avaliação experimental do sistema de classificação proposto. . . 65

3.2 Tarefas motoras realizadas pelos voluntários. . . . . . . . . . . . . . . . 66

3.3 Eletrodos ativos superficiais da empresa Touch Bionics, Inc. . . . . . . . . 66

3.4 Circuito de aquisição e conversor ADC NI USB - 6009 utilizados. . . . . 67

3.5 Circuito eletrônico da placa de aquisição. . . . . . . . . . . . . . . . . . 67

3.6 Localização dos eletrodos e corte transradial nos músculos envolvidos. . . 68

3.7 Interface de aquisição de sinais sEMG para quatro canais. . . . . . . . . . 70

3.8 Visualização das quinze classes a avaliar junto a algumas característicastemporais normalizadas. . . . . . . . . . . . . . . . . . . . . . . . . . . 70

3.9 Comparação de algumas características no domínio do tempo (normali-zadas). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

3.10 Gráficos de Sammon para discriminação Bayesiana linear dos conjuntosde tarefas motoras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

3.11 Gráficos de Sammon para discriminação Bayesiana quadrática dos con-juntos de tarefas motoras. . . . . . . . . . . . . . . . . . . . . . . . . . . 79

3.12 Desempenho da classificação com k-NNs para o Sujeito 1 nos quatro con-juntos de tarefas, mostrando o desvio padrão em: (a) Conjunto 1; (b)Conjunto 2; (c) Conjunto 3 e (d) Conjunto 4. . . . . . . . . . . . . . . . . 80

4.1 Mão virtual desenvolvida. . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.2 Diagrama de fluxo para a mão virtual desenvolvida. . . . . . . . . . . . . 84

4.3 (a) Painel de controle do sistema on-line: (b) Mão virtual na posição deaberta; (c) Mão virtual na posição de relaxação; (d) Mão virtual na posi-ção de fechada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

4.4 Dois canais sEMG provenientes do músculo pronador e o músculo bra-chioradialis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

4.5 Velocidades e coordenadas das juntas quando a configuração permite abrire fechar a mão virtual com a mesma velocidade nos dedos. . . . . . . . . 88

4.6 Velocidades e coordenadas das juntas quando a configuração permite abrire fechar a mão virtual com diferentes velocidades nos dedos. . . . . . . . 88

4.7 Zoom das coordenadas das juntas da Figura 4.6. A configuração faz comque a mão virtual possa abrir e fechar com uma velocidade diferente nosdedos. Neste caso, o dedo mindinho (q1) fecha mais rapidamente e odedo indicador (q4) abre mais rapidamente. . . . . . . . . . . . . . . . . 89

4.8 Um voluntário controlando a mão virtual. . . . . . . . . . . . . . . . . . 89

Glossário de Termos

AC Coeficientes de AutocorrelaçãoANN Classificador por Redes Neurais ArtificiaisAR() Modelos Autoregressivos (ordem)ARMA Modelos Auto-Regressivos de Média MóvelASSD Averaged Sensor-Skin DistanceBC Classificador BayesianoBNN Rede Neural BayesianaBP NN Rede Neural BackpropagationCC Coeficientes CepstrumCMRR Relação de Rejeição em Modo ComumDBS Discriminante Bi-espectralDFT Transforma de Fourier DiscretaELM Classificador Extreme Leaning MachineEMD Empirical Mode DecompositionFD Dimensão FractalFFT Transformada Rápida de FourierFL Lógica DifusaFMN Frequência MédiaFNPA Fuzzy Neighborhood Preserving AnalysisFR Relação de frequênciaFS Filtragem EspacialGA Algortimo GeneticoGMM Gaussian Mixture ModelGUSS Guided Underdetermined Source Signal SeparationHMM Modelos Ocultos de MarkovICA Análise de Componentes IndependentesIEMG Integral de EMGJD Joint Diagonalizationk-NN Classificador do k-Vizinho PróximoLDA Classificador de Análise Discriminante LinearLLGMN Rede Mista Gaussiana Log-linearizadaLVQ NN Learning Vector Quantization Neural NetworkMAV Valor Médio Absoluto

MAVS Inclinação do Valor Médio AbsolutoMMAV1 Valor Médio Absoluto Modificado 1MMAV2 Valor Médio Absoluto Modificado 2MC Classificaçao MulticlasseMFL Maximum Fractal LengthMFD Máxima Dimensão FractalMLP Multilayer PerceptronMPL Multilayer PerceptronMU Unidade MotoraMUAP Potencial de Ação da Unidade MotoraMUAPT Trem de Potenciais de Ação de Unidade MotorasNNC Classificador de Vizinho PróximoOvO One vs OneOvR One Versus RestPCA Análise de Componentes PrincipaisPMAX Potência máximaPMED Potência MédiaPOLC Classificador PolinomialPSD Densidade Espectral de PotênciaR-LLGMN Recurrent Log-Linearized Gaussian Mixture NetworkRegTree Classificador de Árvore de RegressãoRMS Raiz Média QuadráticasEMG Eletromiografia de superfícieSOFM NN Self-Organizing Feature Map Neural NetworkSSC Mudanças de Sinal de InclinaçãoSTFT Transformada Rápida de FourierSVM Máquina do Vetor SuporteTSVM Twin Support vector machinesVAR VariânciaWAMP Amplitude WillisonWL Comprimento de ondaWNN Rede Neural WaveletWPT Transformada Wavelet PacketWT Transformada WaveletZC Cruzamentos de Zero

Resumo

Este trabalho apresenta a classificação de tarefas motoras, através da eletromiografiade superfície (sEMG), para controlar uma mão prostética para reabilitação de amputa-dos. Dois tipos de classificadores são comparados: k-vizinhos mais próximos (k-NN) eBayesiano (Análise Discriminante). As tarefas motoras são divididas em quatro gruposcorrelacionados. Os voluntários desta pesquisa foram pessoas saudáveis (sem amputa-ção), e várias análises de cada um dos sinais foram realizadas. Para o analise off-line,as características utilizadas foram: RMS (Raiz Média Quadrática), VAR (Variância) eWL (Comprimento de forma de onda). Para a experimentação on-line implicou o uso dacaracterística de Discriminante Bi-espectral. Em ambos casos, tanto online ou offline, fo-ram usadas técnicas de janelas deslizantes. Foi proposto um modelo para a reclassificaçãousando validação cruzada, a fim de validar a classificação, sendo gerada uma visualizaçãodos dados em mapas de Sammon, a fim de observar a separação das classes para cada con-junto de tarefas motoras. Os métodos propostos foram implementados em uma interfacede computador, fornecendo realimentação visual através de uma prótese de mão artificialdesenvolvida em Visual C++ e utilizando comandos MATLAB.

Abstract

This work proposes the classification of motor tasks, using surface electromyography(sEMG) to control a prosthetic hand for rehabilitation of amputees. Two types of clas-sifiers are compared: k-Nearest Neighbor (k-NN) and Bayesian (Discriminant Analysis).Motor tasks are divided into four groups correlated. The volunteers were healthy people(without amputation) and several analyzes of each of the signals were conducted. Foroffline analysis, the features used were: RMS (Root Mean Squared), VAR (Variance) andWL (Waveform Length). For online experimentation, it involved the use of feature ofDiscriminant of Bi-spectral. In both cases, either online or offline techniques were usedto sliding windows. A model is proposed for reclassification using cross-validation inorder to validate the classification, and a visualization in Sammon Maps is provided inorder to observe the separation of the classes for each set of motor tasks. The proposedmethod can be implemented in a computer interface providing a visual feedback throughan artificial hand prosthetic developed in Visual C++ and MATLAB commands.