algoritmo de processamento de imagens em … · por outro lado, a utilização de laser range...

ALGORITMO DE PROCESSAMENTO DE IMAGENS EM ROBÔS MÓVEIS PARADETECÇÃO E POSICIONAMENTO DE OBSTÁCULOS UTILIZANDO LASER

Thiago C. Jesus∗, Pedro L. Lourenço∗, Paulo F. P. L. Vaz∗

∗Laboratório de Sistemas Embarcados (LSE/UEFS)Departamento de Tecnologia

Universidade Estadual de Feira de SantanaFeira de Santana, BA, Brasil

Emails: [email protected], [email protected], [email protected]

Abstract— Humans have been replaced and assisted by robots in several activities. An essential task forsuch robots is to know the environment around them, to be able to perform a safe navigation, detecting andanalyzing possible obstacles. In this context, this paper proposes a laser detection algorithm for obstacle avoidancefor mobile robots. This algorithm ignores the hypothesis that laser is the brightest point in the image, usessubtractions between layers of a single image, and obtain a success rate of 85, 04% looking for red spots.

Keywords— Laser Range Finder, Computer Vision, Robotics

Resumo— Robôs vêm sendo largamente utilizados para substituir ou auxiliar humanos em diversas atividades.Uma tarefa essencial para tais robôs é conhecer o ambiente ao seu redor, para poder executar uma navegaçãosegura, detectando e analisando possíveis obstáculos. Assim, este trabalho propõe um algoritmo de detecçãode laser para posicionamento de obstáculos para robôs móveis. Este algoritmo desconsidera a hipótese de queo laser é o ponto mais luminoso da imagem, utiliza subtrações entre camadas de uma única imagem e obtém85, 04% de sucesso em encontrar regiões avermelhadas de alta luminosidade.

Palavras-chave— Laser Range Finder, Visão Computacional, Robótica

1 Introdução

Robôs vêm sendo largamente utilizados para subs-tituir ou auxiliar humanos em atividades repe-titivas, perigosas, de alta precisão ou custosas.Exemplos disso são robôs de linhas de monta-gem industriais, robôs de resgate, robôs militares,robôs cirurgiões ou robôs para inspeção, sendo elesautônomos ou remotamente controlados (de Meloet al., 2012; Chang and Šabanovic, 2013). Umatarefa essencial para robôs, inclusive os que ope-ram com objetivo de busca, resgate e inspeção, éconhecer o ambiente ao seu redor para poder exe-cutar uma navegação segura, detectando e ana-lisando possíveis obstáculos. Uma vez que umobstáculo é detectado ele precisa ser posicionadoem relação ao robô, a fim de determinar o me-lhor trajeto para evitar uma colisão (Hernandezet al., 2014; Kumar et al., 2017).

Na literatura recente muitos trabalhos abor-dam técnicas para detectar, posicionar e evitarobstáculos. Para tanto, normalmente são utili-zados sensores do tipo sonar, infravermelho ou la-ser range finder (Wang and Hou, 2016; Ciubucciuet al., 2016; Yu et al., 2016; Jesus et al., 2015; Aliand Ali, 2015; Haffner and Duchon, 2014; Hernan-dez et al., 2014). Entretanto, tanto o sonar quantoo infravermelho apresentam características direci-onais, isto é, apenas obstáculos na linha reta devisada do sensor podem ser detectados, não sendopossível uma ampla caracterização do ambiente.Uma alternativa para esse problema é a utiliza-ção de vários sensores dispostos em diferentes di-reções, ou a movimentação do robô para o correto

posicionamento do sensor, implicando em perdade eficiência energética.

Outra alternativa é a utilização de stripe (ouline) laser range finder. Nesse caso é tirada umafoto no instante em que um laser de linha é aci-onado e apontado para o ambiente a ser senso-riado, obtendo um ângulo de visão em torno de150◦ (a depender da câmera utilizada). A partirda informação das coordenadas dos pixels associ-ados ao laser na foto é possível obter a distânciaem relação ao robô de todos os objetos (potenciaisobstáculos) iluminados pelo laser.

Em (Haffner and Duchon, 2014) um laserrange finder é usado para detectar obstáculos ecriar um mapa para robôs móveis, considerandoque as coordenadas (x, y) do laser na imagem sãoconhecidas. Hernandez et al. (2014) aborda o pro-blema de navegação de robôs autônomos e tam-bém utiliza laser range finder considerando co-nhecer as (x, y) de cada obstáculo e que a extraçãode sua distância até o robô é uma tarefa simples,direcionando o trabalho aos esforços na estraté-gia de evitar obstáculos. Essas considerações sãocomuns, uma vez que que a tarefa de encontraro laser em uma imagem digital é extremamentesimples, se for assumido que o laser é o pontomais luminoso da imagem. Entretanto essa hipó-tese é muito fraca, já que ela exige a atuação doagente aquisitivo da imagem em um ambiente con-trolado, o que é improvável. Um exemplo para aineficiência da busca do laser como o ponto maisluminoso de uma imagem é o de robôs de resgate,que podem precisar realizar uma missão duranteo dia ou em um ambiente bem iluminado.

XIII Simposio Brasileiro de Automacao Inteligente

Porto Alegre – RS, 1o – 4 de Outubro de 2017

ISSN 2175 8905 2020

Por outro lado, a utilização de laser rangefinder implica em processamento de imagens emgrande volume de dados que, no caso de sistemasembarcados como robôs, pode exigir muito poderde processamento, por muito tempo. Ao contrá-rio de Aroca et al. (2012), Ali et al. (2013) e Ha-mad et al. (2014), os autores Jesus et al. (2015) eWang et al. (2014) propõem a realização do pro-cessamento das imagens on-board em um FPGA,obtendo um sistema dedicado e eficiente, não su-jeito ao alto throughput de dados inerente à co-municação com sistemas externos ao robô. Todosos trabalhos citados mantêm a hipótese de o laserser o ponto mais luminoso da imagem.

Nesse contexto, este trabalho propõe um novoalgoritmo para detecção de laser em imagens digi-tais, desconsiderando a hipótese de que o mesmoé ponto mais luminoso. O algoritmo leva em con-sideração características espectrais do laser e doambiente, além de aspectos de eficiência energé-tica e computacional para que o mesmo possa serembarcado em robôs móveis a fim de detectar, po-sicionar e evitar obstáculos. Assim, a principalcontribuição deste trabalho é a viabilização de de-tecção e posicionamento de obstáculos através deum sensor de distância do tipo laser range finder,sem a necessidade de qualquer restrição sobre oambiente a ser detectado.

Este trabalho está estruturado da seguinteforma: na seção 2 é apresentada uma formulaçãodo problema de detecção de laser bem como osrequisitos considerados. Na seção 3 é apresentadoo algoritmo proposto e as ideias que o norteiam.Uma discussão sobre o resultados obtidos é es-tabelecida na seção 4, que explana com maioresdetalhes os testes realizados. Finalmente, na se-ção 5, as conclusões acerca da implementação sãoapresentadas.

2 Noções Preliminares e Requisitos

O propósito principal deste trabalho é implemen-tar um algoritmo de detecção de laser a ser uti-lizado por um sensor de distância do tipo laserrange finder. Como se espera que este algoritmoseja embarcado em robôs móveis, ele precisa sercomputacionalmente eficiente, não demandandomuitos recursos, como processamento e armaze-namento em memória. Além disso, a proposta dedetectar o laser desconsiderando a hipótese deleser o ponto mais luminoso da imagem obriga, ob-viamente, a realizar uma busca na imagem poroutras características do laser, que não sejam ne-cessariamente sua luminosidade. Tais caracterís-ticas podem ser vistas na Figura 1.

Por observação, analisando o histograma devárias imagens contendo laser vermelho de ponto,é possível identificar o padrão de histograma apre-sentado na Figura 1(a), que sobrepõe os histo-grama das camadas R, G e B da imagem apre-

sentada na Figura 1(b). Na Figura 1(b) pode-sever a foto tirada por um sistema de laser rangefinder, na qual aparece um obstáculo iluminadopor um laser. Nota-se que, na região onde se lo-caliza o laser há um pico de valores próximo aomáximo 1 em todas as camadas, gerando a corbranca. Entretanto esse pico de valores se apre-senta em uma faixa mais larga na camada verme-lha. Isso acontece porque o laser vermelho tem ocentro extremamente luminoso com uma faixa deespalhamento na cor do laser, nesse caso verme-lho. Essa informação é crucial para o algoritmoapresentado seção 3, que considera que:

(a)

(b)

Figura 1: (a) Histograma das camadas R, G e Bda imagem (b).

(i) a imagem analisada está no padrão RGB888;

(ii) o laser é primordialmente vermelho;

(iii) o centro do laser é tratado como luz branca,ou seja, mascara sua propriedade averme-lhada possuindo intensidade máxima dastrês cores base;

(iv) o maior espalhamento do laser acontece nacor vermelha, seguido da cor azul e, por fim,a cor verde é a que menos contribui nesteprocesso;

1Foram utilizadas imagens 640x480, no padrãoRGB888, o que implica em valores de pixels de 0 a 255.



2021

(v) o processamento e armazenamento em me-mória devem ser otimizados, para rápidaexecução do algoritmo e simplificação dohardware.

É importante ressaltar que, sem perda de ge-neralidade, assim como proposto por Jesus et al.(2015), será utilizando laser de ponto ao invés dolaser de linha, uma vez que, para estender os re-sultados obtidos com laser de ponto, são neces-sárias pequenas alterações no algoritmo a fim deobter uma coordenada do laser em múltiplas co-lunas da imagem.

3 Algoritmo

Baseado nos requisitos apresentados na seção 2, éproposto o algoritmo apresentado na Listagem 1.A ideia principal do algoritmo é, através de com-parações entre informações existentes em cada ca-mada da imagem, realçar os pixels que compõemo espalhamento do laser e calcular a coordenada(coluna, linha) média desses pixels. Essa coorde-nada deve corresponder aproximadamente à coor-denada do centro do laser.

As comparações em questão podem ser vistasnas Linhas 5, 6 e 7 da Listagem 1, que correspon-dem a subtrações saturadas de 0 a 255 2 entre osvalores de um pixel nas suas camadas R, G e B.Isso quer dizer que se o resultado de cada umadessas subtrações for menor do que 0 ou maiordo que 255, ele deve então ser considerado, en-tão, como 0 ou 255, respectivamente. Note entãoque as Linhas 5, 6 e 7 procuram por pixels com acomponente vermelha mais intensa do que a azul,mais intensa do que a verde, e com a componenteazul mais intensa do que verde. Se essa condiçãonão for satisfeita, este pixel é marcado com 0, poisele não se caracteriza com espalhamento do laser.Vale salientar ainda que, o fato de serem utiliza-das subtrações saturadas faz com que o valor depixel.value na Linha 7 não seja necessariamenteigual a (pR − pG) − (pR − pB) = pB − pG.

É importante ressaltar que, como um dos re-quisitos apresentados na seção 2 é a otimização deprocessamento e de memória, o algoritmo é execu-tado pixel a pixel, sem a necessidade de armazena-mento da imagem. Isso quer dizer que, um robôpode obter uma imagem de forma serial, processá-la à medida em recebe os dados (otimizando otempo de processamento) e precisará armazenarapenas uma pequena quantidade de pixels, muitomenor do que o tamanho da imagem. Os pixelsque precisam ser armazenados são utilizados paracalcular corretamente as coordenadas do centro dolaser. Para tanto são armazenadas as coordena-das e o valor dos n maiores pixels associados aoespalhamento do laser. O valor da variável n é o

2Valores possíveis para um pixel em uma imagemRGB888

ALGORITMO 1: Laser Detection.Input: Image, pixel by pixel.Output: Coordinates (laserColumn,

laserRow).1 for each pixel of Image do2 pR = pixel.getRComponent();3 pG = pixel.getGComponent();4 pB = pixel.getBComponent();5 RG = pR - pG;6 RB = pR - pB;7 pixel.value = RG - RB ;8 if pixel.value > 0 && pixel.value >

min(highPixels) then9 count + +;

10 min = highPixels.removeMin();11 accR =

accR + pixel.Row − min.Row;12 accC = accC + pixel.Column −

min.Column;13 highPixels.insert(pixel);14 end15 end16 laserRow = accR/count;17 laserColumn = accC/count;18 laserCenter = (laserColumn, laserRow);

tamanho do vetor highPixels e deve ser definidode acordo com cada aplicação. Quanto maior foresse vetor, mais memória será necessária e maispreciso será o cálculo do centro do laser. Nosresultados apresentados neste trabalho utilizou-sen = 10, que corresponde a menos de 0, 004% dainformação da imagem original.

Outro trecho do algoritmo que merece atençãoé o bloco de código entre as Linhas 8 e 13. À me-dida que um novo pixel associado ao espalhamentoé encontrado, se ele for um dos pixels mais intensossuas coordenadas de linha e coluna (accR e accC,respectivamente) são acumuladas, em detrimentodas coordenadas de linha e coluna do pixel de me-nor intensidade no vetor highPixels(min.Row emin.Column, respectivamente). A busca por pi-xels de maior intensidade é realizada pois é maisprovável quee ste pixel esteja mais próximo ao cen-tro do laser.

Por fim, as coordenadas do centro do lasersão calculadas na Linha 18, pela média do acú-mulo da coordenadas de cada pixel associado aoespalhamento do laser.

4 Resultados

A análise de eficiência do Algoritmo 1 se baseiaem duas etapas. A primeira é um comparativodireto com os resultados obtidos no trabalho pro-posto por Jesus et al. (2015) no intuito de validarque houve a correta identificação do laser e de que



2022

o algoritmo selecionado também serve para o pro-pósito do cálculo de distância. A segunda etapaconsiste em testes experimentais da localização dolaser, isto é, o verdadeiro posicionamento do laserserá inserido manualmente e comparado com osresultados obtidos pelo algoritmo. Esta segundaetapa é um pouco mais interessante, uma vez queutiliza imagens tiradas em ambientes não contro-lados.

4.1 Comparativo de distâncias

O comparativo de distâncias reproduz fielmente oscálculos feitos por Jesus et al. (2015), faz uso dasmesmas imagens e mesmos parâmetros de cálculode distância. A única diferença entre os traba-lhos é o algoritmo identificação do laser. A Ta-bela 1 apresenta os resultados obtidos provenien-tes da combinação do Algoritmo 1 e os parâme-tros de cálculo de distância utilizados em (Jesuset al., 2015). Analisando a última coluna da Ta-bela 1 é possível notar que o Algoritmo 1 geraresultados corretos, uma vez que os resultadossão bastante próximos dos apresentados em (Jesuset al., 2015).

Tabela 1: Tabela usada para comparativoReal Erro (%) Erro (%)

Dist. (cm) (Jesus et al., 2015) Algor. 170 2.28 2,2865 3.19 1,2260 2.91 1,0755 1.41 0,3350 0.19 1,4345 0.25 0,2540 0.66 0,6335 0.48 0,6530 2.26 2,2625 1.36 1,3620 1.83 1,5515 1.53 1,5312 3.89 3,8911 2.87 3,6710.9 3.19 3,5910.8 3.88 2,2910.5 1.94 0,7310 2.97 3,81

4.2 Experimentos

Os testes experimentais adotaram a seguinte abor-dagem: para cada imagem testada, o centro dolaser foi manualmente identificado e então o al-goritmo proposto foi executado, tendo seus resul-tados comparados com os resultados da seleçãomanual. Um caso de sucesso é considerado se oerro entre a seleção manual e a resposta do Algo-ritmo 1 for menor ou igual a 5 pixels na coorde-

nada das linhas ou colunas. A escolha desse valorse justifica por ser considerado uma taxa de erromuito pequena em relação ao tamanho da imagem(640x480), representando aproximadamente 1%.

A Figura 2 exemplifica a eficiência do Algo-ritmo 1 em detectar um laser em um ambientecontendo muita luz. A Figura 2(a) apresenta umaimagem tirada em tal ambiente (a localização dolaser na imagem foi realçada manualmente). AFigura 2(b) apresenta o resultado do Algoritmo 1,indicando as coordenadas encontradas para o cen-tro do laser de forma ampliada. É possível notarque a localização não é precisamente no centrodo que seria o laser na imagem. Esse resultadopode ser melhor ajustado escolhendo adequada-mente a quantidade de pixels armazenados, comodiscutido na seção 3. Como dito anteriormente,os resultados apresentados neste trabalho consi-deram o armazenamento de apenas 10 pixels, quecorresponde a menos de 0, 004% da informação daimagem original.

(a)

(b)

Figura 2: (a) Imagem de ambiente altamente ilu-minado; (b) Resultado do Algoritmo Laser Detec-tion.

A Figura 3 apresenta algumas imagens tira-das em ambientes heterogêneo, nos quais o Algo-ritmo 1 foi bem sucedido, encontrando o laser naimagem (destacado manualmente por uma cruz).Nota-se então que a luminosidade não é um fatordeterminante para a efetividade do algoritmo na



2023

busca pelo laser.

(a)

(b)

Figura 3: Testes bem sucedidos.

Por outro lado, a Figura 4 apresenta algumasimagens nas quais o Algoritmo 1 não consegueidentificar corretamente o centro do laser. A posi-ção real do laser nas Figuras 4(a) e 4(b) são des-tacadas manualmente por uma cruz, entretanto oAlgoritmo 1 não consegue computar corretamenteessas coordenadas. Estes erros estão associados àpresença de elementos avermelhados nas imagens(destacados manualmente por um círculo), comalta intensidade ou com luz incidente. Isso acon-tece porque, de fato, o algoritmo procura por essascaracterísticas. Entretanto, é razoável afirmar quea presença de elementos com estas característicasnão são comuns nos ambientes aos quais estão as-sociadas as missões para robôs móveis, como robôsmineradores.

Ao todo foram testadas 254 imagens. Des-tas, em 216 o laser foi posicionado corretamente,gerando uma taxa de acerto de 85, 04%. Esse nú-mero é significativo, pois indica uma alta eficiên-cia do algoritmo proposto que é bastante simples

(a)

(b)

Figura 4: Testes mal sucedidos.

e resolve um problema de interesse. Vale ressal-tar que esse algoritmo desconsidera a hipótese deque o laser é o ponto mais luminoso da imagem,dando uma importância ainda maior para a taxade acerto, já que é comum na literatura a consi-deração dessa hipótese, limitando bastante os mé-todos existentes.

Nos casos em que o algoritmo não consegueencontrar o laser, pode-se perceber que isso ocorrepor não ter informação suficiente do laser na ima-gem, que são os casos nos quais há muitas infor-mações similares ao laser, ou seja, a presença deelementos avermelhados. Acredita-se que esse úl-timo caso possa ser contornado com a combinaçãodo algoritmo aqui proposto com outro métodos deprocessamento de imagem, como identificação deforma através de elementos estruturantes. Essaabordagem poderia aumentar a eficiência do mé-todo, com um provável aumento de processamentoe demanda de memória, não sendo assim tratadaneste trabalho.



2024

5 Conclusões

Neste trabalho foi apresentado um novo algoritmopara detecção de laser em imagens digitais. O al-goritmo é bastante simples, baseado em subtra-ções entre as camadas vermelha (R), verde (G) eazul (B) de uma mesma imagem no formato RGB,não sendo necessário tirar ou armazenar váriasimagens. O algoritmo obteve uma taxa de acertode 85, 04%, sendo considerado aqui eficiente parao escopo do trabalho.

O algoritmo aqui proposto é mais abrangentedo que os trabalhos comumente encontrados naliteratura, uma vez que desconsidera a hipótesede o laser ser o ponto mais luminoso da imagem.A consideração dessa hipótese limita os métodosexistentes à sua aplicação em ambientes controla-dos, impossibilitando, por exemplo, sua execuçãoem ambientes muito iluminados, como ambientesexternos.

Para continuação do projeto deseja-se me-lhorar a detecção do laser proposta aqui,combinando-a com outros métodos de processa-mento de imagem, como identificação de formaatravés de elementos estruturantes.

Referências

Ali, B., Qureshi, A., Iqbal, K., Ayaz, Y., Gilani,S., Jamil, M., Muhammad, N., Ahmed, F.,Muhammad, M., Kim, W.-Y. and Ra, M.(2013). Human tracking by a mobile robotusing 3d features, Robotics and Biomimetics(ROBIO), 2013 IEEE International Confe-rence on, pp. 2464–2469.

Ali, T. Y. and Ali, M. M. (2015). Robotino obsta-cles avoidance capability using infrared sen-sors, 2015 IEEE Jordan Conference on Ap-plied Electrical Engineering and ComputingTechnologies (AEECT), pp. 1–6.

Aroca, R. V., Burlamaqui, A. F. and Gonçalves,L. M. G. (2012). Method for reading sensorsand controlling actuators using audio inter-faces of mobile devices, Sensors 12(2): 1572–1593.

Chang, W. L. and Šabanovic, S. (2013). Poten-tial use of robots in taiwanese nursing homes,2013 8th ACM/IEEE International Confe-rence on Human-Robot Interaction (HRI),pp. 99–100.

Ciubucciu, G., Filipescu, A., Filipescu, A., Fili-pescu, S. and Dumitrascu, B. (2016). Con-trol and obstacle avoidance of a wmr, basedon sliding-mode, ultrasounds and laser, 201612th IEEE International Conference on Con-trol and Automation (ICCA), pp. 779–784.

de Melo, L. F., Demian, A. E., Lopes, G. M. G.and Rosario, J. M. (2012). Mobile robots andwheelchairs control navigation design usingvirtual simulator tools, 2012 IEEE Interna-tional Symposium on Industrial Electronics,pp. 1280–1285.

Haffner, O. and Duchon, F. (2014). Makinga map for mobile robot using laser range-finder, Robotics in Alpe-Adria-Danube Re-gion (RAAD), 2014 23rd International Con-ference on, pp. 1–7.

Hamad, A. A., Dhahir, D. A., Mhdi, B. R. andSalim, W. H. (2014). Laser distance measu-rement by using web camera, IOSR Journalof Engineering 4(4): 25–28.

Hernandez, D. C., Hoang, V. D. and Jo, K.-H.(2014). Laser based obstacle avoidance stra-tegy for autonomous robot navigation usingdbscan for versatile distance, 2014 7th Inter-national Conference on Human System Inte-ractions (HSI), pp. 112–117.

Jesus, F. B., Carvalho Filho, J. P., Bittencourt, J.C. N. and Jesus, T. C. (2015). Modeling andsimulation of laser rangefinder architecture,http://www.sbmicro.org.br/images/stories/Eventos/sforum2015/07.pdf.[Online; accessed 10-April-2017].

Kumar, N., Takács, M. and Vámossy, Z. (2017).Robot navigation in unknown environmentusing fuzzy logic, 2017 IEEE 15th Interna-tional Symposium on Applied Machine Intel-ligence and Informatics (SAMI), pp. 000279–000284.

Wang, J. X. and Hou, Y. R. (2016). Research onrobot obstacle avoidance method on psd andsonar sensors, 2016 3rd International Con-ference on Information Science and ControlEngineering (ICISCE), pp. 1071–1074.

Wang, Z., Cao, X., Song, H., Xiao, H., He, W.and Yuan, K. (2014). Embedded 3d visionmeasurement system based on the line struc-tured light, Intelligent Control and Automa-tion (WCICA), 2014 11th World Congresson, pp. 6012–6017.

Yu, G. R., Liu, P. Y. and Leu, Y. K. (2016). De-sign and implementation of a wheel mobilerobot with infrared-based algorithms, 2016International Conference on Advanced Robo-tics and Intelligent Systems (ARIS), pp. 1–6.



2025

http://www.sbmicro.org.br/images/stories/Eventos/sforum2015/07.pdf

http://www.sbmicro.org.br/images/stories/Eventos/sforum2015/07.pdf

algoritmo de processamento de imagens em … · por outro lado, a utilização de laser range...

Documents