Uma compreensão completa dos princípios da imagem visual 3D

A imagem de visão 3D é um dos métodos mais importantes para percepção de informações de robôs industriais, que pode ser dividida em métodos de imagem ópticos e não ópticos. Atualmente, os métodos ópticos mais utilizados, incluindo: método de tempo de voo, método de luz estruturada, método de varredura a laser, método de franja moiré, método de manchas de laser, interferometria, fotogrametria, método de rastreamento a laser, forma de movimento, forma de sombra, e outro ShapefromX. Este artigo apresenta vários esquemas típicos.

1. Imagem 3D do tempo de voo

Cada pixel da câmera de tempo de voo (TOF) usa a diferença de tempo no voo da luz para obter a profundidade do objeto.

No método clássico de medição TOF, o sistema detector inicia a unidade de detecção e recepção para cronometrar quando o pulso óptico é emitido. Quando o detector recebe o eco óptico do alvo, o detector armazena diretamente o tempo de ida e volta.

Também conhecido como Direct TOF (DTOF), o D-TOF é comumente usado em sistemas de alcance de ponto único, onde a tecnologia de digitalização é frequentemente necessária para obter imagens 3D em toda a área.

A tecnologia de imagem TOF 3D sem digitalização não foi implementada até anos recentes, porque é muito difícil implementar temporização eletrônica de subnanossegundos no nível do pixel.

A alternativa ao D-TOF de tempo direto é o TOF indireto (I-TOF), no qual o tempo de ida e volta é extrapolado indiretamente a partir de medições de intensidade de luz com limite de tempo. O I-TOF não requer tempo preciso, mas em vez disso emprega contadores de fótons limitados por tempo ou integradores de carga, que podem ser implementados no nível do pixel. I-TOF é a solução atualmente comercializada para misturadores eletrônicos e ópticos baseados em câmeras TOF.

A imagem TOF pode ser usada para aquisição de imagens 3D de grande campo de visão, longa distância, baixa precisão e baixo custo. Suas características são: rápida velocidade de detecção, grande campo de visão, longa distância de trabalho, preço barato, mas baixa precisão, fácil de sofrer interferência da luz ambiente.

2. Digitalize imagens 3D

Os métodos de digitalização de imagens 3D podem ser divididos em varredura, triangulação ativa, método confocal de dispersão e assim por diante. Na verdade, o método confocal de dispersão é um método de varredura e alcance, considerando que atualmente é amplamente utilizado na indústria de manufatura, como telefones celulares e monitores de tela plana, é apresentado separadamente aqui.

1. Digitalização e alcance

A medição da distância de varredura consiste em usar um feixe colimado para escanear toda a superfície do alvo por meio da medição de distância unidimensional para obter a medição 3D. Os métodos típicos de varredura são:

1, método de tempo de voo de ponto único, como modulação de frequência de onda contínua (FM-CW), variação de pulso (LiDAR), etc.;

2, interferometria de dispersão de laser, como interferômetros baseados nos princípios de interferência de vários comprimentos de onda, interferência holográfica, interferência de luz branca, interferência de manchas, etc.

3, método confocal, como dispersão confocal, autofocalização, etc.

No método 3D de varredura de alcance de ponto único, o método de tempo de vôo de ponto único é adequado para varredura de longa distância e a precisão da medição é baixa, geralmente na ordem de milímetros. Outros métodos de varredura de ponto único são: interferometria a laser de ponto único, método confocal e método de triangulação ativa a laser de ponto único, a precisão da medição é maior, mas o primeiro tem altos requisitos ambientais; Precisão de digitalização de linha moderada, alta eficiência. O método de triangulação de laser ativo e o método confocal de dispersão são mais adequados para realizar medições 3D na extremidade do braço robótico.

2. Triangulação ativa

O método de triangulação ativa é baseado no princípio da triangulação, usando feixes colimados, um ou mais feixes planos para escanear a superfície alvo e completar a medição 3D.

O feixe é geralmente obtido das seguintes maneiras: colimação a laser, expansão angular cilíndrica cilíndrica ou quádrica do feixe, luz incoerente (como luz branca, fonte de luz LED) através do orifício, projeção em fenda (grade) ou difração de luz coerente.

A triangulação ativa pode ser dividida em três tipos: varredura de ponto único, varredura de linha única e varredura multilinha. A maioria dos produtos atualmente comercializados para uso nas extremidades dos braços robóticos são scanners de ponto único e de linha única.

No método de varredura multilinha, é difícil identificar com segurança o número do pólo periférico. Para identificar com precisão os números das listras, geralmente é adotada imagem alternada em alta velocidade de dois conjuntos de planos ópticos verticais, que também pode realizar a varredura "FlyingTriangulation". O processo de digitalização e reconstrução tridimensional é mostrado na figura a seguir. Uma visualização 3D esparsa é gerada por imagens estroboscópicas de projeção multilinha, e várias sequências de visualização 3D são geradas por varredura de projeção de franja longitudinal e horizontal. Em seguida, um modelo de superfície 3D completo e compacto com alta resolução é gerado pela correspondência de imagens 3D.

3. Método confocal de dispersão

A dispersão confocal parece ser capaz de escanear e medir objetos opacos e transparentes ásperos e lisos, como espelhos reflexivos, superfícies de vidro transparentes, etc., e atualmente é amplamente popular no campo de detecção tridimensional de placas de cobertura de telefones celulares.

Existem três tipos de varredura confocal dispersiva: varredura unidimensional de alcance absoluto de ponto único, varredura de matriz multiponto e varredura de linha contínua. A figura a seguir lista dois tipos de exemplos de varredura de linha absoluta e de linha contínua, respectivamente. Entre eles, a varredura de linha contínua também é uma varredura de matriz, mas a matriz possui uma rede maior e mais densa.

Em produtos comerciais, o sensor confocal espectral de varredura mais conhecido é o STILMPLS180 da França, que adota 180 pontos de matriz para formar uma linha com comprimento máximo de linha de 4,039 mm (ponto de medição 23h5, espaçamento ponto a ponto de 22,5h). Outro produto é o FOCALSPECUULA da Finlândia. A técnica de dispersão triângulo confocal é adotada.

3. Imagem 3D com projeção de luz estruturada

A imagem 3D de projeção de luz estruturada é atualmente a principal forma de percepção visual 3D do robô, o sistema de imagem de luz estruturada é composto por vários projetores e câmeras, as formas estruturais comumente usadas são: projetor único-câmera única, projetor único-câmera dupla, projetor único-múltiplo câmera, câmera única - projetor duplo e câmera única - projetores múltiplos e outras formas estruturais típicas.

O princípio básico de funcionamento da imagem 3D de projeção de luz estruturada é que os projetores projetam padrões específicos de iluminação de luz estruturada para objetos alvo, e as imagens moduladas pelo alvo são capturadas pela câmera, e então as informações 3D do objeto alvo são obtidas através da imagem processamento e modelo visual.

Os projetores comumente usados ​​​​têm principalmente os seguintes tipos: projeção de cristal líquido (LCD), projeção de modulação de luz digital (DLP: como dispositivos de microespelho digital (DMD)), projeção direta de padrão LED a laser.

De acordo com o número de projeções de luz estruturada, a imagem 3D da projeção de luz estruturada pode ser dividida em métodos de projeção 3D única e 3D de projeção múltipla.

1. Imagem de projeção única

A luz estruturada de projeção única é realizada principalmente por codificação de multiplexação de espaço e codificação de multiplexação de frequência. As formas de codificação comuns são codificação por cores, índice de cinza, codificação de forma geométrica e pontos aleatórios.

Atualmente, na aplicação do sistema olho-mão do robô, para as ocasiões em que a precisão da medição 3D não é alta, como paletização, despaletização, apreensão 3D, etc., é mais popular projetar pontos pseudo-aleatórios para obter o Informações 3D do alvo. O princípio da imagem 3D é mostrado na figura a seguir.

2. Imagens de projeção múltipla

O método 3D de multiprojeção é implementado principalmente por codificação de multiplexação de tempo. As formas de codificação de padrão comumente usadas são: codificação binária, codificação de mudança de fase multifrequencial τ35 e codificação mista (como franjas de mudança de dez fases em código cinza).

O princípio básico da imagem 3D de projeção de franja é mostrado na figura abaixo. Padrões de luz estruturados são gerados por um computador ou por um dispositivo óptico especial, que são projetados na superfície do objeto medido através de um sistema de projeção óptica e, em seguida, dispositivos de aquisição de imagem (como câmeras CCD ou CMOS) são usados ​​para coletar o imagens de luz estruturada deformada moduladas pela superfície do objeto. O algoritmo de processamento de imagem é usado para calcular a relação correspondente entre cada pixel da imagem e o ponto no contorno do objeto. Finalmente, através do modelo de estrutura do sistema e da tecnologia de calibração, são calculadas as informações tridimensionais do contorno do objeto medido.

Em aplicações práticas, a tecnologia 3D de projeção de código Gray, projeção de franja de mudança de fase senoidal ou tecnologia 3D de projeção mista de mudança de fase senoidal de código Gray dez é frequentemente usada.

3. Imagem de deflexão

Para superfícies ásperas, a luz estruturada pode ser projetada diretamente na superfície do objeto para medição de imagem visual. No entanto, para a medição 3D de superfícies lisas de grande refletância e objetos espelhados, a projeção de luz estruturada não pode ser projetada diretamente na superfície medida, e a medição 3D também requer o uso da tecnologia de deflexão de espelho, conforme mostrado na figura a seguir.

Neste esquema, as franjas não são projetadas diretamente no contorno medido, mas são projetadas em uma tela de dispersão, ou uma tela LCD é usada em vez da tela de dispersão para exibir as franjas diretamente. A câmera refaz o caminho da luz através da superfície brilhante, obtém as informações de franja moduladas pela mudança de curvatura da superfície brilhante e então resolve o perfil 3D.

4. Imagem 3D de visão estéreo

A estereovisão refere-se literalmente à percepção da estrutura tridimensional com um ou ambos os olhos e geralmente se refere à reconstrução da estrutura 3D ou informação de profundidade do objeto alvo, obtendo duas ou mais imagens de diferentes pontos de vista.

As pistas visuais de percepção de profundidade podem ser divididas em pistas oculares e pistas binoculares (paralaxe binocular). Atualmente, o 3D estereoscópico pode ser alcançado através da visão monocular, visão binocular, visão multiocular, imagem 3D de campo de luz (olho composto eletrônico ou câmera de conjunto).

1. Imagem visual monocular

As dicas de percepção de profundidade monocular geralmente incluem perspectiva, diferença de distância focal, imagem multi-visão, cobertura, sombra, paralaxe de movimento, etc. Na visão do robô também pode usar o espelho 1 e outras formas de X10 e outros métodos para alcançar.

2. Imagem de visão binocular

As pistas visuais da percepção de profundidade binocular são: posição de convergência dos olhos e paralaxe binocular. Na visão de máquina, duas câmeras são usadas para obter duas imagens de visualização de dois pontos de vista para a mesma cena alvo e, em seguida, a paralaxe do mesmo ponto nas duas imagens de visualização é calculada para obter as informações de profundidade 3D da cena alvo. O processo típico de cálculo de visão estereoscópica binocular consiste nas quatro etapas a seguir: correção de distorção de imagem, correção de par de imagens estéreo, registro de imagem e cálculo de mapa de paralaxe de reprojeção de triangulação