Exploration of computer vision systems in the recognition of characteristics in parts in an industrial environment

Abstract

In recent years, the areas of Artificial Intelligence (AI) and Machine Learning (ML) have been the target of major improvements, technical innovations, and discoveries, with the area of computer vision being one of the great fruits of such research and development. After the successful application of approaches, techniques and algorithms associated with AI and ML, the potential of their applicability in the area of computer vision has been more prominent and successful in terms of applicability, especially in areas such as robotics, agriculture, transportation, self-driving and in the industrial area. In the industrial area, particularly in the automotive sector, there has been a drive to implement computer vision systems, using AI and ML approaches, in order to replace equipment with high acquisition and maintenance costs with less expensive equipment, such as cameras and scanners, complementing them with these computer vision systems. Although there are software suppliers of this type of system on the market, this study focuses on exploring different alternatives to the expensive hardware and software licenses that accompany this innovation envisaged by the global scope of Industry 4.0, proposing and creating a cheaper method/tool for detecting small components and their characteristics on assembly lines in an industrial environment, as well as calculating important metrics in a real shop floor environment, such as estimating the distance between components, assembly rotation and distinguishing between small components, something that is not possible to apply in closed license software. Given the promising results and the fact that it based under OpenSource licensing, the YOLO (You Only Look Once - Real-Time Object Detection) computer vision architecture was used and adapted, complemented by a set of other OpenSource tools that allow for greater scalability and standardization of the software in the context of assembly lines and in the various points and contexts of component detection. In this context, this study is considered important, as it acts as a gateway to AI and computer vision tools in a high-production manufacturing plant, where innovations of this kind are sometimes put aside in favor of continuous and unhindered production in terms of equipment and maintenance costs, as well as in terms of the efficiency of detecting components and their associated characteristics. Promising results have been achieved and, at the end of this work, it is possible to verify that this application correctly detects various components of a given operation on the assembly line, such as the chosen tapes, clamps, or clips, with a high frame rate (compared to other computer vision algorithms), guaranteeing real-time detection on the shop floor. With this work, in addition to the customized development of the tool in question, points have been achieved such as measurements between components and assembly mode detections that until now were not possible, in addition to an improvement in cycle times and an opening up of flexibility in the assembly of parts by operators, combined with the use of equipment such as cameras and scanners with lower acquisition and maintenance. costs.

Nos últimos anos, as áreas da Inteligência Artificial (IA) e do Machine Learning (ML) tem sido alvo de grandes melhorias, inovações técnicas e descobertas, sendo a área de visão computacional um dos grandes frutos alcançados com tais investigações e desenvolvimentos. Após a aplicação bem-sucedida de abordagens, técnicas e algoritmos associados à IA e ao ML, o potencial da sua aplicabilidade na área da visão computacional tem tido um maior destaque e sucesso em termos de aplicabilidade, principalmente em áreas como a robótica, agricultura, transporte, self-driving e na área industrial. Na área industrial, em particular no setor automóvel tem havido uma motivação para implementações de sistemas de visão computacional, usando IA e abordagens de ML, no sentido de substituir equipamentos de elevados custos de aquisição e de manutenção por outros com menor custo, como câmaras e scanners complementando-as com estes sistemas de visão por computador (‘computer vision’). Apesar de existirem no mercado fornecedores de software deste tipo de sistemas, este estudo centra-se na exploração de diferentes alternativas ao dispendioso hardware e a licenças de software que acompanham esta inovação prevista pelo âmbito global da Industria 4.0, propondo e criando um método/ferramenta com menores custos para detetar pequenos componentes e as suas características nas linhas de montagem em ambiente industrial, assim como calcular importantes métricas em ambiente real ‘chão de fábrica’, como a estimação de distância entre componentes, rotação de montagem e a distinção entre pequenos componentes, algo que não é possível de aplicar em software de licença ‘fechada’/proprietária. Dado os resultados promissores e o facto de ser baseada em licenciamento OpenSource foi usada e adaptada a arquitetura de visão por computador YOLO (You Only Look Once - Real-Time Object Detection), complementada com um conjunto de outras ferramentas OpenSource que permite uma maior escalabilidade e uniformização do software no contexto das linhas de montagens e nos vários pontos e contextos de deteção de componentes. Neste contexto, considera-se este estudo importante, uma vez que atua como porta de entrada para ferramentas de IA e visão por computador numa planta fabril de alta produção, na qual inovações deste género são por vezes postas de parte em prol de uma produção contínua e sem entraves em termos de custos de equipamentos e de manutenção, assim como em termos de eficiência de deteção dos componentes e das características associadas. Foram alcançados resultados promissores e, no final deste trabalho, é possível verificar que esta aplicação deteta corretamente vários componentes de uma determinada operação na linha de montagem, como as fitas, braçadeira ou clipes escolhidos, com uma frame rate elevada (comparando com outros algoritmos de visão por computador), garantindo uma deteção em tempo real no chão de fábrica. Com a realização deste trabalho, além de um desenvolvimento personalizado da ferramenta em questão, foram alcançados pontos como medições entre componentes e deteções de modo de montagem que até hoje não eram possíveis, além de uma melhoria de tempos ciclo e de uma abertura de flexibilidade na montagem das peças, por parte dos operadores, aliado à utilização de equipamentos como câmaras e scanners com menores custos de aquisição e de manutenção.