Systemy wizyjne analizujące obrazy z wielu kamer stają się normą – zarówno w systemach nadzoru na dużą skalę, zaawansowanej produkcji, jak i monitorowaniu ruchu drogowego. COPCAMS wykorzystuje najnowsze osiągnięcia w dziedzinie wbudowanych platform obliczeniowych, aby opracować wielkoskalowe, zintegrowane kognitywne i percepcyjne systemy wideo (CPVS). Projekt ma na celu wykorzystanie nowych programowalnych akceleratorów, takich jak procesory wielordzeniowe, wbudowane procesory graficzne (GPU), obliczenia ogólnego przeznaczenia na GPU (GPGPU), procesory sygnałowe (DSP) oraz układy FPGA, aby zasilić nową generację ekologicznych, energooszczędnych, inteligentnych kamer i bram.

Zmiana paradygmatu napędzana rozwojem systemów wbudowanych

COPCAMS przyczynił się do zmiany paradygmatu: podczas gdy wcześniejsze systemy składały się z prostych kamer podłączonych do wydajnych, scentralizowanych serwerów obliczeniowych poprzez sieci o dużej przepustowości, wizja COPCAMS zakładała przeniesienie wydajnych, energooszczędnych systemów obliczeniowych na brzeg systemu oraz do rozproszonych węzłów agregujących.

Te „inteligentne kamery” i „inteligentne agregatory” przetwarzają strumienie wideo, wydobywają znaczące informacje semantyczne i:

• podejmują lokalne decyzje, czy treść strumienia jest istotna i warta dalszego przesyłania,
• adnotują skompresowane strumienie wideo metadanymi obliczonymi na podstawie obrazów o wyższej rozdzielczości,
• wykorzystują dane z innych czujników, np. akustycznych czy RFID, aby sterować działaniem kamer.

Dodatkowo zdecentralizowana, rozproszona analiza i podejmowanie decyzji pozwalają oszczędzać energię i przepustowość oraz otwierają możliwości nowych zastosowań rozproszonych.

Większa elastyczność dla inteligentniejszych zastosowań

Ze względu na złożoność algorytmiczną i obliczeniową wcześniejsze systemy wizyjne wbudowane były projektowane jako urządzenia specjalizowane, przeznaczone do wąskich zastosowań. Rozwiązanie COPCAMS stanowi istotny krok w kierunku szerszego wykorzystania rozproszonych, elastycznych systemów wizyjnych w nadzorze środowiska oraz w zaawansowanej produkcji.

Rozwój stanu techniki dzięki ekosystemowi oprogramowania

COPCAMS proponuje zestaw elastycznych modeli programowania, narzędzi i standardowych bibliotek dla inteligentnych kamer działających na platformach wbudowanych. Ekosystem ten obejmuje techniki programowania GPU w systemach wbudowanych oraz tworzenie kodu do analizy obrazów i wideo, kodeków i analizy wieloczujnikowej.

Narzędzia do równoleglenia, języki programowania przepływu danych, optymalizacje kierunkowe, modelowanie systemowe i skalaryczne zostały przetestowane w różnych elementach stosu oprogramowania wizyjnego:

• wstępne przetwarzanie poprawiające jakość obrazów,
• rozumienie obrazu i wideo, klasyfikację i rozpoznawanie obiektów,
• zaawansowane kodowanie wideo o wysokim stopniu równoległości,
• zaawansowaną fuzję danych,
• detekcję i śledzenie obiektów w wielu kamerach wraz z ich ponowną identyfikacją.

COPCAMS rozwija stan techniki w dwóch głównych obszarach:

1. adaptacja tych technik do wbudowanych platform o niskim zużyciu energii,
2. wykorzystanie bibliotek open source, takich jak OpenCL i OpenMP, w celu zwiększenia efektywności projektowania i obniżenia kosztów.

Dzięki temu powstał mieszany ekosystem sprzętowo-programowy, który skraca cykle rozwojowe i zmniejsza koszty, opierając się na rozwiązaniach o niskim poborze energii i wysokiej mocy obliczeniowej, takich jak architektury ARM, procesory wielordzeniowe, GPU i GPGPU.

Inteligentna kamera zmienia łańcuch wartości

Wpływ COPCAMS objął cały łańcuch wartości:

• uczelnie i małe oraz średnie przedsiębiorstwa (MŚP) zyskały platformy do testowania i optymalizacji innowacyjnych aplikacji wizyjnych i algorytmów,
• dostawcy platform mogą rozwijać ekosystem i eksplorować nowe rynki,
• integratorzy systemów mogą oferować nową generację produktów związanych z wizją komputerową,
• dostawcy usług mogą tworzyć usługi o wartości dodanej dla użytkowników końcowych, wykraczające poza obecne możliwości.

Prototypy i rzeczywiste wdrożenia COPCAMS

W ramach COPCAMS opracowano prototypy i przeprowadzono testy terenowe pełnych, wielkoskalowych systemów wizyjnych. Wykorzystano zaawansowane platformy, takie jak wbudowane architektury GPU/GPGPU, aby stworzyć nową generację urządzeń zdolnych do wydobywania istotnych informacji z obrazów i autonomicznej reakcji na środowisko w sposób rozproszony.

COPCAMS miał znaczący wpływ na zastosowania przemysłowe. Kontrola jakości produktów została przetestowana w produkcji komutatorów miedziano-grafitowych i obejmowała trzy zadania:

1. pomiary wymiarowe podstawy miedzianej,
2. kontrolę jakości lutowania miedź-grafit,
3. pomiar chropowatości otworów montażowych.

Projekt procedur kontroli jakości obejmował:

1. przetwarzanie obrazu przy użyciu algorytmów wizyjnych,
2. budowę modeli predykcyjnych z wykorzystaniem uczenia maszynowego,
3. strojenie parametrów za pomocą algorytmów optymalizacyjnych.

Procedury te zostały wdrożone na platformie wbudowanej wizji komputerowej i zastosowane na linii produkcyjnej działającej 24/7, produkującej około 15 000 sztuk dziennie. Zautomatyzowana kontrola jakości zastąpiła ręczną inspekcję i umożliwiła innowacyjne pomiary bezkontaktowe w trybie online.

Dodatkowo proces produkcyjny może być monitorowany w czasie rzeczywistym za pomocą inteligentnych kamer wyposażonych w czujniki radiowe (RF), co pozwala śledzić położenie zasobów produkcyjnych (wózków, tac, narzędzi itp.) i optymalizować procesy, aby osiągnąć maksymalną wydajność. Instalację można łatwo skalować, dodając nowe kamery przy zachowaniu niskiego zużycia energii i przepustowości.

COPCAMS ułatwia przejście z silnie zhierarchizowanego rynku systemów wizyjnych wbudowanych do bardziej horyzontalnego rynku, tworząc nowe możliwości dla MŚP i start-upów.

Dotychczasowy brak elastyczności wynikał ze złożoności algorytmicznej i obliczeniowej oraz z faktu, że systemy te projektowano jako rozwiązania wyspecjalizowane. Rozwiązanie COPCAMS stanowi istotny krok w kierunku szerszego zastosowania rozproszonych, elastycznych systemów wizyjnych i dostarcza kluczowych technologii umożliwiających budowę inteligentnych środowisk, szczególnie w obszarach nadzoru i zaawansowanej produkcji.