Blip Image Captioning Docker

Ein Open-Source-Projekt von Alexander Schnabl

• BLIP
• Docker
• Flask
• Python

Dieses Projekt verpackt das neuronale Netz BLIP für Bildbeschreibungen in einen Docker-Container und stellt es über eine einfache API bereit. Bilder, die an den Endpunkt geschickt werden, landen automatisch in einer Warteschlange, durchlaufen das Modell und kommen mit den erzeugten Beschreibungen zurück.

Ein Worker-Pool verarbeitet mehrere Anfragen parallel. Die Zahl der Worker lässt sich einstellen, um die passende Parallelität zu finden. Neue Aufträge werden über eine Redis-Queue auf die verfügbaren Worker verteilt.

Die Container-Architektur lässt sich einfach horizontal skalieren, wenn mehr Durchsatz gebraucht wird: weitere Container-Instanzen hinter einem Load Balancer starten, und die Kapazität wächst.

Ziel des Projekts war es, Praktiken für den produktiven Betrieb von KI-Modellen zu lernen: Queues einsetzen, effiziente Muster für Nebenläufigkeit verstehen und Container und APIs für einen skalierbaren Zugriff nutzen. Mit einem Captioning-Dienst, der auf Abruf bereitsteht, wird aktuelle Deep-Learning-Forschung schnell in anderen Anwendungen nutzbar.