Die Entwicklung KI-basierter Anwendungen bedeutet heute weit mehr als die blosse Anbindung eines Sprachmodells. Man braucht eine Konversationsschnittstelle mit persistentem Gedaechtnis, ein System zur Dokumentensuche und -auswertung, Benutzerauthentifizierung und -verwaltung sowie die Flexibilitaet, den KI-Anbieter zu wechseln, ohne die Anwendung umschreiben zu muessen. Jede dieser Komponenten ist fuer sich genommen bereits ein erhebliches Projekt, und sie alle zu einem kohaerenten System zusammenzufuegen, kostet Monate an Entwicklungszeit.
Bob ist unsere Antwort auf diese Herausforderung. Entwickelt von Ten Invent und veroeffentlicht unter der MIT-Lizenz, ist Bob eine Open-Source-Plattform fuer KI-Agenten, die intelligente Konversationen, eine vollstaendige RAG-Pipeline (Retrieval-Augmented Generation), ein mandantenfaehiges System mit JWT-Authentifizierung und eine Abstraktionsschicht vereint, die den nahtlosen Wechsel zwischen Cloud-basierten und lokalen KI-Modellen ermoeglicht — ohne jede Aenderung am Anwendungscode.
Das Problem, das Bob Loest
Ein grosses Sprachmodell, so leistungsfaehig es auch sein mag, ist noch keine Anwendung. Um etwas wirklich Nuetzliches zu bauen, braucht man persistenten Konversationskontext, damit Benutzer kohaerente Dialoge ueber mehrere Nachrichten hinweg fuehren koennen. Man braucht Dokumentenverarbeitung und -abruf, damit das Modell auf Grundlage der eigenen Daten antwortet, statt Informationen zu erfinden. Man braucht Authentifizierung, Benutzerverwaltung und API-Token-Verwaltung, damit mehrere Personen oder Teams das System sicher nutzen koennen.
Und vielleicht am wichtigsten: Man braucht die Freiheit, den KI-Anbieter frei zu waehlen. Vielleicht nutzt man heute Amazon Bedrock, moechte aber morgen ein lokales Modell auf Ollama oder LM Studio testen. Dieser Wechsel sollte kein Umschreiben des Backends erfordern.
Die meisten Teams enden damit, diese gesamte Infrastruktur von Grund auf selbst aufzubauen — oft mit suboptimalen Ergebnissen und immer mit erheblichem Zeitaufwand. Bob buendelt diese Faehigkeiten in einer kohaerenten, gut durchdachten Plattform, die man installieren, erweitern und anpassen kann.
Architekturuebersicht
Bob folgt einer klaren Trennung zwischen Backend und Frontend, verbunden durch eine RESTful-API mit Server-Sent Events (SSE) fuer das Echtzeit-Streaming von Antworten.
Das Backend basiert auf FastAPI und SQLAlchemy 2 mit Alembic fuer Datenbankmigrationen. Es verwaltet die gesamte Geschaeftslogik: Konversationsmanagement, Agentenorchestrierung, Dokumentenverarbeitung, Benutzerauthentifizierung und LLM-Kommunikation. MariaDB (oder MySQL) dient als relationale Datenbank, waehrend ChromaDB als Vektorspeicher fuer die RAG-Pipeline fungiert.
Das Frontend ist eine moderne React-Anwendung, erstellt mit Vite, TypeScript und Tailwind CSS. Es bietet eine responsive Chat-Oberflaeche mit Echtzeit-Streaming, Dokumenten-Upload-Funktionen, Sitzungsverwaltung und ein Administrationspanel fuer die Benutzerfreigabe und Systemkonfiguration.
Die Infrastruktur wird ueber Docker fuer die lokale Entwicklung und AWS-CloudFormation-Templates fuer das Cloud-Deployment verwaltet, sodass der Uebergang von einem lokalen Prototyp zu einer Produktionsumgebung unkompliziert gelingt.
Kernfunktionen
Konversations-KI mit Persistentem Gedaechtnis
Bob pflegt einen sitzungsbasierten Konversationsverlauf, der es Benutzern ermoeglicht, natuerliche Dialoge ueber mehrere Nachrichten hinweg zu fuehren. Jede Sitzung bewahrt den Kontext, sodass das Modell Bezuege zu frueheren Teilen der Konversation versteht. Antworten werden in Echtzeit ueber SSE gestreamt, was ein fluessiges und responsives Benutzererlebnis bietet.
RAG-Pipeline mit ChromaDB
Eine der leistungsfaehigsten Funktionen von Bob ist die Retrieval-Augmented-Generation-Pipeline. Benutzer koennen Dokumente hochladen, die ueber LangChains Dokumentenverarbeitungswerkzeuge verarbeitet, in Abschnitte zerlegt, in Embeddings umgewandelt und in ChromaDB gespeichert werden. Wenn ein Benutzer eine Frage stellt, ruft Bob die relevantesten Dokumentenabschnitte ab und stellt sie dem Sprachmodell als Kontext zur Verfuegung — so entstehen Antworten, die in den eigenen Daten verankert sind.
Dies ist entscheidend fuer professionelle Anwendungsfaelle und Unternehmensszenarien, in denen Genauigkeit zaehlt. Anstatt sich ausschliesslich auf die Trainingsdaten des Modells zu verlassen, kann Bob auf interne Dokumentation, Forschungsarbeiten, Richtliniendokumente oder jeden anderen bereitgestellten Textkorpus zurueckgreifen.
Agentenwerkzeuge ueber Strands Agents
Bob ist nicht nur eine Chat-Oberflaeche — es ist eine Agentenplattform. Ueber Strands Agents orchestriert Bob eine Reihe von Werkzeugen, die die KI waehrend der Konversation einsetzen kann: einen Taschenrechner fuer mathematische Operationen, Zeitabfragen fuer Datums- und Uhrzeitinformationen, Dokumentenabruf fuer RAG-gestuetzte Antworten und Zusammenfassung fuer die Verdichtung laengerer Texte. Der Agent entscheidet eigenstaendig, wann und wie diese Werkzeuge eingesetzt werden — basierend auf der Anfrage des Benutzers.
Mandantenfaehiges System mit JWT-Authentifizierung
Bob ist von Grund auf fuer Mehrbenutzerbetrieb konzipiert. Es umfasst ein vollstaendiges Authentifizierungssystem basierend auf JWT-Token, mit Benutzerregistrierung, die eine Administratorfreigabe erfordert, bevor der Zugang gewaehrt wird. Benutzer koennen ihre eigenen API-Token fuer den programmatischen Zugriff verwalten. Dies macht Bob geeignet fuer Team-Deployments, interne Werkzeuge und SaaS-artige Anwendungen, bei denen Benutzertrennung und Zugriffskontrolle wesentlich sind.
Flexible LLM-Unterstuetzung: Cloud oder Lokal
Der vielleicht markanteste Aspekt von Bobs Architektur ist die Anbieter-Abstraktionsschicht. Bob unterstuetzt zwei LLM-Backends:
- Amazon Bedrock fuer Cloud-basierte Inferenz mit Zugang zu Modellen wie Claude, Llama und weiteren ueber AWS verfuegbaren Modellen.
- OpenAI-kompatible Server wie LM Studio, Ollama oder vLLM fuer lokale oder selbst gehostete Inferenz.
Der Wechsel zwischen Anbietern ist eine Konfigurationsaenderung, keine Codeaenderung. Man kann lokal mit einem Modell auf Ollama entwickeln, mit einem anderen Modell auf LM Studio testen und in Produktion auf Amazon Bedrock deployen — alles ohne Anpassung der Anwendung. Fuer Organisationen mit Anforderungen an die Datensouveraenitaet oder fuer alle, die mit verschiedenen Modellen experimentieren moechten, ist diese Flexibilitaet von unschaetzbarem Wert.
Technologie-Stack im Ueberblick
| Schicht | Technologie | |---|---| | Backend-Framework | FastAPI | | ORM und Migrationen | SQLAlchemy 2 + Alembic | | Datenbank | MariaDB / MySQL | | Vektorspeicher | ChromaDB | | Dokumentenverarbeitung | LangChain | | Agentenorchestrierung | Strands Agents | | AWS-Integration | boto3 | | Frontend-Framework | React + Vite | | Frontend-Sprache | TypeScript | | Styling | Tailwind CSS | | Authentifizierung | JWT | | Infrastruktur | Docker, AWS CloudFormation |
Erste Schritte
Bob in Betrieb zu nehmen ist bewusst einfach gestaltet. Das Repository enthaelt Docker-Compose-Konfigurationen fuer die lokale Entwicklung, sodass der gesamte Stack — Backend, Frontend, Datenbank und Vektorspeicher — mit wenigen Befehlen laeuft.
- Das Repository klonen von https://github.com/ianghel/bob.
- Die Umgebungsvariablen fuer den gewaehlten LLM-Anbieter konfigurieren.
docker compose upausfuehren, um alle Dienste zu starten.- Das Frontend aufrufen, einen Benutzer registrieren und loslegen.
Die README-Datei im Repository bietet detaillierte Anleitungen sowohl fuer die lokale Entwicklung als auch fuer das Deployment auf AWS mit den enthaltenen CloudFormation-Templates.
Warum Open Source Wichtig Ist
Wir haben Bob als Open-Source-Projekt entwickelt, weil wir davon ueberzeugt sind, dass KI-Infrastruktur transparent, auditierbar und anpassbar sein sollte. Proprietaere KI-Plattformen binden an bestimmte Anbieter, verbergen ihre Implementierungsdetails und verlangen Premiumpreise fuer Funktionen, die Standard sein sollten. Mit Bob erhaelt man den vollstaendigen Quellcode unter der MIT-Lizenz. Man kann jede Zeile pruefen, alles nach eigenen Beduerfnissen anpassen und die Plattform ueberall betreiben — auf eigenen Servern, im eigenen Cloud-Konto oder auf dem Laptop eines Entwicklers.
Die MIT-Lizenz bedeutet keinerlei Einschraenkungen fuer die kommerzielle Nutzung. Man kann Produkte auf Basis von Bob entwickeln, ihn in bestehende Systeme integrieren oder als Lernressource nutzen, um zu verstehen, wie produktionsreife KI-Anwendungen strukturiert sind.
Beitraege und Community
Bob wird aktiv von Ten Invent entwickelt, und wir freuen uns ueber Beitraege aus der Community. Ob es um neue Agentenwerkzeuge, Verbesserungen der RAG-Pipeline, Unterstuetzung weiterer LLM-Anbieter, Verfeinerung des Frontends oder Fehlerbehebungen geht — jeder Pull Request und jeder Issue-Report ist willkommen.
Besucht das Repository unter https://github.com/ianghel/bob, um den Code zu erkunden, die Dokumentation zu lesen und mitzumachen. Wenn Bob euch nuetzlich ist, gebt dem Projekt einen Stern auf GitHub — das hilft auch anderen, es zu entdecken.
Wir sind gespannt, was ihr mit Bob bauen werdet.