Beginn: ab sofort

Arbeitsort: Köln (2 Office-Tage pro Woche)

Umfang: Vollzeit

Du bist ein erfahrener AI Engineer mit Begeisterung für produktionsreife LLM-Systeme und solides Backend-Engineering? Bei bracketlab betreibst du LLM-basierte Systeme im Produktivbetrieb: Pipelines zur Content-Generierung, Retrieval-Augmented Generation (RAG) über interne Dokumente sowie automatisierte Workflows, die tief in unsere Geschäftssysteme integriert sind. Unser Stack ist durchgängig TypeScript und Next.js. Diese Systeme sind bereits live - als AI Engineer übernimmst du die Verantwortung dafür, verbesserst ihre Zuverlässigkeit und Qualität und erweiterst sie um neue Use Cases. Die Rolle verbindet angewandtes LLM-Engineering mit solidem Backend-Engineering in TypeScript. Das Training oder Fine-Tuning von Foundation Models gehört nicht dazu.

Stack: TypeScript, Next.js, Node.js, Postgres mit pgvector, Docker, Azure, Anthropic- und OpenAI-APIs, Vercel AI SDK.

Was du mitbringst

• Du hast berufliche Erfahrung mit mindestens einem LLM-basierten System im Produktiveinsatz - inklusive Verantwortung für Betrieb und Incident Handling

• Du beherrschst TypeScript und Node.js auf fortgeschrittenem Niveau: strikte Typisierung nicht-deterministischer Modell-Outputs, Async- und Concurrency-Patterns, Streaming-Responses, strukturiertes Error Handling

• Du setzt Next.js produktiv ein: App Router, Route Handler, Server Actions, Streaming zum Client

• Du hast nachweislich bestehende Codebases unter Produktionslast übernommen und verbessert

• Du bringst praktische Retrieval-Expertise mit: Hybrid Search, Auswahl von Embedding-Modellen, Cross-Encoder-Reranking, Metadaten-Filterung, berechtigungsbewusstes Retrieval und die strukturierte Diagnose schlechter Retrieval-Qualität

• Du hast Erfahrung in der Verarbeitung realer Dokumente: PDFs mit Tabellen, Scans, DOCX, HTML - einschließlich layout-bewusstem Parsing, OCR und evidenzbasiertem Chunking

• Structured Outputs und Tool Calling gehören zu deinem Alltag: JSON Schema, Zod oder vergleichbare Runtime-Validierung, Function Calling, Umgang mit fehlerhaften oder unvollständigen Outputs, Context-Window-Management

• Du hast LLM-Evaluationen konzipiert und durchgeführt

• Du hast Erfahrung mit LLM-Tracing- und Evaluation-Tooling in einer TypeScript-Codebase (z. B. Braintrust, Langfuse, Promptfoo, OpenTelemetry/Arize Phoenix)

• Du kennst dich mit Postgres inklusive Vektorsuche (pgvector oder vergleichbarer Vector Store), Docker, Git, CI/CD und einer großen Cloud-Plattform aus

• Du hast praktische Erfahrung mit den TypeScript-SDKs von Anthropic und/oder OpenAI

• Du kommunizierst sicher auf Englisch; Deutsch ist ein Plus

Nice to have

• Durable Workflow Execution für langlaufende, unbeaufsichtigte Prozesse (Temporal, Inngest, Trigger.dev oder vergleichbar)

• Agent-Orchestrierung im Produktivbetrieb: Tool Calling, Recovery, mehrstufige Workflows (Vercel AI SDK, LangGraph, Mastra, Claude Agent SDK, MCP TypeScript SDK)

• Integrationserfahrung mit Enterprise-Systemen wie ERP- oder CRM-Plattformen, etwa SAP

• Security und Datenschutz in LLM-Systemen: Abwehr von Prompt Injection und Data Exfiltration, Umgang mit PII, DSGVO-konformes Design, EU-gehostete oder selbst gehostete Inferenz

• Strukturiertes oder graphbasiertes Retrieval für entitätslastige Daten

• Erfahrung mit der Migration laufender Pipelines auf ein neues Modell, ein neues Embedding-Modell oder einen neuen Index ohne Qualitätsverlust

• Azure DevOps: Pipelines, Repos und Boards

Deine Mission

• Du übernimmst bestehende LLM-Pipelines und betreust sie: Du bewertest die aktuelle Architektur, identifizierst Failure Modes, priorisierst Fixes und refaktorierst und erweiterst die Systeme, ohne den Produktivbetrieb zu stören

• Du verantwortest unsere RAG-Systeme end to end: Dokumenten-Ingestion und Parsing, Chunking, Indexierung, hybrides Retrieval (BM25 und Vektor), Query Rewriting, Reranking und belegbasierte Generierung mit Quellenangaben

• Du implementierst und pflegst Access Control auf Chunk-Ebene, Index-Aktualität und Mandantentrennung über alle Retrieval-Systeme hinweg

• Du entwickelst Content-Generierungs-Pipelines, die konsistente Qualität in großem Volumen liefern - inklusive menschlicher Prüfschritte

• Du baust und betreibst automatisierte Workflows gegen interne und externe Geschäftssysteme (ERP, CRM, E-Mail, interne APIs) - mit dauerhafter und idempotenter Ausführung, Retry- und Dead-Letter-Handling sowie Freigabeschritten für irreversible Aktionen

• Du etablierst ein Evaluations-Framework für Systeme, die bisher ohne eines laufen: Golden Datasets aus beobachteten Produktionsfehlern, Retrieval-Metriken und mehr

• Du implementierst Observability über den gesamten Request-Pfad

• Du optimierst Kosten und Latenz durch Prompt Caching, Batching, Model Routing und den Einsatz kleinerer Modelle, wo sinnvoll

• Du bewertest, wo deterministische Logik die bessere Lösung ist, und implementierst sie entsprechend

• Du arbeitest direkt mit nicht-technischen Kolleginnen und Kollegen zusammen, um automatisierte Prozesse zu spezifizieren und zu validieren

Was wir bieten

• KI-Implementierung - der Wachstumsmarkt der kommenden Jahre

• Vertrauensarbeitszeit mit Überstundenausgleich

• Viel Gestaltungsfreiheit und Raum für eigene Ideen

• Kontinuierliche Weiterentwicklung - fachlich, strategisch und technologisch

• Eine offene Feedbackkultur, transparente Kommunikation und kurze Entscheidungswege

• Regelmäßige Teamevents und Workations

• Unser lichtdurchflutetes Büro im Belgischen Viertel - mit zwei Balkonen und dem besten Blick über Köln

Vielfalt & Chancengleichheit

bracketlab ist ein internationales Team - unterschiedliche Hintergründe machen uns zu dem, was wir sind. Wir fördern aktiv ein inklusives Umfeld und freuen uns über Bewerbungen von allen Geschlechtern und Identitäten - unabhängig von Herkunft, Alter, Religion, sexueller Orientierung oder Behinderung.

Frauen sind in der Tech-Branche weiterhin unterrepräsentiert. Das wollen wir ändern und ermutigen Frauen ausdrücklich, sich zu bewerben.

Wie geht es weiter?

Ein Anschreiben brauchen wir nicht. Schick uns einfach ein paar Zeilen über dich, deinen Lebenslauf, Links zu allem, was du teilen möchtest (GitHub & Co.), deine Gehaltsvorstellung und dein frühestmögliches Startdatum.

Wir freuen uns auf dich.