Ihre KI‑Infrastrukturgehört Ihnen
SecondStack ist eine selbstgehostete Enterprise‑KI‑Plattform, um Konversations‑KI in Ihrem gesamten Unternehmen bereitzustellen, zu verwalten und zu skalieren. Enterprise‑Grade. Unter Ihrer Kontrolle.
oder per E-Mail [email protected]
Warum SecondStack
Für Organisationen, die KI ernst nehmen
Datensouveränität — Konversationen, angehängte Dokumente und Nutzungsdaten verlassen niemals Ihre Infrastruktur.
Kontinuität — SaaS-Assistenten-Konten können nach alleinigem Ermessen des Anbieters gesperrt oder gekündigt werden, sodass eine ganze Organisation von einem Werkzeug abgeschnitten ist, auf das sie sich verlässt. Eine selbst gehostete Plattform kann von außen nicht abgeschaltet werden — und selbst wenn ein Konto bei einem LLM-API-Anbieter einmal verloren geht, leiten Sie einfach auf einen anderen Anbieter um, während Chat-Verläufe, Wissen und Workflows erhalten bleiben.
Dazu kommen echte Multi-Model-Flexibilität (keine Bindung an einen einzigen Anbieter), granulare Kostenkontrolle pro Team und die Möglichkeit, das Verhalten über System-Prompts, Guardrails und Agent-Skills anzupassen.
Aber wir nutzen doch weiterhin externe LLM-API-Anbieter …?
Selbst bei der Nutzung externer LLM-Anbieter hat der API-Zugriff ein geringeres Risiko- und Exposure-Profil als vollständige SaaS-Plattformen. API-Anfragen werden kürzer gespeichert und sind womöglich besser geschützt als ChatGPT-artige Web-App-Plattformen, die Ihre gesamten Daten unbegrenzt vorhalten und eine deutlich größere Angriffsfläche bieten. Viele renommierte LLM-Anbieter bieten zudem Zero-Data-Retention-Garantien (ZDR).
Ein ausgereiftes, hochwertiges Chat-Erlebnis, das Nutzer wirklich bevorzugen — schnelles Streaming, umfangreiches Markdown- und Code-Rendering, Mathematik, Diagramme, Datei- und Bildanhänge sowie eine übersichtliche Modellauswahl über alle Anbieter hinweg.
Multi-Model aus einer einzigen Oberfläche — Claude, gpt-5.x, Gemini, lokale Open-Weights-Modelle — plus Bildgenerierung im selben Workspace. Knowledge Collections lassen sich für RAG oder vollständiges Kontext-Grounding an jeden Chat anhängen, und MCP Tools ermöglichen es Chats, auf Ihre internen Systeme und APIs zuzugreifen.
Der Cowork Agent-Modus führt Claude Code in Sandbox-Containern mit konfigurierbaren Skills aus — Dateioperationen, Browser-Automatisierung, Erstellung von Diagrammen und Office-Dokumenten, persistenter Speicher und mehr — und macht aus jedem Chat bei Bedarf eine agentische Session.
Personas, System-Prompts und teilbare Chat-Vorlagen ermöglichen es Teams, das Verhalten der KI für bestimmte Workflows zu standardisieren — ohne Einzelne von der freien Nutzung auszuschließen.
Ein spezialisiertes Guardrails-Modul, kompatibel mit LiteLLM und konfigurierbar über das ControlTower-Admin-Dashboard — es deckt PII, Secrets und andere richtliniensensible Inhalte ab, sowohl bei eingehenden Prompts als auch bei ausgehenden Antworten.
Auf Flexibilität ausgelegt: Neue Guardrail-Typen und Richtlinien lassen sich vor Ort ergänzen oder anpassen — passend zu den Datenklassifizierungen, Compliance-Anforderungen und Toleranzschwellen Ihrer Organisation. Kein starres Blackbox-Regelwerk.
Starker Fokus auf die Minimierung von False Positives. Eine zweistufige Pipeline (schnelle heuristische Erkennung, gefolgt von einem kontextbewussten LLM-Klassifikator mit Caching) verhindert, dass offensichtlich harmlose Fälle legitime Arbeit blockieren — denn fehlauslösende Guardrails ruinieren das Nutzererlebnis und legen Agenten im Produktivbetrieb lahm.
LLM-Klassifikator für Secrets (Beispiel)
Klassifiziert, ob eine erkannte Kandidaten-Zeichenkette ein echtes Credential ist (Passwort, API-Key, Token, Private Key) oder ein harmloser Treffer (Code-Bezeichner, Hash, UUID, Public Key, Farbcode, Platzhalter). Beispiele für KEIN Credential: Dokumentations-Platzhalter, Commit-Hashes, Paket-Hashes, Versionsnummern, Farbcodes, PNG-Daten, SVG-Strokes, Dateinamen, Datumsangaben. Beispiele für ein echtes Credential: zufällig generierte Passwörter, API-Keys, Tokens, Secrets, Private Keys, die nicht wie Demo-Werte aussehen. Der Klassifikator erhält sowohl die markierte Zeichenkette als auch den umgebenden Kontext, um eine fundierte Entscheidung zu treffen.
LLM-Klassifikator für Kunden-PII (Beispiel)
Klassifiziert, ob eine erkannte Kandidaten-Zeichenkette sensible Kunden-PII ist, die nicht an eine externe LLM-API gesendet werden sollte. Beispiele für KEINE PII in diesem Sinne: Platzhalterwerte ("John Doe", "[email protected]"), Firmennamen, Produktnamen, geschäftliche Mitarbeiterkontakte, z. B. aus E-Mail-Kopfzeilen oder Signaturen, geschäftliche E-Mail-Adressen, interne Customer-IDs, fiktive Figuren, allgemeine Erwähnungen öffentlicher Personen (z. B. "Albert Einstein"). Je nach Unternehmensrichtlinie kann selbst ein einzelnes, einmaliges Vorkommen wenig sensibler PII-Elemente — etwa die E-Mail-Adresse eines Kunden — zulässig sein, z. B. im Troubleshooting-Kontext, sofern es nicht von weiteren hochsensiblen, aufschlussreichen Daten begleitet wird. Beispiele für echte PII: aus Datenbankeinträgen oder Benutzerprofilen extrahierte Daten, Kunden-PII, die in großem Umfang in strukturierten Daten auftritt, hochsensible Identifikatoren wie Sozialversicherungsnummern oder Kreditkartennummern. Der Klassifikator nutzt den umgebenden Kontext, um einen Kundendatenbank-Dump von routinemäßiger Geschäftskorrespondenz zu unterscheiden.
Zahlen Sie für den tatsächlichen Compute-Verbrauch bei Ihren LLM-API-Anbietern — nicht für Abonnements pro Nutzer.
In größeren Organisationen sind die meisten Nutzer wenig aktiv; eine verbrauchsbasierte API-Abrechnung ist in der Regel deutlich kostengünstiger als pauschale Pro-Seat-Gebühren.
Robustes Kosten-Tracking und Budgetkontrollen halten dieses Modell auch im großen Maßstab sicher — Budgets pro Nutzer, pro Team und pro API-Key mit Schwellenwert-Alerts, Ausgabenprognosen und Nutzungsanalysen bis auf die einzelne Anfrage. Die Ausgaben bleiben planbar, und Überschreitungen werden erkannt, bevor sie zur Rechnung werden.
Ohne Gateway landen Teams bei verstreuten API-Keys, ohne Überblick über die Ausgaben und ohne Guardrails. SecondStack zentralisiert den gesamten LLM-Traffic — von Chat-Nutzern, internen Apps, Agenten und IDE-Plugins — über LiteLLM.
Jede Anfrage erhält eine Authentifizierung über virtuelle API-Keys, eine Budgetdurchsetzung pro Nutzer und pro Team, Nutzungsanalysen sowie Guardrails für PII und Secrets.
Ihre Apps rufen standardmäßige OpenAI-kompatible Endpoints (/chat/completions, /responses) mit virtuellen Keys auf, und das Gateway übernimmt Routing, Failover, Load-Balancing, Observability und Policies über alle unterstützten Modelle hinweg.
Der eingebettete LiteLLM Proxy ist der kostenlose Open-Source-Build, und unser Team betreut ihn end-to-end zusammen mit dem Rest der Plattform — ein Ansprechpartner für das gesamte Deployment.
Integriert sich nahtlos mit Databricks für Organisationen, die ihre Daten- und KI-Workloads bereits auf dem Lakehouse betreiben.
Nutzen Sie Databricks Foundation Models als vorgelagerten LLM-Anbieter über das LiteLLM-Gateway — Claude, gpt-5, Gemma, Qwen, Llama und weitere bereitgestellte Endpoints, abgerechnet über Ihr Databricks-Konto.
Rufen Sie Databricks Mosaic AI Agents direkt aus der Chat-UI als vollwertige Chat-Profile auf: Knowledge Agents, Supervisor Agents, Custom Agents
Stellen Sie Genie Spaces und Databricks SQL als MCP Tools für die Chat-App-Modelle und den Cowork Agent bereit — für Analytics in natürlicher Sprache über Ihre governten Daten
End-to-End-OAuth im Namen der Endnutzer. Jeder Databricks-Aufruf wird als der tatsächliche Nutzer authentifiziert, sodass Unity-Catalog-Berechtigungen, Sicherheit auf Zeilen-/Spaltenebene und Audit-Trails für den KI-Traffic genauso gelten wie für einen menschlichen Analysten.
Plattform
Architektur im Überblick
Ein modularer, selbstgehosteter Stack auf bewährter Basis.
Funktionen
Alles, was Ihr Team braucht
Eine vollständige Konversations-KI-Plattform, nicht nur eine Chat-Oberfläche.
Multi-Model-Chat
Claude, gpt-5.x, Gemini, lokale Modelle — Chat, Agenten und Bildgenerierung an einem Ort.
Budget- & Ausgabenkontrolle
Budgets pro Nutzer, pro Team und pro API-Key. Schwellenwert-Alerts, Ausgabenprognosen und Nutzungsanalysen bis auf Anfrage-Ebene.
Cowork Agent
Der Cowork Agent läuft in Sandbox-Containern mit Dutzenden Skills — Dateioperationen, Browser-Automatisierung, Bildgenerierung, Diagrammerstellung, Office-Dokumente, persistenter Speicher usw.
Knowledge Collections
Benannte Dokumentensammlungen, die in Chats referenziert werden. Dateien werden automatisch für den RAG-Abruf indexiert. Teilen Sie sie mit Teams oder einzelnen Nutzern.
API-Routing auf LiteLLM-Basis
Zentralisieren Sie LLM-API-Traffic aus Enterprise-Apps und lokalen Agenten — mit virtuellen Nutzer-API-Keys, Guardrails, Ausgaben-Observability und Budgetdurchsetzung.
Admin-Dashboard
Zentrales Modell-Management, Anbieterkonfiguration, System-Prompts und Deployment-Steuerung. Ein Panel für Ihren gesamten KI-Stack.
| Model | Display Name | Access | Health | Order | Actions |
|---|---|---|---|---|---|
| cowork-agentagent | Cowork Agent | 2 Teams | 2/2 OK | ||
| llm-councilagent | LLM Council | 2 Teams | 1/1 OK | ||
| sales-genieagent | Sales Genie Space | Sales Team | 1/1 OK | ||
| claude-opus-4-6 | Claude Opus 4.6 | All Teams | 2/2 OK | ||
| gpt-5-5 | GPT-5.5 | All Teams | 1/1 OK | ||
| gemini-3-1-pro | Gemini 3.1 Pro | All Teams | 1/1 OK | ||
| gemini-3-flash | Gemini 3 Flash | All Teams | 1/1 OK | ||
| qwen3-next-80b | Qwen 3 Next 80B | All Teams | 1/1 OK | ||
| gpt-image-2image | GPT Image 2 | All Teams | 1/1 OK | ||
| nano-banana-2image | Nano Banana 2 | All Teams | 1/1 OK | ||
| text-embedding-3-smallembedding | Text Embedding 3 Small | All Teams | 1/1 OK |
| User | Role | Teams | Last Active | Actions | |
|---|---|---|---|---|---|
| JC Jane Chen | [email protected] | Admin | Platform | 2 min ago | |
| MR Mike Rodriguez | [email protected] | User | Engineering | 14 min ago | |
| SP Sarah Park | [email protected] | User | Design | 1 hr ago | |
| AK Alex Kim | [email protected] | Team Manager | Engineering | 3 hrs ago | |
| LW Lisa Wang | [email protected] | User | Marketing | 1 day ago |
| Group | Source | Members | Teams | Actions |
|---|---|---|---|---|
| engineering-all | Azure AD | 24 | Engineering, Platform | |
| design-team | Azure AD | 8 | Design | |
| marketing-all | Azure AD | 12 | Marketing |
| Datetime | Model | User | Cached | Input Tok | Output Tok | Duration | Status |
|---|---|---|---|---|---|---|---|
| 2026-03-01 14:32:01 | claude-sonnet-4-6 | jane.chen | 12,480 | 1,204 | 847 | 1.2s | 200 |
| 2026-03-01 14:31:58 | gpt-4.1 | mike.r | 0 | 3,820 | 1,204 | 0.8s | 200 |
| 2026-03-01 14:31:45 | claude-opus-4-6 | alex.kim | 8,192 | 2,560 | 5,102 | 3.4s | 200 |
| 2026-03-01 14:31:32 | gemini-2.5-flash | sarah.p | 4,096 | 512 | 892 | 0.4s | 200 |
| Server | Type | Tools | Access | Status | Actions |
|---|---|---|---|---|---|
| Context7 | http | 2 tools | All Users | active | |
| Web Search and Fetch | sse | 2 tools | Marketing Team | active |
| Rule | Scope | Action | Status | |
|---|---|---|---|---|
| PII Detection | All Models | Block & Alert | active | … |
| Prompt Injection | Cowork Agent | Block | active | … |
| Secrets Detection | All Models | Block & Alert | active | … |
Manage system prompts, help content, and other localized strings
| Name | Preview |
|---|---|
| Budget Alert Key Last updated: 3/2/2026 | Your {platformName} API Key "{displayName}" has used {pct}% ... |
| Setup Instructions Last updated: 3/2/2026 | export ANTHROPIC_BASE_URL={{baseUrl}} export ANTHROPIC_A... |
| Name | Preview |
|---|---|
| Default Last updated: 3/2/2026 | You are Chat App, an access interface to AI Language Models ... |
| Cowork Agent Last updated: 3/2/2026 | COWORK AGENT SYSTEM PROMPT (AMENDS PREVIOUS INSTRUC... |
Nutzer-Dashboard
Persönliches Budget-Tracking, API-Key-Verwaltung und Nutzungsprotokolle pro Anfrage — volle Transparenz über den eigenen KI-Verbrauch.
Manage your API access keys
| Name | Team | Key | Spend (current period) | Budget | Created | Actions |
|---|---|---|---|---|---|---|
| RAG Pipeline Agent | Default Team | sk-...Mx4p | €0.18 | €50.00 | 04/17/2026 10:36 | |
| Data Export Script | Default Team | sk-...K9rw | €0.00 | €30.00 | 03/04/2026 08:54 | |
| Analysis Notebook | Default Team | sk-...Bz7n | €0.00 | €25.00 | 03/03/2026 11:15 | |
| Local Dev Testing | Default Team | sk-...Qh2s | €0.00 | €40.00 | 02/03/2026 13:19 | |
| Slack Bot Connector | Default Team | sk-...Ty6v | €0.00 | €35.00 | 02/02/2026 02:30 |
| Time (EDT) | Status | API Endpoint | Cost | Duration | API Key | Model | Cached In | New In | Output |
|---|---|---|---|---|---|---|---|---|---|
| 2026-05-03 18:49:14 | success | /v1/messagesanthropic_messages | €0.05 | 1.60 s | Chat App | claude-sonnet-4-6 | 165,956 | 101 | 51 |
| 2026-05-03 18:44:00 | success | /v1/messagesanthropic_messages | €0.05 | 840 ms | Chat App | claude-sonnet-4-6 | 165,509 | 448 | 34 |
Pick an endpoint, an API key, and a model — the cURL preview reflects the exact request that will be sent.
-H "Authorization: Bearer sk-...Qh2s" \
-H "Content-Type: application/json" \
-d '{"model":"claude-haiku-4-5-20251001","max_tokens":1024,"messages":[{"role":"user","content":[{"type":"text","text":"Why is the sky blue? Explain in 20 words","cache_control":{"type":"ephemeral"}}]}]}' | jq
Einrichtung
In wenigen Minuten einsatzbereit
Drei Schritte von null zur produktiven KI-Plattform.
Bereitstellen
Stellen Sie eine Linux-VM bereit und führen Sie das Platform-Setup aus. Docker Compose startet alles — PostgreSQL, Redis, Meilisearch und den Rest — vorkonfiguriert.
Anbieter verbinden
Fügen Sie die API-Keys Ihrer LLM-Anbieter über ControlTower hinzu. Unterstützt Anthropic, OpenAI, Google AI Studio, OpenRouter, Databricks — oder Ihre eigenen Inference-Endpoints. Verwalten Sie Zugriff und Preise.
Nutzer und Teams verwalten
Richten Sie Nutzerteams ein, weisen Sie Budgets zu und synchronisieren Sie mit den Gruppen Ihres Enterprise-IdP. Steuern Sie Ausgaben und Budgets auf Team-Ebene.
Preise
Selbstgehostet. Überall bereitstellbar.
Betreiben Sie SecondStack auf Ihrer eigenen Infrastruktur — mit unserer Unterstützung.
Enterprise
Individuell auf Ihre Anforderungen zugeschnitten
Für Organisationen, die SecondStack auf ihrer eigenen Infrastruktur betreiben.
- Alle Plattformfunktionen
- Deployment mit Docker Compose & Kubernetes
- Priority-Support & SLA
- Individuelle Integrationen
- Unterstützung beim Deployment
- Security-Review & Hardening
or email [email protected]
Warum KI selbst hosten, statt ChatGPT Enterprise oder Claude SaaS zu nutzen?
Warum brauchen wir ein LLM-API-Gateway?
Wie läuft das Deployment ab?
Kann SecondStack es für uns hosten?
Wer unterstützt die mitgelieferten Open-Source-Komponenten?
Was sind die minimalen Infrastrukturanforderungen?
Wie funktioniert die Nutzerauthentifizierung?
Welche LLM-Modelle werden unterstützt?
Was ist der Cowork Agent?
Was ist mit Datenschutz und Compliance?
Bereit, Ihre KI‑Infrastruktur selbst in der Hand zu haben?
Stellen Sie SecondStack auf Ihrer Infrastruktur bereit — mit unserer Unterstützung. Entwickelt für Teams, die Kontrolle verlangen.
oder per E-Mail [email protected]