Ihre KI‑Infrastrukturgehört Ihnen

SecondStack ist eine selbstgehostete Enterprise‑KI‑Plattform, um Konversations‑KI in Ihrem gesamten Unternehmen bereitzustellen, zu verwalten und zu skalieren. Enterprise‑Grade. Unter Ihrer Kontrolle.

chat.yourdomain.com
Claude Opus 4.6
Agents
Chat Models
Image Generation

Für Organisationen, die KI ernst nehmen

Datensouveränität — Konversationen, angehängte Dokumente und Nutzungsdaten verlassen niemals Ihre Infrastruktur.

Kontinuität — SaaS-Assistenten-Konten können nach alleinigem Ermessen des Anbieters gesperrt oder gekündigt werden, sodass eine ganze Organisation von einem Werkzeug abgeschnitten ist, auf das sie sich verlässt. Eine selbst gehostete Plattform kann von außen nicht abgeschaltet werden — und selbst wenn ein Konto bei einem LLM-API-Anbieter einmal verloren geht, leiten Sie einfach auf einen anderen Anbieter um, während Chat-Verläufe, Wissen und Workflows erhalten bleiben.

Dazu kommen echte Multi-Model-Flexibilität (keine Bindung an einen einzigen Anbieter), granulare Kostenkontrolle pro Team und die Möglichkeit, das Verhalten über System-Prompts, Guardrails und Agent-Skills anzupassen.

Aber wir nutzen doch weiterhin externe LLM-API-Anbieter …?

Selbst bei der Nutzung externer LLM-Anbieter hat der API-Zugriff ein geringeres Risiko- und Exposure-Profil als vollständige SaaS-Plattformen. API-Anfragen werden kürzer gespeichert und sind womöglich besser geschützt als ChatGPT-artige Web-App-Plattformen, die Ihre gesamten Daten unbegrenzt vorhalten und eine deutlich größere Angriffsfläche bieten. Viele renommierte LLM-Anbieter bieten zudem Zero-Data-Retention-Garantien (ZDR).

Ein ausgereiftes, hochwertiges Chat-Erlebnis, das Nutzer wirklich bevorzugen — schnelles Streaming, umfangreiches Markdown- und Code-Rendering, Mathematik, Diagramme, Datei- und Bildanhänge sowie eine übersichtliche Modellauswahl über alle Anbieter hinweg.

Multi-Model aus einer einzigen Oberfläche — Claude, gpt-5.x, Gemini, lokale Open-Weights-Modelle — plus Bildgenerierung im selben Workspace. Knowledge Collections lassen sich für RAG oder vollständiges Kontext-Grounding an jeden Chat anhängen, und MCP Tools ermöglichen es Chats, auf Ihre internen Systeme und APIs zuzugreifen.

Der Cowork Agent-Modus führt Claude Code in Sandbox-Containern mit konfigurierbaren Skills aus — Dateioperationen, Browser-Automatisierung, Erstellung von Diagrammen und Office-Dokumenten, persistenter Speicher und mehr — und macht aus jedem Chat bei Bedarf eine agentische Session.

Personas, System-Prompts und teilbare Chat-Vorlagen ermöglichen es Teams, das Verhalten der KI für bestimmte Workflows zu standardisieren — ohne Einzelne von der freien Nutzung auszuschließen.

Ein spezialisiertes Guardrails-Modul, kompatibel mit LiteLLM und konfigurierbar über das ControlTower-Admin-Dashboard — es deckt PII, Secrets und andere richtliniensensible Inhalte ab, sowohl bei eingehenden Prompts als auch bei ausgehenden Antworten.

Auf Flexibilität ausgelegt: Neue Guardrail-Typen und Richtlinien lassen sich vor Ort ergänzen oder anpassen — passend zu den Datenklassifizierungen, Compliance-Anforderungen und Toleranzschwellen Ihrer Organisation. Kein starres Blackbox-Regelwerk.

Starker Fokus auf die Minimierung von False Positives. Eine zweistufige Pipeline (schnelle heuristische Erkennung, gefolgt von einem kontextbewussten LLM-Klassifikator mit Caching) verhindert, dass offensichtlich harmlose Fälle legitime Arbeit blockieren — denn fehlauslösende Guardrails ruinieren das Nutzererlebnis und legen Agenten im Produktivbetrieb lahm.

LiteLLM Anfrage Erkennung Heuristik · schnell Kandidaten Cache Dedup-Suche nur neue LLM-Klassif. Lokales LLM · W / F + True Positive Blockieren Sperren · Masken Pro Anfrage im LiteLLM-Guardrails-Callback ausgelöst
LLM-Klassifikator für Secrets (Beispiel)

Klassifiziert, ob eine erkannte Kandidaten-Zeichenkette ein echtes Credential ist (Passwort, API-Key, Token, Private Key) oder ein harmloser Treffer (Code-Bezeichner, Hash, UUID, Public Key, Farbcode, Platzhalter). Beispiele für KEIN Credential: Dokumentations-Platzhalter, Commit-Hashes, Paket-Hashes, Versionsnummern, Farbcodes, PNG-Daten, SVG-Strokes, Dateinamen, Datumsangaben. Beispiele für ein echtes Credential: zufällig generierte Passwörter, API-Keys, Tokens, Secrets, Private Keys, die nicht wie Demo-Werte aussehen. Der Klassifikator erhält sowohl die markierte Zeichenkette als auch den umgebenden Kontext, um eine fundierte Entscheidung zu treffen.

LLM-Klassifikator für Kunden-PII (Beispiel)

Klassifiziert, ob eine erkannte Kandidaten-Zeichenkette sensible Kunden-PII ist, die nicht an eine externe LLM-API gesendet werden sollte. Beispiele für KEINE PII in diesem Sinne: Platzhalterwerte ("John Doe", "[email protected]"), Firmennamen, Produktnamen, geschäftliche Mitarbeiterkontakte, z. B. aus E-Mail-Kopfzeilen oder Signaturen, geschäftliche E-Mail-Adressen, interne Customer-IDs, fiktive Figuren, allgemeine Erwähnungen öffentlicher Personen (z. B. "Albert Einstein"). Je nach Unternehmensrichtlinie kann selbst ein einzelnes, einmaliges Vorkommen wenig sensibler PII-Elemente — etwa die E-Mail-Adresse eines Kunden — zulässig sein, z. B. im Troubleshooting-Kontext, sofern es nicht von weiteren hochsensiblen, aufschlussreichen Daten begleitet wird. Beispiele für echte PII: aus Datenbankeinträgen oder Benutzerprofilen extrahierte Daten, Kunden-PII, die in großem Umfang in strukturierten Daten auftritt, hochsensible Identifikatoren wie Sozialversicherungsnummern oder Kreditkartennummern. Der Klassifikator nutzt den umgebenden Kontext, um einen Kundendatenbank-Dump von routinemäßiger Geschäftskorrespondenz zu unterscheiden.

Zahlen Sie für den tatsächlichen Compute-Verbrauch bei Ihren LLM-API-Anbietern — nicht für Abonnements pro Nutzer.

In größeren Organisationen sind die meisten Nutzer wenig aktiv; eine verbrauchsbasierte API-Abrechnung ist in der Regel deutlich kostengünstiger als pauschale Pro-Seat-Gebühren.

Robustes Kosten-Tracking und Budgetkontrollen halten dieses Modell auch im großen Maßstab sicher — Budgets pro Nutzer, pro Team und pro API-Key mit Schwellenwert-Alerts, Ausgabenprognosen und Nutzungsanalysen bis auf die einzelne Anfrage. Die Ausgaben bleiben planbar, und Überschreitungen werden erkannt, bevor sie zur Rechnung werden.

Ohne Gateway landen Teams bei verstreuten API-Keys, ohne Überblick über die Ausgaben und ohne Guardrails. SecondStack zentralisiert den gesamten LLM-Traffic — von Chat-Nutzern, internen Apps, Agenten und IDE-Plugins — über LiteLLM.

Jede Anfrage erhält eine Authentifizierung über virtuelle API-Keys, eine Budgetdurchsetzung pro Nutzer und pro Team, Nutzungsanalysen sowie Guardrails für PII und Secrets.

Ihre Apps rufen standardmäßige OpenAI-kompatible Endpoints (/chat/completions, /responses) mit virtuellen Keys auf, und das Gateway übernimmt Routing, Failover, Load-Balancing, Observability und Policies über alle unterstützten Modelle hinweg.

Der eingebettete LiteLLM Proxy ist der kostenlose Open-Source-Build, und unser Team betreut ihn end-to-end zusammen mit dem Rest der Plattform — ein Ansprechpartner für das gesamte Deployment.

Integriert sich nahtlos mit Databricks für Organisationen, die ihre Daten- und KI-Workloads bereits auf dem Lakehouse betreiben.

Nutzen Sie Databricks Foundation Models als vorgelagerten LLM-Anbieter über das LiteLLM-Gateway — Claude, gpt-5, Gemma, Qwen, Llama und weitere bereitgestellte Endpoints, abgerechnet über Ihr Databricks-Konto.

Rufen Sie Databricks Mosaic AI Agents direkt aus der Chat-UI als vollwertige Chat-Profile auf: Knowledge Agents, Supervisor Agents, Custom Agents

Stellen Sie Genie Spaces und Databricks SQL als MCP Tools für die Chat-App-Modelle und den Cowork Agent bereit — für Analytics in natürlicher Sprache über Ihre governten Daten

End-to-End-OAuth im Namen der Endnutzer. Jeder Databricks-Aufruf wird als der tatsächliche Nutzer authentifiziert, sodass Unity-Catalog-Berechtigungen, Sicherheit auf Zeilen-/Spaltenebene und Audit-Trails für den KI-Traffic genauso gelten wie für einen menschlichen Analysten.

Architektur im Überblick

Ein modularer, selbstgehosteter Stack auf bewährter Basis.

SECONDSTACK PLATFORM Nutzer Nutzer-Dashboard Self-Service-API-Keys · Nutzungsberichte Admin-Kontrollpanel Modelle · Guardrails · Skills · MCP · Budgets · Teams /chat/completions /responses /messages /embeddings /images /audio SecondGate · LLM API Gateway Routing · Fallbacks · Virtuelle API-Keys · Budgets · Zugriffskontrolle Coding-Agenten IDEs Desktop-Apps Enterprise-Apps Nutzer SecondChat Multi-Model-Chat mit agentischen Fähigkeiten SecondAgent Container-Agent-Umgebung · Tools & Skills Inhaltsextraktion Dokumenten-Parsing und OCR Textsuche Thread-Suche SecondGuard Guardrails · Richtlinienprüfung Secrets PII TLS Proxy TLS-Terminierung Ingress Reverse Proxy Identitätsdienst Nutzer & Gruppen AuthZ Datenbank Relationaler Speicher Vektor-Datenbank Embedding-Speicher Cache Heiße Daten Kubernetes | Docker Compose auf VM LLM-ANBIETER Anthropic Claude OpenAI gpt-5 Google Gemini Databricks Foundation Models OpenRouter 100+ Modelle Azure OpenAI Foundation Models Lokale Inferenz SSO / IdP Azure EntraID Microsoft Identity Okta Identity Cloud Keycloak Open Source IAM UNTERNEHMENSDATEN Databricks Genie & UC Agenten und SQL O365 SharePoint Dokumente & Sites Jira Issues & Projekte GitHub Repos & Code Google Workspace Drive, Gmail, Docs Confluence Wiki & Docs Snowflake Data Warehouse MCP-SERVER (DRITTE) you.com Websuche Exa Websuche Context7 Bibliotheks-Docs Atlassian Jira & Confluence

Alles, was Ihr Team braucht

Eine vollständige Konversations-KI-Plattform, nicht nur eine Chat-Oberfläche.

Chat App

Multi-Model-Chat

Claude, gpt-5.x, Gemini, lokale Modelle — Chat, Agenten und Bildgenerierung an einem Ort.

Agents
Chat Models
Image Generation
Kostenmanagement

Budget- & Ausgabenkontrolle

Budgets pro Nutzer, pro Team und pro API-Key. Schwellenwert-Alerts, Ausgabenprognosen und Nutzungsanalysen bis auf Anfrage-Ebene.

Gesamtausgaben Plattform €798 / €1,200
Verbleibend: €402
Engineering €642 / €1,000
Chat App €380
API Keys €64
Marketing €156 / €200
78 % des Budgets verbraucht
Chat App €32
API Keys €112
d.kowalski
Chat App — Standard Ausgaben: €312 · Budget: €450
Chat App — Agent Mode Ausgaben: €47 · Budget: €180
API Keys
VSCode Ausgaben: €142 · Budget: €200
local-testr-rag-agent Ausgaben: €89 · Budget: €150
Verbleibendes nicht zugewiesenes Budget €460
Nach Gesamtausgaben in diesem Zeitraum
a.chen
€268
j.martinez
€251
d.kowalski
€189
r.patel
€176
s.nakamura
€162
l.dubois
€148
m.oconnor
€97
k.berg
€82
n.volkov
€64
p.santos
€51
e.wright
€38
KI-Agent

Cowork Agent

Der Cowork Agent läuft in Sandbox-Containern mit Dutzenden Skills — Dateioperationen, Browser-Automatisierung, Bildgenerierung, Diagrammerstellung, Office-Dokumente, persistenter Speicher usw.

erstelle ein Hello-World-Programm in diesem Workspace
Werkzeuge

Fertig. hello_world.py erstellt und ausgeführt — gibt wie erwartet "Hello, World!" aus.

hello_world.py
Vorschau · Herunterladen
Dateien anhängen
Engineering Wiki
Customer Research
Sales Playbook
+ Neue Sammlung…
MCP-Server
Lokale Dateien
Context7
Atlassian Suite
+ MCP verwalten…
SSH-Workspace läuft
ssh 44a43ef4@localhost -p 2222
In VS Code öffnen
Auto-Stopp in 1 Std. · verlängert bei Aktivität
Modell
Claude Opus 4.7
Claude Sonnet 4.6
Claude Haiku 4.5
Sandbox-Dateien
.plans
hello_world.py 23 B
Schreibe hier deine Nachricht …
Wissen & RAG

Knowledge Collections

Benannte Dokumentensammlungen, die in Chats referenziert werden. Dateien werden automatisch für den RAG-Abruf indexiert. Teilen Sie sie mit Teams oder einzelnen Nutzern.

System Design

Datei Kommentar (modell-sichtbar) Modus Tokens
architecture-backend.md RAG 3k
architecture-frontend.md RAG 4k
sync-jobs.md Background Sync Jobs RAG 1k
Erkläre den ControlTower-Ablauf bei Nutzer-Deaktivierung
System Design
API-Routing

API-Routing auf LiteLLM-Basis

Zentralisieren Sie LLM-API-Traffic aus Enterprise-Apps und lokalen Agenten — mit virtuellen Nutzer-API-Keys, Guardrails, Ausgaben-Observability und Budgetdurchsetzung.

Claude CLI Codex CLI Cursor IDE VS Code IDE OpenClaw Obsidian Chatbot-Agenten Virtuelle Nutzer-API-Keys SecondGate LLM API Gateway · LiteLLM Routing · Budgets · Logs Enterprise-API-Keys LLM-ANBIETER Anthropic OpenAI Google OpenRouter Databricks Lokale Inferenz Claude CLI Codex CLI Cursor IDE VS Code IDE OpenClaw Obsidian Chatbot-Agenten Virtuelle Nutzer-API-Keys SecondGate LLM API Gateway · LiteLLM Routing · Budgets · Logs Enterprise-API-Keys LLM-ANBIETER Anthropic OpenAI Google OpenRouter Databricks Lokale Inferenz
ControlTower

Admin-Dashboard

Zentrales Modell-Management, Anbieterkonfiguration, System-Prompts und Deployment-Steuerung. Ein Panel für Ihren gesamten KI-Stack.

admin.yourdomain.com/dashboard/admin?section=models
Control Tower
A
Model Display Name Access Health Order Actions
cowork-agentagent
Cowork Agent 2 Teams 2/2 OK
llm-councilagent
LLM Council 2 Teams 1/1 OK
Databricks
sales-genieagent
Sales Genie Space Sales Team 1/1 OK
Anthropic
claude-opus-4-6
Claude Opus 4.6 All Teams 2/2 OK
OpenAI
gpt-5-5
GPT-5.5 All Teams 1/1 OK
Gemini
gemini-3-1-pro
Gemini 3.1 Pro All Teams 1/1 OK
Gemini
gemini-3-flash
Gemini 3 Flash All Teams 1/1 OK
Databricks
qwen3-next-80b
Qwen 3 Next 80B All Teams 1/1 OK
OpenAI
gpt-image-2image
GPT Image 2 All Teams 1/1 OK
Gemini
nano-banana-2image
Nano Banana 2 All Teams 1/1 OK
OpenAI
text-embedding-3-smallembedding
Text Embedding 3 Small All Teams 1/1 OK
User Email Role Teams Last Active Actions
JC
Jane Chen
[email protected] Admin Platform 2 min ago
MR
Mike Rodriguez
[email protected] User Engineering 14 min ago
SP
Sarah Park
[email protected] User Design 1 hr ago
AK
Alex Kim
[email protected] Team Manager Engineering 3 hrs ago
LW
Lisa Wang
[email protected] User Marketing 1 day ago
A
Anthropic Direct API Key
connected
Models4
Latency142ms
Uptime99.9%
O
OpenAI API Key
connected
Models3
Latency98ms
Uptime99.8%
AWS
AWS Bedrock IAM Role
connected
Models2
Latency167ms
Uptime99.7%
G
Google AI Service Account
degraded
Models1
Latency312ms
Uptime97.2%
Databricks
Databricks PAT Token
connected
Models2
Latency186ms
Uptime99.6%
E
Engineering 12 members
active
Budget€2,400/mo
Used€1,847
Models6
D
Design 5 members
active
Budget€800/mo
Used€612
Models4
M
Marketing 8 members
active
Budget€600/mo
Used€423
Models3
GroupSourceMembersTeamsActions
engineering-allAzure AD24Engineering, Platform
design-teamAzure AD8Design
marketing-allAzure AD12Marketing
Total Requests48,291+12.4%
Total Spend€3,847+8.2%
Avg Latency156ms-5.1%
Error Rate0.3%-0.1%
Usage Over Time
€300€225€150€75€0
Feb 1Feb 5Feb 10Feb 15Feb 20Feb 25Mar 1
DatetimeModelUserCachedInput TokOutput TokDurationStatus
2026-03-01 14:32:01claude-sonnet-4-6jane.chen12,4801,2048471.2s200
2026-03-01 14:31:58gpt-4.1mike.r03,8201,2040.8s200
2026-03-01 14:31:45claude-opus-4-6alex.kim8,1922,5605,1023.4s200
2026-03-01 14:31:32gemini-2.5-flashsarah.p4,0965128920.4s200
User Limits
Default New User Budget
€400
Budget Reset Period
30d
Max API Keys Per User
10
Chat App
Default Model
claude-sonnet-4-5-20250929
Key Budgets
Cowork Agent Key Budget
€100
Chat App Key Budget
€100
New API Key Budget
€50
Budget Alerts
Per-Key Alerts
enabledthreshold: 0.7
Per-User Alerts
enabledthreshold: 0.7
Team Settings
Default Team
Default Team
Budget Alerts
enabled
Health Alerts
enabled
Slack Webhook
https://hooks.slack.com/...4xK
Broadcast Alert to Users
All Users Engineering Research
2026-03-05 04:00 UTC
ServerTypeToolsAccessStatusActions
Context7http2 toolsAll Usersactive
Web Search and Fetchsse2 toolsMarketing Teamactive
RuleScopeActionStatus
PII DetectionAll ModelsBlock & Alertactive
Prompt InjectionCowork AgentBlockactive
Secrets DetectionAll ModelsBlock & Alertactive

Manage system prompts, help content, and other localized strings

General
NamePreview
Budget Alert Key
Last updated: 3/2/2026
Your {platformName} API Key "{displayName}" has used {pct}% ...
Setup Instructions
Last updated: 3/2/2026
export ANTHROPIC_BASE_URL={{baseUrl}} export ANTHROPIC_A...
System Prompts
NamePreview
Default
Last updated: 3/2/2026
You are Chat App, an access interface to AI Language Models ...
Cowork Agent
Last updated: 3/2/2026
COWORK AGENT SYSTEM PROMPT (AMENDS PREVIOUS INSTRUC...
LiteLLM Config
syncedLast deployed 4 min ago
Chat App Config
pending2 changes waiting
Guardrails Config
syncedLast deployed 1 hr ago
Nutzerportal

Nutzer-Dashboard

Persönliches Budget-Tracking, API-Key-Verwaltung und Nutzungsprotokolle pro Anfrage — volle Transparenz über den eigenen KI-Verbrauch.

app.yourdomain.com/dashboard
SecondStack
d.kowalski
d.kowalski
Chat App — Standard Ausgaben: €312 · Budget: €450
Chat App — Agent Mode Ausgaben: €47 · Budget: €180
API Keys
VSCode Ausgaben: €142 · Budget: €200
local-testr-rag-agent Ausgaben: €89 · Budget: €150
Verbleibendes nicht zugewiesenes Budget €460

Manage your API access keys

Name Team Key Spend (current period) Budget Created Actions
RAG Pipeline Agent Default Team sk-...Mx4p €0.18 €50.00 04/17/2026 10:36
Data Export Script Default Team sk-...K9rw €0.00 €30.00 03/04/2026 08:54
Analysis Notebook Default Team sk-...Bz7n €0.00 €25.00 03/03/2026 11:15
Local Dev Testing Default Team sk-...Qh2s €0.00 €40.00 02/03/2026 13:19
Slack Bot Connector Default Team sk-...Ty6v €0.00 €35.00 02/02/2026 02:30
Usage Over Time
€36€27€18€9€0
Apr 5Apr 10Apr 15Apr 20Apr 25May 1
Total Requests 3,247
Total Spend €329.58
Input Tokens 328.2 mln
Output Tokens 3.1 mln
Showing 1 – 25 of 3,247 records  ·  Page 1 of 130
Time (EDT) Status API Endpoint Cost Duration API Key Model Cached In New In Output
2026-05-03 18:49:14 success
/v1/messagesanthropic_messages
€0.05 1.60 s Chat App claude-sonnet-4-6 165,956 101 51
2026-05-03 18:44:00 success
/v1/messagesanthropic_messages
€0.05 840 ms Chat App claude-sonnet-4-6 165,509 448 34

Pick an endpoint, an API key, and a model — the cURL preview reflects the exact request that will be sent.

Local Dev Testing
Anthropic Messages (/v1/messages)
claude-haiku-4-5-20251001
With web search tool
Why is the sky blue? Explain in 20 words
curl -s "https://litellm.yourdomain.com/v1/messages" \
  -H "Authorization: Bearer sk-...Qh2s" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-haiku-4-5-20251001","max_tokens":1024,"messages":[{"role":"user","content":[{"type":"text","text":"Why is the sky blue? Explain in 20 words","cache_control":{"type":"ephemeral"}}]}]}' | jq

In wenigen Minuten einsatzbereit

Drei Schritte von null zur produktiven KI-Plattform.

01

Bereitstellen

Stellen Sie eine Linux-VM bereit und führen Sie das Platform-Setup aus. Docker Compose startet alles — PostgreSQL, Redis, Meilisearch und den Rest — vorkonfiguriert.

bash ~/SecondStack
# Initialize the platform
cd SecondStack
./dev-setup.sh
just init-full
        
02

Anbieter verbinden

Fügen Sie die API-Keys Ihrer LLM-Anbieter über ControlTower hinzu. Unterstützt Anthropic, OpenAI, Google AI Studio, OpenRouter, Databricks — oder Ihre eigenen Inference-Endpoints. Verwalten Sie Zugriff und Preise.

Anthropic
Anthropic
OpenAI
OpenAI
Gemini
Google AI Studio
OpenRouter
OpenRouter
Databricks
Databricks
03

Nutzer und Teams verwalten

Richten Sie Nutzerteams ein, weisen Sie Budgets zu und synchronisieren Sie mit den Gruppen Ihres Enterprise-IdP. Steuern Sie Ausgaben und Budgets auf Team-Ebene.

Engineering €342 / €500
Product €89 / €200
Design €56 / €150
Support €21 / €100
Marketing €134 / €300

Selbstgehostet. Überall bereitstellbar.

Betreiben Sie SecondStack auf Ihrer eigenen Infrastruktur — mit unserer Unterstützung.

Enterprise

Kontakt aufnehmen

Individuell auf Ihre Anforderungen zugeschnitten

Für Organisationen, die SecondStack auf ihrer eigenen Infrastruktur betreiben.

  • Alle Plattformfunktionen
  • Deployment mit Docker Compose & Kubernetes
  • Priority-Support & SLA
  • Individuelle Integrationen
  • Unterstützung beim Deployment
  • Security-Review & Hardening
Kontakt aufnehmen

Häufig gestellte Fragen

Keine passende Antwort gefunden? Kontaktieren Sie uns.

Warum KI selbst hosten, statt ChatGPT Enterprise oder Claude SaaS zu nutzen?
Datensouveränität — Konversationen, Dokumente und Nutzungsdaten verlassen niemals Ihre Infrastruktur. Dazu kommen echte Multi-Model-Flexibilität (keine Bindung an einen einzigen Anbieter), granulare Kostenkontrolle pro Team und die Möglichkeit, das Verhalten über System-Prompts, Guardrails und Agent-Skills anzupassen. Keine Lizenzierung pro Seat — stellen Sie die Plattform für Ihre gesamte Organisation zu reinen Infrastrukturkosten bereit.
Warum brauchen wir ein LLM-API-Gateway?
Ohne Gateway landen Teams bei verstreuten API-Keys, ohne Überblick über die Ausgaben und ohne Guardrails. SecondStack zentralisiert den gesamten LLM-Traffic — von Chat-Nutzern, internen Apps, Agenten und IDE-Plugins — über LiteLLM. Jede Anfrage erhält eine Authentifizierung über virtuelle API-Keys, eine Budgetdurchsetzung pro Nutzer und pro Team, Nutzungsanalysen sowie Guardrails für PII und Secrets. Ihre Apps rufen OpenAI-kompatible Endpoints (/chat/completions, /responses) mit virtuellen Keys auf, und das Gateway übernimmt Routing, Observability und Policies.
Wie läuft das Deployment ab?
Am einfachsten erfolgt das Deployment auf einer Virtual Machine mit Docker Compose. Laden Sie das Release-Archiv herunter, entpacken Sie es, setzen Sie einige Umgebungsvariablen in der Datei .env.local und führen Sie das Init-Skript aus. Details finden Sie in der mitgelieferten Dokumentation. Für den Produktivbetrieb machen Sie die VM über das Internet erreichbar, geben Sie eingehenden Port 443 frei und weisen Sie einen DNS-Domainnamen zu. Für Enterprise-SSO erstellen Sie einen EntraID- oder KeyCloak-OAuth-App-Client.
Kann SecondStack es für uns hosten?
Ja. SecondStack ist kein SaaS-Produkt, und unser Hauptfokus liegt auf Self-Service-Deployments auf Ihrer eigenen Infrastruktur. Wenn Sie den Betrieb jedoch nicht selbst übernehmen möchten, können wir eine dedizierte, mandantenreine virtuelle Umgebung in unserer Private Cloud für Sie hosten und vollständig verwalten. Sprechen wir darüber.
Wer unterstützt die mitgelieferten Open-Source-Komponenten?
Als Plattformanbieter übernehmen wir die volle Verantwortung für jede mit SecondStack ausgelieferte Komponente — sowohl den proprietären Code, den wir entwickeln, als auch die Open-Source-Software, die wir bündeln und verteilen, darunter LiteLLM, Kreuzberg, Meilisearch, Qdrant, PostgreSQL, Authentik und weitere. Sie erhalten einen einzigen Ansprechpartner für den Support über den gesamten Stack — ohne separate Anbieterbeziehungen für jede einzelne Komponente.
Was sind die minimalen Infrastrukturanforderungen?
• Linux-VM mit 4 vCPU, 16 GB RAM, 200 GB Speicher • DNS-Name mit Subdomains für den Nutzerzugriff, der auf die VM verweist • OAuth-Client-Credentials in Ihrem IdP (EntraID, Keycloak, Okta) für SSO • Credentials für externe LLM-API-Anbieter (API-Keys, URL-Endpoints)
Wie funktioniert die Nutzerauthentifizierung?
SecondStack setzt auf das OAuth-Protokoll. Sie können es eigenständig mit dem integrierten Authentik-OAuth-Core betreiben, um Nutzer zu verwalten, aber in der Regel verbinden Enterprise-Deployments es mit einem vorgelagerten Identity Provider wie Azure AD (EntraID), Okta oder KeyCloak.
Welche LLM-Modelle werden unterstützt?
Alle wichtigen Anbieter über LiteLLM: Anthropic Claude, OpenAI, Azure Foundation Models, Google AI Studio und Tausende offene Modelle über OpenRouter, Databricks usw. Sie können auch lokal bereitgestellte Open-Weights-Modelle anbinden, wenn Sie Ihre eigene GPU-Infrastruktur betreiben. Modelle sind nach Fähigkeit gruppiert — Chat, agentisch, Bildgenerierung — und lassen sich pro Team aktivieren oder einschränken.
Was ist der Cowork Agent?
Der Cowork Agent ist ein agentischer KI-Modus in der Chat App. Er führt die Claude Code CLI in Sandbox-Docker-Containern mit konfigurierbaren Skills aus — Dateioperationen, Browser-Automatisierung, Bildgenerierung, Diagrammerstellung, Office-Dokumente, persistenter Speicher und mehr. Jede Session erhält einen isolierten Workspace. Betrachten Sie ihn als fähigen KI-Kollegen, nicht nur als Chatbot.
Was ist mit Datenschutz und Compliance?
Alles läuft auf Ihrer Infrastruktur — Chat-Verlauf, Dokumente, Nutzerdaten und Nutzungsprotokolle bleiben in Ihrer PostgreSQL-Datenbank. Sie steuern Aufbewahrung, Backups und Zugriff. Führende LLM-Anbieter sagen für API-Traffic in der Regel eine begrenzte Datenspeicherung zu, und viele Anbieter bieten sogar Zero-Data-Retention-Garantien. Die Plattform enthält zudem einen Guardrails-Service, der PII und Secrets erkennen und blockieren kann, bevor sie die LLM-Anbieter erreichen.

Bereit, Ihre KI‑Infrastruktur selbst in der Hand zu haben?

Stellen Sie SecondStack auf Ihrer Infrastruktur bereit — mit unserer Unterstützung. Entwickelt für Teams, die Kontrolle verlangen.