Alle Projekte

Desktop · Juni 2026

SpeakAnywhere — Sprachtippen für Windows (Tauri, Rust, Whisper)

SpeakAnywhere — Sprachtippen für Windows (Tauri, Rust, Whisper)

Eine ultraschnelle, leichte Windows-Desktop-App zum Einsprechen von Text in jedes Fenster des Systems. Per globalem Hotkey (Push-to-Talk) transkribiert die App die Sprache lokal und fügt den fertigen Text sofort in das aktive Eingabefeld beliebiger Anwendungen ein — VS Code, Telegram, Notion, Slack, Browser. Die Audioverarbeitung ist standardmäßig vollständig lokal, ohne Telemetrie (privacy-first).

Umgesetzt wurde:

  • Durchgängige Verarbeitungspipeline: Mikrofonaufnahme (CPAL) → Noise Gate und VAD → In-Memory-Audiopuffer → Transkription (Whisper) → Textbereinigung durch lokales LLM → Injektion in das aktive Fenster
  • Ultra-low Latency: Ziel von Tastenloslassen bis Text unter 200-500 ms auf High-End-PCs, unter 1000 ms auf Mittelklasse, unter 150 MB RAM im Leerlauf
  • Modulares Rust-Backend (audio, hotkeys, stt, llm, injection, overlay, settings, tray, windows) über asynchrone tokio-mpsc-Kanäle
  • Lokales STT auf whisper.cpp mit GPU-Beschleunigung (DirectML/CUDA) und optionalen Cloud-Anbietern (OpenAI/Groq/Deepgram)
  • KI-Textformatierung via llama.cpp (Qwen 2.5 3B / Phi-4 mini): Interpunktion, Groß-/Kleinschreibung, Grammatik
  • Dreistufige Text-Injection-Strategie: Windows SendInput (Unicode) → Clipboard-Fallback → UI Automation (Accessibility API)
  • Natives UX: System-Tray, Always-on-Top-Aufnahme-Overlay mit Waveform, globale Hotkeys, Autostart; Einstellungen in SQLite
  • Einstellungs- und Onboarding-UI in React + TypeScript, mehrsprachig

Sicherheit: Audio nur im Speicher, nie auf die Festplatte geschrieben; Cloud-Übertragung nur im expliziten Cloud Mode über TLS 1.3; minimale Rechte (Mikrofon + Eingabeemulation).

Stack: Tauri 2.x, Rust, Tokio, Win32 API, CPAL, whisper.cpp, llama.cpp, DirectML/CUDA, React, TypeScript, Vite, SQLite.

Rolle: Konzeption und Entwicklung der App (Rust-Backend, Windows-Systemintegration, React-UI).

  • SpeakAnywhere — Sprachtippen für Windows (Tauri, Rust, Whisper) — Bildschirm 1
    Bildschirm 1
  • SpeakAnywhere — Sprachtippen für Windows (Tauri, Rust, Whisper) — Bildschirm 2
    Bildschirm 2
  • SpeakAnywhere — Sprachtippen für Windows (Tauri, Rust, Whisper) — Bildschirm 3
    Bildschirm 3
  • SpeakAnywhere — Sprachtippen für Windows (Tauri, Rust, Whisper) — Bildschirm 4
    Bildschirm 4