Открыт к новым проектам

Сайд-проекты · голосовой ввод

PasteVox

Нативная утилита для macOS: зажал клавишу, сказал — текст в активном окне.

Диктовка, задачи для кодинг-агентов и терминальные команды голосом — в любом окне, без Electron.

Открыть pastevox.app

состояние
работает
стек
  • Swift
  • SwiftUI
  • AppKit

Зачем

Я много надиктовываю: задачи для кодинг-агентов, сообщения в чаты, короткие команды для терминала. Мне нужна была диктовка, которая работает в любом окне, сразу выдаёт текст в нужной форме и знает мои термины и имена.

PasteVox живёт в строке меню. Зажимаю Fn, говорю, отпускаю — и текст появляется там, где стоит курсор, а то, что лежало в буфере обмена, возвращается на место. От режима зависит, что получится: дословный текст, задача для агента, RALPH-промпт или shell-команда; режим и стиль переключаются цифрами, пока клавиша зажата. Опасная команда в терминал не попадёт: она приходит закомментированной.

Самое интересное — системная часть. Fn на macOS не обычная клавиша, а флаг модификатора, и чтобы сделать его клавишей удержания, понадобился перехват событий на уровне сессии. Вторая задача — вставлять текст в любое приложение, не ломая буфер обмена и не забирая фокус у окна, куда идёт вставка.

Всё на Swift, SwiftUI и AppKit, без Electron. Речь распознаёт OpenAI, локальная модель GigaAM или свой сервер с OpenAI-совместимым API, так что русский можно диктовать совсем без сети. Ключ лежит в Keychain, история и словари остаются на Mac.

Что умеет

1234
PasteVox
  1. 1Зажми и говори — Fn/Globe, правый ⌥ или правый ⌘: держишь — запись, отпустил — текст в активном окне, а буфер обмена возвращается.
  2. 2Четыре режима — дословно, задача для кодинг-агента, RALPH-промпт или shell-команда; цифры 1…4 прямо во время удержания.
  3. 3История вставок — каждая диктовка с режимом, приложением и статусом: вставлено, скопировано, пропущено, ошибка.
  4. 4Сниппеты, словарь, черновик — голосовые сокращения, свои термины для распознавания и заметки на потом.
  5. 5Три провайдера распознавания — OpenAI, локальная модель GigaAM или свой OpenAI-совместимый сервер: whisper.cpp, speaches, Groq.
  6. 6Русский без сети — GigaAM v3 на самом Mac: фраза — за 0,14 с, с пунктуацией из коробки.
  7. 7Повтор последней записи — если распознать не удалось, запись не пропадает: её можно распознать заново из меню.
  8. 8Защита от опасных команд — команда, которая может что-⁠то удалить или сломать, не вставляется, а копируется с # в начале каждой строки.
  9. 9Сниппеты без модели — триггер срабатывает внутри фразы, с другим окончанием и с «вставь, пожалуйста»; конфликты проверяются при сохранении.
  10. 10Семь стилей письма — Default, Concise, Friendly, Formal, Coding, Chat и Email на цифрах 5…0 и «-»; меняют тон в режимах Agent и RALPH.
  11. 11Личный словарь — до 80 имён и терминов уходят в распознавание подсказкой.
  12. 12Буфер обмена на месте — после вставки возвращается всё, что в нём было: текст, картинки, файлы, RTF.
  13. 13Отмена на лету — переключил режим во время удержания — запись отменена; касания короче 300 мс и записи без голоса в сеть не уходят.
  14. 14Свои промпты — промпты Agent, RALPH и Command правятся, у каждого режима своя версия и кнопка «сбросить».
  15. 15Метрики задержки — время каждого этапа от отпускания клавиши до вставки, с минимумом, средним и максимумом.

Экраны

Распознавание речи: локальная модель GigaAM, сервер готов, выгрузка при простоеТри провайдера: OpenAI, локальный GigaAM и свой серверСвой сервер: любой с OpenAI-совместимым API, с проверкой соединенияНастройки: клавиша удержания, режимы на Fn+1…4 и стили на Fn+5…0Промпты режимов Agent и RALPH: сохранить термины и пути, ничего не выдумыватьСниппеты: несколько фраз-триггеров, проверка фразы и список с поискомСловарь: имена и термины, которые уходят в распознавание подсказкойЧерновик: заметки, которые не нужно вставлять сразу
1 / 8 · Распознавание речи: локальная модель GigaAM, сервер готов, выгрузка при простое

Что было трудно

Fn/Globe как клавиша удержания для всей системы

У Fn на macOS нет своего нажатия: он виден только как флаг модификатора, правые ⌥ и ⌘ в обычных флагах не отличаются от левых, а сочетание вроде Fn+2 должно переключить режим так, чтобы «2» не напечаталась в активном окне. Поэтому события слушает перехватчик на уровне сессии, который умеет их поглощать, а вдобавок к нему глобальный и локальный мониторы. Правые клавиши различаются по коду клавиши и битам флагов конкретного устройства, сочетания — по виртуальным кодам, так что они работают и в русской раскладке. Если система отключит перехватчик за медлительность, он включается сразу, а сторож раз в 1,5 с проверяет, жив ли он, — в том числе когда разрешение на Универсальный доступ выдано уже после запуска. Итог — 3 клавиши удержания на выбор и 12 поглощаемых сочетаний: 4 режима, 7 стилей и пауза.

Вставка в любое приложение без потери буфера обмена

Общего способа вставить текст в чужое поле в macOS нет. Буфер обмена и ⌘V работают почти везде, но затирают то, что пользователь скопировал сам, а если вернуть буфер слишком рано, приложение вставит старое. Перед вставкой снимается полный снимок буфера — все элементы во всех форматах, от текста до картинок и файлов; затем в буфер кладётся текст, в систему уходит ⌘V, и через 450 мс снимок возвращается. Без Универсального доступа текст остаётся в буфере со статусом «скопировано». Плашка с волной — панель, которая не может стать активной, поэтому фокус остаётся у окна, куда идёт вставка. Итог — текст появляется сразу после ⌘V, а через полсекунды буфер обмена такой же, каким был.

Плашка во время записи: режим и живая волна; фокус она не забирает
Плашка во время записи: режим и живая волна; фокус она не забирает

Локальная модель, которой приложение управляет само

Чтобы распознавать русский без сети, PasteVox запускает GigaAM v3 через gigastt — отдельный сервер, которым приложение управляет само. Оно находит программу, скачивает модель на 225 МБ с прогрессом, поднимает сервер при старте, выгружает модель при простое и гасит сервер при выходе. Уже запущенный или оставшийся после падения процесс подхватывается, упавший перезапускается. Голос не теряется, пока модель грузится: запись идёт в файл и распознаётся, как только сервер готов, а последнюю запись можно распознать ещё раз из меню. Итог — на Apple Silicon фраза из 5 секунд речи распознаётся за 0,14 с, холодный старт модели — около 2 с, самый первый — около 8 с, и всё без сети.

Защитный барьер для терминальных команд

Режим Command превращает речь в shell-команду, и одно неверно расслышанное слово вместе с привычным Enter может что-⁠то удалить. Одной модели тут доверять нельзя, поэтому слоёв два. Промпт требует для опасной команды вернуть особый маркер и причину риска. Локальный классификатор из 18 регулярных выражений проверяет результат — или сырую расшифровку, если переписывание выключено — и находит sudo, rm -rf, dd, mkfs, git push --force, curl | sh и им подобные даже после ; и | в цепочке. Сработал любой слой — команда не вставляется, а копируется, и каждая её строка начинается с #. Итог — у рискованной команды нет ни одного автоматического пути в терминал, и даже вставленный и запущенный предпросмотр ничего не выполнит.

Сниппеты без модели: нечёткое сопоставление речи

Распознавание каждый раз пишет фразу по-⁠разному: с пунктуацией, через «ё» или «е», с «пожалуйста», в другом падеже, «промт» или «prompt». Сниппет должен срабатывать мгновенно, без модели, и заменять только себя, если сказан внутри фразы. Фраза нормализуется, из неё убираются глаголы-команды и слова-паразиты, а дальше идут 4 уровня совпадения с весом уверенности: точное, триггер как подпоследовательность слов, покрытие от 75 % слов триггера и похожесть всей фразы по Левенштейну. Слова сравниваются ещё и по грубому фонетическому ключу, а для русских триггеров словоформы генерируются по таблице — до 32 вариантов. Итог — ноль сетевых запросов на сниппет, и при совпадении переписывание моделью пропускается целиком.

Задержка конвейера и её замер

От отпускания клавиши до текста на экране складываются сборка аудио, загрузка, распознавание, иногда переписывание и вставка, и нужно было понять, где уходит время. Запись сразу идёт в AAC, а не в WAV: файл примерно в 5 раз меньше. Транспортов три: загрузка файла по умолчанию, потоковая отправка готовой записи и realtime по WebSocket; экспериментальные при ошибке откатываются на загрузку файла. Каждая сессия меряется по 8 полям, от нажатия до старта записи и от отпускания до вставки, с минимумом, средним и максимумом. Итог — по замерам потоковые режимы остались экспериментальными, а по умолчанию работает загрузка файла.

Из Swift Package Manager в настоящее приложение

Swift Package Manager выдаёт голый исполняемый файл, а macOS нужен бандл: с Info.plist, без которого система даже не спросит доступ к микрофону, с иконкой и локализациями, и ещё сборка под Intel. Info.plist вшит прямо в исполняемый файл флагом линкера, так что и голый swift run получает идентификатор приложения и текст запроса доступа. Скрипт собирает .app, иконку — из одного PNG в 10 размерах, а GitHub Actions по тегу собирает универсальную версию и публикует релиз. Подпись стабильная, поэтому разрешения на микрофон и Универсальный доступ переживают пересборку. Итог — один архив для Apple Silicon и Intel, сборка и публикация по одному тегу.

Как устроен

Интерфейс
  • AppKit
  • SwiftUI
  • строка меню
Горячая клавиша
  • CGEvent tap
  • NSEvent
  • Accessibility
Звук
  • AVFoundation
  • AAC
Распознавание
  • OpenAI
  • GigaAM
  • gigastt
  • URLSession
  • WebSocket
Вставка
  • NSPasteboard
  • CGEvent
  • NSPanel
Хранение
  • Keychain
  • UserDefaults
  • Codable
Сборка
  • Swift Package Manager
  • GitHub Actions
  • codesign
  • Звуки отклика не системные: три коротких тона синтезируются в коде синусом и сохраняются в WAV при первом использовании.
  • Один замер уровня микрофона раз в 33 мс рисует волну на плашке из 18 столбиков и решает, был ли голос: тихая запись в сеть не уходит.
  • Ключ OpenAI читается из Keychain только в момент запроса, поэтому macOS не спрашивает пароль при запуске.
  • Язык интерфейса и встроенных промптов меняется на лету: окна, меню и плашка перерисовываются без перезапуска.

Контакт

Открыт к новым проектам и предложениям о работе. Проще всего — почтой или в Telegram.

hello@alexandr.sh·GitHub·Telegram

Резюме · PDFCV in English · PDF