Wie es anfing
Eine Woche voller Gespräche, und die Notizen blieben auf der Strecke.
Patum fing als etwas an, das ich in einem neuen Job für mich selbst gebaut habe. Hier steht, wie daraus eine App wurde und warum sie so arbeitet, wie sie arbeitet.
Ein neuer Job
Ich hatte bei einem etablierten Unternehmen angefangen, und die Gespräche begannen am ersten Tag, in Google Meet und in Slack-Huddles. Hinter jedem standen Jahre an Entscheidungen, und die meisten waren irgendwo in Confluence aufgeschrieben. Die Seiten waren da, die Zeit, sie zu lesen, nicht. Ich wollte die Arbeit gut machen, also las ich abends und war in den Gesprächen trotzdem einen Schritt hinterher.
Regale
Zuerst half mir Obsidian. Ich holte alles, was schon geschrieben war, in einen Vault und ließ es von lokalen Modellen in Regale sortieren: ein Ordner für jedes Projekt, jeden Kunden und jede Person. Einen Ort zum Nachsehen zu haben, veränderte meine Vormittage. Eine Frage aus einem Gespräch ließ sich noch am selben Abend beantworten, aus dem Regal.
Dann kamen die Gespräche: zwei oder drei am Tag, zwischen der Entwicklungsarbeit. In ihnen wurden Dinge entschieden, die in keinem Dokument standen. Ich wollte jedes hinterher aufschreiben, und hinterher war Code zu schreiben. Am Donnerstag war das, was wir am Montag vereinbart hatten, nur noch ein Satz, an den ich mich halb erinnerte, und die Gespräche der Woche waren ineinander verlaufen. Das hält niemand von Hand durch und macht dabei noch seine Arbeit.
Die Idee war also klein: das Gespräch aufnehmen und in dieselben Regale sortieren wie alles andere.
Die Idee in einem Bild: Die Notiz eines Gesprächs kommt ins selbe Regal wie die Seiten über dasselbe Projekt, denselben Kunden oder dieselbe Person.
Zuerst nur für mich
Ich baute es für mich selbst. Ich kannte die Cloud-Notetaker und die Bots, die an Ihrer Stelle einem Meeting beitreten, dazu Diktier-Apps, die Sprache in Text verwandeln. Keins von beidem war, was ich suchte: Ich wollte die Aufnahme auf meinem eigenen Mac, ohne dass sonst jemand im Gespräch war, und Notizen, die gut genug geordnet waren, um damit zu arbeiten. Von da an wuchs es, und irgendwann beschloss ich, es richtig zu schreiben, für eine einzige Plattform.
Der Mac gibt einer App viel, wenn sie für ihn gebaut ist. Er kann den Ton einer Anruf-App auf einer Spur aufnehmen und das Mikrofon auf einer anderen, ohne Bot im Gespräch. Er kennt den Kalender, darum haben die Leute im Gespräch Namen. Er hat die Erinnerungen, darum landet eine Aufgabe dort, wo Sie sie sehen. Er hat eine Neural Engine für die Transkription und eine GPU für die Sprachmodelle. Patum nutzt, was macOS bietet, und läuft nirgendwo sonst.
Lokale Modelle
Am längsten dauerte die Arbeit an den Modellen. Auf einem Laptop lässt sich nichts Riesiges ausführen, und ein Modell, das in ein paar Gigabyte passt, schreibt nicht wie die großen in der Cloud. Es kann trotzdem weit mehr, als es scheint, wenn man aufhört, von ihm zu verlangen, im ersten Durchgang richtig zu liegen.
Deshalb verlässt sich Patum bei einer Notiz nicht auf das Wort des Modells. Es liest aus dem Transkript zuerst eine Liste von Fakten, jeden mit der Sekunde und dem Sprecher, von denen er stammt. Die Notiz schreibt es mit dieser Liste daneben. Dann prüft Code das Ergebnis: Eine Zahl, die nicht im Transkript steht, wird entfernt, ein Datum, das das Modell geraten hat, wird leer gelassen, eine Entscheidung aus der Liste, die in der Notiz fehlt, wird wieder vorgeschlagen, und jede Zeile wird mit den Zeilen des Transkripts abgeglichen, aus denen sie stammt, damit die richtige Person genannt wird. Die Fakten, die das überstehen, sind in der Notiz unterstrichen, und jeder öffnet den Moment, in dem er gesagt wurde. Bis dahin brauchte es viele Versuche und mehrere Ansätze, und bei jedem Wechsel des Modells braucht es sie wieder.
Das Team hat vereinbart, die Queue-Migration hinter einem Flag am 3. Nov. auszuliefern und die v1-API bis Januar zu behalten. Wer den Lasttest im ersten Quartal übernimmt, ist noch offen.
Klicken Sie auf einen unterstrichenen Fakt, um zu sehen, wer ihn wann gesagt hat. Die Prüfungen sind Code, nicht das Wort des Modells.
Wer was gesagt hat
Das andere lange Stück Arbeit war, die Leute in einem Gespräch auseinanderzuhalten. Die Modelle dafür sind gut mit wenigen Stimmen und hören bei einer festen Zahl auf: vier bei einem, das ich ausprobiert habe, acht bei dem, das Patum nutzt. In einer Town Hall bleibt für die neunte Person kein Platz.
Patum lässt das Modell stattdessen auf Zeitfenstern von sechzig Sekunden laufen, und ein zweites Modell verbindet die Stimmen über die Fenster hinweg nach ihrem Klang. In einem Fenster sind es höchstens acht Stimmen. Über das ganze Gespräch gibt es keine Grenze. Bei meinen eigenen Meetings und bei Town Halls, in denen fünfzehn Leute sprachen, hat das gehalten. In einem Gespräch ist Ihr Mikrofon eine eigene Spur, deshalb werden Ihre Worte nie jemand anderem zugeschrieben.
Ein Fenster fasst höchstens acht Stimmen. Das Gespräch fasst so viele Menschen, wie daran teilnehmen.
Was es heute ist
Patum ist immer noch das Werkzeug aus jenem neuen Job: das Gespräch aufnehmen, eine Notiz schreiben, die ich prüfen kann, sie ins Regal stellen. Es läuft auf Ihrem Mac, und Ihre Aufnahmen und Notizen bleiben dort, solange Sie nichts anderes wählen.
Nikita Orobenko
Auf „So funktioniert Patum“ sehen Sie jeden dieser Schritte, wie er heute ist, und was Ihren Mac verlässt.