Comment tout a commencé
Une semaine d’appels, et les notes ne suivaient plus.
Patum a commencé comme un outil que je m’étais fait, dans un nouveau poste. Voici comment il est devenu une app, et pourquoi il fonctionne comme il fonctionne.
Un nouveau poste
Je venais d’entrer dans une entreprise bien établie, et les appels ont commencé dès le premier jour, sur Google Meet et dans des huddles Slack. Derrière chacun, il y avait des années de décisions, et la plupart étaient écrites quelque part dans Confluence. Les pages étaient là ; le temps de les lire, non. Je voulais bien faire mon travail, alors je lisais le soir, et j’arrivais quand même dans les appels avec un temps de retard.
Les étagères
Ce qui m’a aidé en premier, c’est Obsidian. J’ai rassemblé dans un coffre tout ce qui était déjà écrit et je l’ai fait ranger par des modèles locaux sur des étagères : un dossier pour chaque projet, chaque client et chaque personne. Avoir un seul endroit où chercher a changé mes matinées. Une question posée pendant un appel trouvait sa réponse le soir même, sur l’étagère.
Puis sont venus les appels : deux ou trois par jour, entre deux tâches de développement. On y décidait des choses qui ne figuraient dans aucun document. Je comptais mettre chacun par écrit après coup, et après coup, il y avait du code à écrire. Le jeudi, ce que nous avions convenu le lundi n’était plus qu’une ligne dont je me souvenais à moitié, et les appels de la semaine se confondaient. Personne ne peut tenir ce rythme à la main et faire son travail en même temps.
L’idée était donc modeste : enregistrer l’appel, et le ranger sur les mêmes étagères que tout le reste.
L’idée en une image : la note de l’appel va sur la même étagère que les pages sur le même projet, le même client ou la même personne.
D’abord pour moi
Je l’ai fait pour moi. Je connaissais les assistants de notes dans le cloud et les bots qui rejoignent une réunion à votre place, ainsi que les apps de dictée qui transforment la parole en texte. Ni les uns ni les autres ne correspondaient à ce que je cherchais : je voulais l’enregistrement sur mon propre Mac, sans personne d’autre dans l’appel, et des notes assez bien organisées pour que je puisse travailler à partir d’elles. Le projet a grandi à partir de là, et à un moment, j’ai décidé de l’écrire proprement, pour une seule plateforme.
Le Mac offre beaucoup à une app, si elle est faite pour lui. Il peut prendre le son d’une app d’appel sur une piste et le micro sur une autre, sans aucun bot dans l’appel. Il connaît le calendrier, donc les personnes de l’appel ont un nom. Il a l’app Rappels, donc une action arrive là où vous la verrez. Il a un Neural Engine pour la transcription et un GPU pour les modèles de langage. Patum utilise ce que macOS offre, et ne tourne nulle part ailleurs.
Les modèles locaux
C’est sur les modèles que le travail a été le plus long. On ne fait pas tourner quelque chose d’énorme sur un portable, et un modèle qui tient en quelques gigaoctets n’écrit pas comme les grands modèles du cloud. Il peut pourtant bien plus qu’il n’y paraît, si l’on cesse de lui demander d’avoir raison du premier coup.
Patum ne se fie donc pas à la parole du modèle pour une note. Il lit d’abord la transcription pour en tirer une liste de faits, chacun avec la seconde et l’intervenant d’où il vient. Il rédige la note avec cette liste à côté. Puis du code vérifie le résultat : un nombre absent de la transcription est retiré, une date que le modèle a devinée est laissée vide, une décision de la liste que la note a oubliée est proposée de nouveau, et chaque ligne est relue par rapport aux lignes de la transcription dont elle vient, pour que la bonne personne soit nommée. Les faits qui restent sont soulignés dans la note, et chacun ouvre le moment où il a été dit. Il a fallu beaucoup d’essais et plusieurs approches pour en arriver là, et il en faut encore à chaque changement de modèle.
L’équipe a convenu de livrer la migration de la file derrière un flag le 3 nov. et de garder l’API v1 jusqu’en janvier. Reste à savoir qui mène le test de charge du premier trimestre.
Cliquez sur un fait souligné pour voir qui l’a dit, et quand. Les vérifications sont du code, pas la parole du modèle.
Qui a dit quoi
L’autre gros morceau a été de distinguer les personnes dans un appel. Les modèles prévus pour cela sont bons avec quelques voix et s’arrêtent à un nombre fixe : quatre pour l’un de ceux que j’ai essayés, huit pour celui qu’utilise Patum. Dans une réunion plénière, la neuvième personne n’a nulle part où aller.
Patum fait plutôt tourner le modèle sur des fenêtres de soixante secondes de l’appel, et un second modèle relie les voix d’une fenêtre à l’autre d’après leur timbre. Dans une fenêtre, il y a au plus huit voix. Sur l’ensemble de l’appel, il n’y a pas de limite. Sur mes propres réunions, et sur des réunions plénières où quinze personnes prenaient la parole, c’est ce qui a tenu. Dans un appel, votre micro est une piste à part, donc vos paroles ne sont jamais attribuées à quelqu’un d’autre.
Une fenêtre contient au plus huit voix. L’appel contient autant de personnes qu’il y en a.
Ce qu’il est aujourd’hui
Patum est toujours l’outil de ce nouveau poste : enregistrer l’appel, écrire une note que je peux vérifier, la ranger sur l’étagère. Il tourne sur votre Mac, et vos enregistrements et vos notes y restent, sauf si vous en décidez autrement.
Nikita Orobenko
La page « Comment marche Patum » montre chacune de ces étapes telle qu’elle est aujourd’hui, et ce qui quitte votre Mac.