Kann ich LLM Pulse vibecoden?

Baue mir eine Messung, ob meine Marke in Modellantworten auftaucht, den Kern von LLM Pulse. Anforderungen:

- Ein Python-Prozess mit Typer, SQLite und httpx. Mehrere Modellanbieter sind erlaubt, jeder mit eigenem Schlüssel aus .env, denn der Vergleich zwischen ihnen ist der Punkt.
- Eine Datei fragen.yaml enthält die festen Fragen, die deine Kundschaft wirklich stellt, dazu deine Marke und die Namen der Wettbewerber.
- Ein Lauf stellt jede Frage an jedes konfigurierte Modell, jeweils mit Temperatur 0 und ohne Verlauf, damit die Läufe vergleichbar bleiben.
- Je Antwort wird gespeichert: der volle Text, welche Marken vorkommen, an welcher Stelle im Text die erste Nennung steht, und welche Quellen genannt werden, falls das Modell welche liefert.
- Die Position der ersten Nennung ist wichtiger als ihr bloßes Vorkommen. Als Dritter in einem Nebensatz genannt zu werden ist etwas anderes als die erste Empfehlung zu sein.
- Ein Verlauf je Frage und Modell über die Zeit, als Tabelle im Terminal und als CSV. Weil Modelle sich ändern, wird das verwendete Modell samt Versionsangabe mitgespeichert.
- Eine Warnung, wenn deine Marke aus einer Antwort verschwindet, in der sie vorher stand, oder wenn ein Wettbewerber neu auftaucht.
- Ein Kostenzähler je Lauf und ein Monatslimit aus der Konfiguration, mit Abbruch statt Überschreitung.
- Deutsch sind Ausgaben, Kommentare und README. Alle Bezeichner bleiben englisch: Befehle, Optionen, Tabellen, YAML-Schlüssel.

Bewusst weglassen:

- Jede Aussage darüber, wie man in Modellantworten nach oben kommt. Das weiß derzeit niemand belastbar.
- Große Fragenmengen. Zwanzig gute Fragen sagen mehr als tausend erzeugte.
- Abfragen von Chat-Oberflächen ohne API. Das verstößt gegen deren Bedingungen.