Zoptimizer: Verbesserungen an einem Buchhaltungsagenten testen
Ein Ablauf, der wiederholte Arbeit in Zaitgeist aufspürt und Änderungen sowohl auf ihre Bearbeitungszeit als auch auf die Qualität der Buchhaltung prüft.
- Beitrag
- AI-Systemdesign · LLM-Benchmarking · Agentenoptimierung
- Personen
- Baran GüneyselInteraction Designer
- Julien EudineML-Ingenieur
Verstehen, wo die Zeit bleibt
Zoptimizer untersucht, wie Zaitgeist Buchhaltungsaufgaben erledigt. Dazu analysiert es die während eines Durchlaufs ausgeführten Schritte, identifiziert potenziell vermeidbare Arbeit und prüft eine vorgeschlagene Änderung im Vergleich zur ursprünglichen Version.
Ziel ist es, Wartezeiten zu verkürzen, ohne mehr Buchhaltungsaufgaben unerledigt zu lassen. Zeit und Qualität werden gemeinsam bewertet. Dabei gelten von einem Vergleich zum nächsten dieselben Messregeln.
Untersuchung von Doppelarbeit
Ein Agent könnte beispielsweise bei der Bearbeitung eines Belegs dieselben Informationen mehrmals abrufen. Zoptimizer kennzeichnet diese Wiederholungen, sodass ein Vergleich klären kann, ob ein einziger Abruf ausreichen würde.
Ausserdem wird nach nacheinander durchgeführten Prüfungen gesucht, die möglicherweise zusammengefasst werden könnten. Da einige Schritte von früheren Antworten abhängen, ist das Zusammenfassen eher eine Möglichkeit, die es zu prüfen gilt, als eine automatische Verbesserung. Aufzeichnungen früherer Versuche dokumentieren, was ausprobiert wurde und ob und warum es geholfen hat oder gescheitert ist.
Die Änderung anhand derselben Arbeit überprüfen
Sowohl die ursprüngliche als auch die modifizierte Version verarbeiten denselben Belegstapel in separaten, temporären Büchern, die von den aktiven Unternehmensunterlagen getrennt sind. Der Vergleich untersucht, wie lange sie dafür jeweils benötigen und welche Aufgaben sie dabei erledigen.
Eine Version, die zwar schneller fertig ist, aber mehr Belege ohne zugeordnete Einträge hinterlässt, besteht diese Qualitätsprüfung nicht. Auch doppelte Einträge und Verarbeitungsfehler werden verglichen. Abweichungen in den Büchern werden anhand der Belege überprüft, um zu beurteilen, ob ein geänderter Eintrag besser, schlechter oder gleichwertig ist.
Ein erfolgreicher Vergleich bezieht sich ausschliesslich auf die Situationen in diesem Belegstapel. Er kann keine Aussage darüber treffen, wie der Agent mit Buchhaltungsfragen umgehen wird, die nicht Teil des Tests waren. Vorgeschlagene Änderungen müssen vor ihrer Umsetzung geprüft werden. Jede behauptete Zeitersparnis erfordert wiederholte Tests und eine Überprüfung der Buchhaltung.