Acceptance test-driven LLM development - David Faragó

Software Testing - Qualität, Testautomatisierung & Agilität

Wie ATDD bei der LLM-Entwicklung unterstützt

"Das ist relativ anspruchsvoll. Letzten Endes haben wir ein paar Komponenten. Wir machen zuerst Speech-to-Text und dann auf reiner Textbasis benutzen wir ein Language-Model." - David Faragó

Vorab: Entschuldigt die schlechte Audio-Qualität, das ist uns leider erst im Nachgang aufgefallen. Ich hoffe, der Inhalt tröstet Euch darüber hinweg :-) Die Entwicklung von Large Language Models (LLMs) und die Rolle von Acceptance Test Driven Development (ATDD) sind zentrale Themen in der KI-Entwicklung. David, Experte in der Entwicklung und Qualitätssicherung von KI-basierten Telefon-Bots für Arztpraxen, teilt seine Erfahrungen und Einblicke in diesen Prozess. Die Herausforderungen und Lösungsansätze beim Trainieren und Testen von LLMs, einschließlich der Nutzung von Prompt Engineering und Fine Tuning, werden beleuchtet. Besonders bemerkenswert ist der Ansatz, ATDD-Methoden auf LLM-Entwicklungen anzuwenden, um die Qualität und Effektivität der Modelle zu verbessern. Ein weiterer Fokus liegt auf dem CPMAI-Prozess, der eine moderne Herangehensweise an die Entwicklung und Implementierung von KI-Projekten darstellt.

David ist Deep-Learning-Engineer bei Mediform, spezialisiert auf Fine-Tuning von Large-Language-Models, Prompt-Engineering und Microservices. Nebenbei leitet er QPR Technologies, ein Beratungsunternehmen für innovative Qualitätssicherung, und ist Mitglied des Leitungsgremiums der GI-Fachgruppe Test, Analyse und Verifikation.

Highlights:

• Die neuen Horizonte der KI-Entwicklung
• Die Strategie hinter dem Erfolg: Entwicklung und Testing
• Von Theorie zur Praxis: Acceptance Test Driven LLM Development
• Die Rolle von CPMAI im Entwicklungszyklus
• Die Zukunft der KI-Entwicklung

Danke an die Community-Partner des Podcasts: Alliance for Qualification | ASQF | Austrian Testing Board | dpunkt.verlag | German Testing Board | German Testing Day | GI Fachgruppe TAV | Heise | HANSER Verlag | ISTQB | iSQI GmbH | oop | QS-TAG | SIGS-DATACOM | skillsclub | Swiss Testing Board

Credits: Sound | Grafik

章

1. Willkommen (00:00:00)

2. Die Praxis von LLM im Einsatz für Telefon-Bots (00:02:21)

3. Herausforderungen und Lösungsansätze in der LLM-Entwicklung (00:05:08)

4. Einführung in das Acceptance Test-Driven LLM Development (00:11:29)

5. Der Zyklus der Dialoganalyse und Modellverbesserung (00:14:53)

6. Integration von CPMAI und Machine Learning Best Practices (00:20:07)

7. Einführung in Acceptance Test-Driven LLM-Entwicklung (00:25:14)