• Tracking Drift to Monitor LLM Performance

  • Dec 12 2024
  • Durée: 12 min
  • Podcast

Tracking Drift to Monitor LLM Performance

Écouter gratuitement

Voir les détails du balado

  • Résumé

  • In this episode, we discuss how to monitor the performance of Large Language Models (LLMs) in production environments. We explore common enterprise approaches to LLM deployment and evaluate the importance of monitoring for LLM quality or the quality of LLM responses over time. We discuss strategies for "drift monitoring" — tracking changes in both input prompts and output responses — allowing for proactive troubleshooting and improvement via techniques like fine-tuning or augmenting data sources.

    Read the article by Fiddler AI and explore additional resources on how AI observability can help developers build trust into AI services.
    Voir plus Voir moins
Voir plus Voir moins

Ce que les auditeurs disent de Tracking Drift to Monitor LLM Performance

Moyenne des évaluations de clients

Évaluations – Cliquez sur les onglets pour changer la source des évaluations.

Évaluations sur Audible.ca

Évaluations sur Amazon.ca
Il n'y a pas encore de critiques pour ce titre.