• Abstracts: NeurIPS 2024 with Weizhu Chen 

  • Dec 6 2024
  • Durée: 8 min
  • Podcast

Abstracts: NeurIPS 2024 with Weizhu Chen 

  • Résumé

  • Next-token prediction trains a language model on all tokens in a sequence. VP Weizhu Chen discusses his team’s 2024 NeurIPS paper on how distinguishing between useful and “noisy” tokens in pretraining can improve token efficiency and model performance.

    Read the paper

    Get the code

    Voir plus Voir moins

Ce que les auditeurs disent de Abstracts: NeurIPS 2024 with Weizhu Chen 

Moyenne des évaluations de clients

Évaluations – Cliquez sur les onglets pour changer la source des évaluations.