Send us a text

Versprechen wir uns nicht alle, dass unsere Sprachmodelle einen Tatsachencheck durchführen könnten? Wäre es nicht ideal, wenn sie Wissen verifizieren könnten? In unserer heutigen Ausgabe nehmen wir uns Zeit, um genau diese Fragen zu beantworten. In einem tiefgreifenden Gespräch über DoLa Decoding, untersuchen wir verschiedene Techniken zur Verifizierung von Faktenwissen und wie Sprachmodelle damit arbeiten können. Unser Fokus liegt auf dem Paper "DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models Chuang et. al. 2023"

Verwendete Papers:
Chuang, Y. S., Xie, Y., Luo, H., Kim, Y., Glass, J., & He, P. (2023). DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models. arXiv preprint arXiv:2309.03883.

Li, X. L., Holtzman, A., Fried, D., Liang, P., Eisner, J., Hashimoto, T., ... & Lewis, M. (2022). Contrastive decoding: Open-ended text generation as optimization. arXiv preprint arXiv:2210.15097.

Hören Sie rein.

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics.

Support the show

Episode 97 - Contrastive Decoding - Fact-Checking in Sprachmodellen?

Knowledge Science - Alles über KI, ML und NLP