Praxistipp: Open-Source LLMs auf Zephyr OS Finetunen
Wir fine-tunen ein Open-Source-LLM auf Zephyr OS, um unsere Embedded-Entwicklung zu unterstützen. Dafür wird ein eigener Python-Crawler (ki-data-crawler) eingesetzt, der die gesamte Zephyr-Dokumentation in JSONL-Dateien sammelt. Das Fine-Tuning erfolgt später auf einem Apple M4 Max mit 128GB Unified RAM unter Nutzung von Hugging Face Tools und MLX. Trotz Herausforderungen wie Parsing-Problemen und robots.txt-Regeln strebt das Projekt ein robustes und effizientes LLM für interne Nutzung als Chat-Agent an.