Neues und Altes aus der Softwareprogrammierung

Peanuts-Soft

    🧠 Token sparen mit TOON: Wie du Large Language Models effizient fütterst

    Jörg Reck  November 17 2025 08:02:37 AM
    In der Welt der KI zählt jeder Token. Promptkosten steigen mit jedem Zeichen, jeder Klammer, jedem redundanten Schlüssel. Wer mit LLMs arbeitet – ob für RAG, Chatbots oder semantische Suche – sollte sich fragen: Wie komprimiert ist mein Input?
    Willkommen bei TOON – Typed Object Notation. Ein kompaktes Datenformat, das JSON den Kampf ansagt und deine Tokenrechnung drastisch senken kann.

    🚀 Was ist TOON?
    TOON ist eine minimalistische Alternative zu JSON, entwickelt für Token-Effizienz bei KI-Modellen. Es verzichtet auf überflüssige Anführungszeichen, Klammern und Schlüsselwiederholungen.
    Beispiel:
    // JSON
    {
     "name": "Joerg",
     "role": "Architect",
     "skills": ["C#", "Automation", "Schema.org"]
    }
    // TOON
    n:Joerg,r:Architect,s:[C#,Automation,Schema.org]
    Das spart Tokens – und damit bares Geld.

    📉 Token-Einsparung in Zahlen
    Ein typischer JSON-Objektbaum kann 30–50 % mehr Tokens verbrauchen als sein TOON-Pendant. Bei GPT-4-Turbo oder Claude 2.1 summiert sich das schnell:
    Format
    Tokens
    Kosten (GPT-4 Turbo)
    JSON 1200 ca. 0,0036 $
    TOON 800 ca. 0,0024 $


    👉 Bei 1 Mio Requests sind das über 1000 $ Unterschied.

    🛠️ TOON in der Praxis

    1. Prompt-Design
    Nutze TOON für strukturierte Daten in Systemprompts, RAG-Contexts oder Tool-Calls. Beispiel:
    u:Joerg,t:Consultant,s:[C#,Schema.org,Automation]
    2. Konvertierungsskripte
    Erstelle ein C#- oder Python-Skript, das JSON → TOON transformiert. Ideal für Preprocessing in Pipelines.
    3. Schema.org & SEO
    Nutze TOON als kompakten Zwischenschritt für schema.org-Markup, bevor du es in JSON-LD ausspielst.
    4. Benchmarking
    Teste TOON vs. JSON mit deinem Embedding-Modell (z. B. OpenAI, Cohere, HuggingFace). Du wirst überrascht sein, wie viel semantische Qualität du mit weniger Tokens bekommst.

    🧩 TOON + Vektor-Datenbanken
    TOON eignet sich hervorragend für semantische Chunking-Strategien:
    • Kürzere Chunks = mehr Kontext pro Request
    • Weniger Tokens = schnellere Retrievals
    • Klarere Typisierung = bessere Embeddings

    🧠 Fazit: Weniger ist mehr
    TOON ist kein Gimmick – es ist ein strategisches Werkzeug für KI-optimierte Workflows. Wer LLMs effizient einsetzen will, sollte seine Datenformate überdenken. JSON war gestern. TOON ist die Zukunft.