[
  {
    "start": 0.0,
    "end": 0.76,
    "text": ""
  },
  {
    "start": 14.52,
    "end": 16.98,
    "text": "Bevor es losgeht, ein Hinweis in eigener Sache."
  },
  {
    "start": 17.56,
    "end": 21.14,
    "text": "Bei Promptzeit ist die KI nicht nur Thema sondern macht auch die Arbeit!"
  },
  {
    "start": 21.68,
    "end": 25.7,
    "text": "Stimmen, Recherche und Redaktion dieses Podcasts sind KI-generiert."
  },
  {
    "start": 26.38,
    "end": 28.58,
    "text": "In diesem Sinne viel Spaß mit der Folge."
  },
  {
    "start": 33.14,
    "end": 38.36,
    "text": "Wer KI im Unternehmen einführen will, denkt zuerst an die großen Namen aus der Cloud."
  },
  {
    "start": 39.1,
    "end": 43.36,
    "text": "Doch für einen wachsenden Teil der täglichen Aufgaben ist das überdimensioniert."
  },
  {
    "start": 44.14,
    "end": 53.66,
    "text": "Kleine frei verfügbare Sprachmodelle laufen inzwischen auf gewöhnlicher Büro Hardware verlassen das Haus nicht und kosten nach der Anschaffung kaum laufendes Geld."
  },
  {
    "start": 54.64,
    "end": 63.12,
    "text": "Für den Mittelstand ist das weniger eine Technik als eine Rechenfrage und der EU-Datenschutz liefert ein zweites, gewichtiges Argument."
  },
  {
    "start": 64.2,
    "end": 68.18,
    "text": "Eine nüchterne Bestandsaufnahme stand Juni, zwanzig."
  },
  {
    "start": 69.46,
    "end": 71.14,
    "text": "Was ein SLM ist?"
  },
  {
    "start": 72.44,
    "end": 84.9,
    "text": "Als Small Language Model – SLM bezeichnet man Sprachmodelle mit grob eins bis vierzehn Milliarden Parametern im Gegensatz zu den siebzig Milliarden und mehr der großen Cloudmodelle."
  },
  {
    "start": 85.94,
    "end": 88.68,
    "text": "Die Grenze ist unscharf und eher praktisch gemeint."
  },
  {
    "start": 89.36,
    "end": 100.18,
    "text": "Ein SLM ist ein Modell, das auf einem einzelnen Arbeitsplatzrechner, einem kleinen Server oder einer einzelnen Grafikarte laufen kann ohne einen Rechenzentrum zu benötigen."
  },
  {
    "start": 101.3,
    "end": 111.98,
    "text": "Fast alle je genannten Modelle sind zugleich Open-Wade – die trainierten Gewichte sind frei herunterladbar so dass das Modell vollständig im eigenen Haus betrieben werden kann!"
  },
  {
    "start": 113.4,
    "end": 117.88,
    "text": "Open-Wade ist nicht gleich bedeutend mit open source im strengen Sinn."
  },
  {
    "start": 118.72,
    "end": 124.6,
    "text": "Trainingsdaten und Code werden meist nicht offen gelegt, die Lizenzen unterscheiden sich erheblich."
  },
  {
    "start": 125.98,
    "end": 137.98,
    "text": "Der Reiz liegt in der Kombination Klein genug für lokale Hardware gut genug für einen Großteil der Standardaufgaben und rechtlich so gestellt dass die Daten das Unternehmen nicht verlassen."
  },
  {
    "start": 138.94,
    "end": 146.0,
    "text": "Damit adressiert die Modellklasse genau die drei Punkte, an denen CloudKI im Dachmittelstand regelmäßig hängt."
  },
  {
    "start": 146.74,
    "end": 151.6,
    "text": "Kosten, Datenschutz und Abhängigkeit von einzelnen US-Anbietern."
  },
  {
    "start": 153.04,
    "end": 155.76,
    "text": "Warum in den letzten Jahren die Wände kamen?"
  },
  {
    "start": 157.12,
    "end": 162.9,
    "text": "Bis vor Kurzem war die Antwort auf «Reicht ein lokales Modell fast immer noch nicht»."
  },
  {
    "start": 163.78,
    "end": 166.0,
    "text": "Das hat sich geändert aus drei Gründen."
  },
  {
    "start": 167.06,
    "end": 176.16,
    "text": "Erstens hat Open-Wade aufgeholt Die offenen Modelle hinken den jeweils besten geschlossenen Spitzenmodellen nur noch um wenige Monate hinterher."
  },
  {
    "start": 177.12,
    "end": 189.02,
    "text": "Das auf Modell-Benchmarks spezialisierte Forschungshaus EPOG AI bezifferte den Abstand im Capabilities Index, im Oktober twenty-fünfundzwanzig, auf rund drei Monate."
  },
  {
    "start": 189.86,
    "end": 195.48,
    "text": "Eine Folgeanalyse für Januar bis Mai zwei tausend sechsund zwanzig kam auf etwa vier Monate."
  },
  {
    "start": 196.62,
    "end": 201.16,
    "text": "Für die meisten Geschäftsanwendungen ist ein Vorsprung von einem Quartal bedeutungslos."
  },
  {
    "start": 201.74,
    "end": 208.72,
    "text": "Die Frage ist nicht, ob ein Modell das absolut Beste ist sondern, ob es die konkrete Aufgabe zuverlässig löst."
  },
  {
    "start": 209.9,
    "end": 220.9,
    "text": "Der Hugging Face Jahresrückblick State of Open Source Spring-Spring-Aufgabe beschreibt die Lücke entsprechend als für Standardaufgaben weitgehend geschlossen."
  },
  {
    "start": 221.98,
    "end": 224.36,
    "text": "Bemerkenswert ist die Verschiebung der Herkunft."
  },
  {
    "start": 225.16,
    "end": 236.62,
    "text": "Die Modellfamilie Quen aus China löste laut Epoch AI im Herbst, zwei Tausend Fünfundzwanzig Metas Lama als meistgeladene Modell-Familien auf Huggingface ab."
  },
  {
    "start": 237.94,
    "end": 244.72,
    "text": "Notiz Open Weight heißt Gewichte frei herunterladbar – nicht zwingend open source."
  },
  {
    "start": 245.5,
    "end": 249.08,
    "text": "Trainingsdaten und Lizenzbedingungen bleiben oft eingeschränkt."
  },
  {
    "start": 249.86,
    "end": 254.38,
    "text": "Lizenz vor dem Produktiveinsatz prüfen besonders bei Gemma & Lama."
  },
  {
    "start": 256.06,
    "end": 260.279,
    "text": "Zweitens sind die Lizenzen geschäftstauglicher geworden, aber nicht einheitlich."
  },
  {
    "start": 260.7,
    "end": 262.5,
    "text": "Und hier lohnt das genaue Hinsehen!"
  },
  {
    "start": 263.54,
    "end": 275.18,
    "text": "Die QUEN-III-Familie und MISTRALS kleinere Modelle stehen unter Apache II.null – also einer echten Freilizenz, die kommerzielle Nutzung ohne Sonderbedingungen erlaubt."
  },
  {
    "start": 276.26,
    "end": 282.36,
    "text": "Microsoft's FIIV-Reihe steht unter MIT-Lizenz ebenfalls unproblematisch."
  },
  {
    "start": 283.64,
    "end": 284.96,
    "text": "Achtung bei Google Gemma."
  },
  {
    "start": 285.96,
    "end": 297.5,
    "text": "Die Gemma-Modelle laufen nicht unter Apache, sondern unter einer eigenen Gema Terms of Use die zwar kommerzielle Nutzung erlaubt aber Nutzungsbeschränkungen enthält."
  },
  {
    "start": 297.88,
    "end": 302.1,
    "text": "Das ist juristisch zu prüfen bevor Gemma in ein Produkt einfließt."
  },
  {
    "start": 303.22,
    "end": 309.76,
    "text": "Auch Metas Lama Lizenz ist eine Community Lizenz mit Auflagen keine reine Apache Lizenz."
  },
  {
    "start": 310.92,
    "end": 318.76,
    "text": "Eine Sonderrolle spielt das europäische Modell Teukensieben B aus dem vom Bund geförderten Projekt Open GPTX."
  },
  {
    "start": 319.9,
    "end": 332.68,
    "text": "Es wurde von Grund auf mehrsprachig in allen vierundzwanzig EU-Amtsstrachen trainiert, rund die Hälfte der Trainingsdaten ist nicht Englisch und die kommerzielle Variante steht unter Apache zwei Punkt Null."
  },
  {
    "start": 333.92,
    "end": 342.08,
    "text": "Für Häuser die Wertauf europäische Herkunft und solide Mehrsprachigkeit jenseits des englischen Legen ist es einen Testwert."
  },
  {
    "start": 342.58,
    "end": 348.76,
    "text": "Bei der Spitzenleistung muss man gegenüber den größeren internationalen Familien Abstriche einkalkulieren."
  },
  {
    "start": 350.12,
    "end": 351.58,
    "text": "Drittens ist die Hardware da."
  },
  {
    "start": 352.66,
    "end": 363.34,
    "text": "Gamas kleine Varianten, etwa Gemma III in der vier Milliarden Größe belegen rund vier Gigabyte Arbeitsspeicher und laufen damit auf einem gut ausgestatteten Notebook."
  },
  {
    "start": 364.32,
    "end": 372.02,
    "text": "VIVIV Mini – drei Komma acht Milliarden Parameter gilt als praktikable Option schon für acht Gigabyte Maschinen."
  },
  {
    "start": 373.06,
    "end": 382.1,
    "text": "Wer mehr Durchsatz braucht, findet seit Ende twenty-fünfundzwanzig Tischgeräte wie NVIDIA's DGX Spark GBC & Chip."
  },
  {
    "start": 382.72,
    "end": 390.18,
    "text": "Einhundert und zwanzig Gigabyte Unified Memory in der EU rund viertausend achthundert Euro stand Februar."
  },
  {
    "start": 390.84,
    "end": 395.28,
    "text": "zwei tausend sechsundzwantig Nvidia Marketplace je nach Partner auch darunter."
  },
  {
    "start": 395.54,
    "end": 395.9,
    "text": "Wichtig!"
  },
  {
    "start": 396.22,
    "end": 402.9,
    "text": "Und in werbetexten meist unterschlagen sind drei Relativierung Versteckte Betriebskosten."
  },
  {
    "start": 403.72,
    "end": 406.92,
    "text": "Eigenbetrieb kostet mehr als nur Strom und Hardware."
  },
  {
    "start": 407.72,
    "end": 416.14,
    "text": "Branchenanalysenveranschlagen für Monitoring, Updates- und Störungsbehebung – zehn bis zwanzig Stunden Engineering Zeit pro Monat."
  },
  {
    "start": 416.76,
    "end": 422.88,
    "text": "Je nach Stundensatz also siebenhundertfünfzig bis dreitausend US-Dollar allein an Personalkosten."
  },
  {
    "start": 428.62,
    "end": 431.62,
    "text": "Wer das nicht einrechnet, vergleicht Äpfel mit Birnen."
  },
  {
    "start": 433.3,
    "end": 434.96,
    "text": "Der Break-even sitzt hoch!"
  },
  {
    "start": 436.04,
    "end": 441.56,
    "text": "Gegen die günstigeren API-Modelle lohnt sich Eigenbetrieb erst bei dauerhaft hohem Volumen."
  },
  {
    "start": 442.26,
    "end": 447.36,
    "text": "Verschiedene Analysen nennen Schwellen im Bereich mehrerer hundert Millionen Token pro Monat."
  },
  {
    "start": 448.16,
    "end": 451.22,
    "text": "Unterhalb davon ist die API oft schlicht billiger."
  },
  {
    "start": 453.1,
    "end": 456.7,
    "text": "Kleines lokales Modell – ungleich großes Cloudmodell."
  },
  {
    "start": 457.88,
    "end": 461.36,
    "text": "Die zitierten Cloudkosten gelten für die großen Spitzenmodelle."
  },
  {
    "start": 462.2,
    "end": 471.02,
    "text": "Ein fairer Vergleich stellt das SLM einem gleich kleinen, günstigen API-Modell gegenüber – dann schrumpft der reine Kostenvorteil!"
  },
  {
    "start": 472.0,
    "end": 479.0,
    "text": "Der eigentliche Mehrwert des lokalen Betriebs liegt dann weniger im Preis als in Datenhoheit und Unabhängigkeit."
  },
  {
    "start": 480.22,
    "end": 491.28,
    "text": "Die belastbare Aussage lautet also bei hohem gleichmäßigem Anfragevolumen Und wenn Datenschutz ohnehin den Eigenbetrieb erzwingt, rechnet sich das lokale SLM klar."
  },
  {
    "start": 492.16,
    "end": 496.62,
    "text": "Bei geringem oder schwankendem Bedarf bleibt die API meist günstiger."
  },
  {
    "start": 498.2,
    "end": 504.54,
    "text": "Die Grafik unten zeigt die Logik schematisch Wofür SLMs reichen und wofür nicht?"
  },
  {
    "start": 505.78,
    "end": 508.42,
    "text": "Die nüchterne Faustregel kommt von den Marktforschern."
  },
  {
    "start": 508.5,
    "end": 524.039,
    "text": "selbst Gartner prognostiziert dass Organisationen bis Kleine, aufgabenspezifische KI-Modelle dem Volumen nach mindestens dreimal so häufig einsetzen werden wie allgemeine große Sprachmodelle."
  },
  {
    "start": 524.84,
    "end": 525.3,
    "text": "Der Grund?"
  },
  {
    "start": 526.14,
    "end": 531.02,
    "text": "Ein sehr großer Teil der Büroaufgaben braucht keine Siebzig Milliarden Modelle."
  },
  {
    "start": 533.0,
    "end": 537.46,
    "text": "Gut geeignet sind SLMs für klarumrissende wiederkehrende Aufgaben."
  },
  {
    "start": 538.7,
    "end": 540.64,
    "text": "Klassifizieren und Verschlagworten."
  },
  {
    "start": 541.66,
    "end": 545.22,
    "text": "E-mail sortieren, Tickets ruten, Dokumente kategorisieren."
  },
  {
    "start": 546.64,
    "end": 549.12,
    "text": "Extrahirn strukturierter Daten aus Texten."
  },
  {
    "start": 550.12,
    "end": 552.88,
    "text": "Rechnungen, Formulare, Verträge auslesen."
  },
  {
    "start": 554.4,
    "end": 558.48,
    "text": "Zusammenfassen und umformulieren von Texten in vorhersehbaren Rahmen."
  },
  {
    "start": 559.86,
    "end": 568.32,
    "text": "Antwortbausteine und Entwürfe im Kundenservice auf interner Wissensbasis – RAG Einfache Code-Hilfen."
  },
  {
    "start": 569.26,
    "end": 574.6,
    "text": "Quenn drei in der sieben Milliarden Klasse gilt als stärkstes kleines Modell für Coderzeugung."
  },
  {
    "start": 576.48,
    "end": 586.58,
    "text": "Schlecht geeignet sind sie für Aufgaben, die breites Weltwissen langes Schlussfolgern über viele Schritte oder höchste Fakten treue ohne Quellenanbindung verlangen."
  },
  {
    "start": 587.58,
    "end": 595.88,
    "text": "Komplexe juristische oder strategische Analysen anspruchsvolle mehrstufige Recherche kreatives Schreiben auf Spitzenniveau."
  },
  {
    "start": 596.8,
    "end": 604.18,
    "text": "Hier bleiben die großen Modelle vorn und für solche Fälle ist eine Cloud-API auch wirtschaftlich oft die richtige Wahl."
  },
  {
    "start": 605.12,
    "end": 611.66,
    "text": "Der pragmatische Weg für den Mittelstand ist deshalb selten ein Entwederoder, sondern ein hybrides Setup."
  },
  {
    "start": 612.56,
    "end": 624.26,
    "text": "Dass lokale SLM für das hohe Volumen an Routineaufgaben mit sensiblen Daten die Cloud API als Reserve für die wenigen Fälle, die wirklich einen Spitzenmodell brauchen."
  },
  {
    "start": 626.04,
    "end": 626.12,
    "text": "So!"
  },
  {
    "start": 626.5,
    "end": 627.76,
    "text": "Das war's mal wieder für heute."
  },
  {
    "start": 628.54,
    "end": 630.14,
    "text": "In der nächsten Folge geht es um"
  },
  {
    "start": 631.28,
    "end": 633.44,
    "text": "Wissensmanagement und RAG."
  },
  {
    "start": 635.0,
    "end": 639.1,
    "text": "Wir hoffen, Sie konnten etwas Nützliches aus der Folge ziehen und sie hören uns wieder."
  },
  {
    "start": 639.96,
    "end": 641.18,
    "text": "Es verabschieden sich Ela..."
  },
  {
    "start": 642.06,
    "end": 642.8,
    "text": "...und Helmut!"
  }
]