Ideogram 2.0 | cerebras Hardware | Wöchentliche KI NEWS

Intro herzlich willkommen zu den K News im developers Club diese Woche leider zwei Tage später aufgenommen weil ich mir Urlaub genommen habe dafür kann Steve diese Woche nichts aber ST du hast sichich ja informiert duest zwei Tage mehr Zeit wahrscheinlich gibt's dann auch mehr Themen was war denn los so die letzte Woche ich habe einfach stärker gefiltert aber lass uns mal drauf schauen also wir haben wieder mal ein Text to image Modell idiogram sagt im ein oder anderen Text-to-Image-Modell: Ideogram 2.0 vielleicht was vor ein Jahr waren das die allerersten die zuverlässig Text auf Bildern da stellen konnten also wenn wir irgend ein Bild nehmen da kommt ein Text vor das hat er ganz lang gar nicht gut geklappt ja das war war so Buchstabensalat wie in der ersten Klasse ja ich erere mich an die alrift an die alienrift ja das war das war schrecklich das war die ersten die das gut geschafft hab mlerweile kann das fast jedes text to image Modell und die neuestes Modell rausgebracht die 2.0 man kann sich da auch anmelden ich habe wieder meine Eule die aus dem Wasser auftaucht das erste was auffällt ist ist sehr realistisch also ist nicht so cartoonmäßig s alles sehr realistisch ich habe auch die die Stadt in der Blume habe ich gemacht und hier unten hatte ich auch die Eule würdest du damit Diagramme generieren ja mach mal ein Diagramm vielleicht so ein Flowchart irgendwie wann benutze ich WD40 das erste was du siehst die generieren immer vier und das Interessante ist hier auch man sieht auch den Prozess gleich mal schauen ob man ob sie zeigen kurz bevor das Bild fertig ist sieht man noch so ein verrauschtes Bild das dann schärfer wird also selbst in dem Prozess jetzt gerade ist es noch komplett schwarz es kommt immer drauf an wie es gerade in der aber jetzt siehst du so verrauschtes Bild ja das ist noch nicht fertig und das wird dann immer klarer und dann wenn es fertig ist hat man quasi die die richtigen Bilder ah ja also man kann alles gut lesen macht es Sinn ist it Rusty ja bisschen verwirrend aber man kann den Text eigentlich überalllesen und es sieht nach einem ganz normalen Diagramm aus cool also wenn du hier natürlich jetzt Ire den Flow vorgibst dann wir wird es schon anders ausen sagst hier oben steht das dann kommt das dann dann wäre der Flow natürlich auch sinnvoll jetzt hat sichas aus den Finger gesaugt und ich habe mir gedacht das seh unübersichtlich mit diesen ganzen Text Image Modellen da kommt einfach anderen raus es gab ein Youtuber den Matthew brman der hat auf einem Board mal die verschiedenen nebeninander gestellt über den gleichenom gegeben 2.0 ist jetzt das was wir gerade gemacht haben und flux hatten wir jetzt vor kurzem angeschaut über Croc ist es allerdings nicht das stärkste Modell und Image in 3 ist das von Google also das sind die drei großen neuen Image in 3 FLX ist komplett Open Source zumindest die schwächeren das stärkste Modell geht nurüber die API und idogram 2 und wenn man jetzt so sich umhört umschauen Newslettern dann ist gerade idogram 2 das stärkste Modell okay ja also es gibt ja auch wirklich fast jede Woche da ein neues Modell also es ist ja ein superer Turnaround ja ist das Turnaround ist das das richtige Wort ich weiß gerade gar nicht aber es gibt auf jeden Fall immer neue ja wir wissen was du meinst moving on zu den sprachmell grck das kennen wir ja wer jetzt das erste cerebras Hardware mal dabei [Musik] ist was ist besonders an der pH das Besondere die Speed also mach die unheimlich schnelle Geschwindigkeit und das war jetzt das das klein also man kann auch auswählen die Modelle das war das kleine Modell das ist grock warum bring ich das mit es gibt Konkurrenz die sagt die sind noch schneller als grock und das ist cerebras eine Firma die auch harter produziert und die haben sich hier hingestellt und gesagt okayck hat im Schnitt 750 wir haben jetzt gerade 100 gesehen aber das ist tatsächlich schwankend und meistens hat man dann auch so 750 bei grck mit dem kleinen Lama Modell die sagen sie schaffen 1800 im Schnitt und wie schaffen Sie das da haben sie auch so ein kleinen Block geschrieben so ein erklärblog und zwar ist es so es gibt hier quasi eine Speicher da liegt das ganze Modell drin mit den ganzen verschiedenen Schichten und dann gibt's halt irgendwo die recheninheit die dann irgendwas ausrechnet das muss alles über so eine Speicherbandbreite muss üüber Netzwerk halt gehen aber das also von dem Speicher bis zum recheneinhalt und das Problem ist das halt sehr langsam das haben sie hier gezeigt das ist irgendwie 3 TB aber die Speicherbandbreite auf der rechit selbst GPU CPU ist Hal unheimlich schnell ja ir petabte was die jetzt gemacht haben bei denen bei denen ist das 21 petabte pro Sekunde wie also der die compuinheit kann mit 21 PAB die Sekunde aus dem Speicher rauslesen bei denen ja genau das ist jetzt nicht so die haben einfach den die Memory abgeschafft die hab einfach alles direkt in der recheninheit gespeichert also stell dir vor du hast quasi keinen keinen RAM sondern du hast nur die CPU und alles was du brauchst lädst du direkt in die CPU okay aber das bedeut eine GPU aber die haben wirklich alles direkt dort wo berechnet wird haben die das schon geladen und deine recheninheit selbst ja auch einen Speicher und der ist generell mega schnell als die haben jetzt keinen schnellen Speicher erfunden sondern die geh einfach schneller Speicher der Trick ist jetzt dass sie hier aus dem Speicher das Modell eigentlich hier rüber geschoben haben in diese kleine Box rein okay also die haben den Speicher näher an die computeinheit gebracht und können dadurch die Verbindungsgeschwindigkeit erhöhen okay ist St limitiert weil da passt nicht so viel rein ja das heißt das ist klar die haben jetzt hier Desh haben die auch das kleinste Modell das das 8b die können ja nicht so 70b Modell in den Speicher hier reinladen weil das Hal einfach nicht groß genug ist also die haben eine Innovation auf Hardware Ebene wirklich gemacht was ja grock auch gemacht hat ganz am Anfang nicht war also als ja genau genau und das ist schon ziemlich krass wenn du überlegst ja mit so ungefähr Verdopplung vielleicht sogar bisschen mehr zu dem was eigentlich bisher schon das absolut schnellste ist und das drittbeste ist ja dann noch mal großer großer Abstand dazwischen ja das ist schon ziemlich cool okay moving on dann haben wir habe ich noch ein Benchmark mitgebracht hier so fragen kannst du mal durchlesen Benchmark für Sprachmodelle: Reasoning-Fähigkeiten vielleicht so die Frage Frage 2 die Frage z irgendjemand B places for ice cubes in the frying pan dann in the first minute den five Start auf the second Minute also nach einer Minute W noch fünf weitere Eiswürfel dazu gelegt und dannkegt bisschen Zeit und so weiter und am Schluss fragt sie dann at the end of the third Minute wie viele von diesen eisffel sind den noch übrig genau gen Frage und hier ist es halt so eine typische Knobelaufgabe wo man extra zu viele Informationen gibt der springende Punkt ist wenn man ja Eiswürfel in so einer frying pan also eine heiße Pfanne rein in in der heiße Pfanne rein macht dann schmelzen die einfach das heiß das sind Null übrig al die richtige Antwort ist C0 m und was hier jetzt quasi ganz schwer ist fürs Sprachmodell die sprachmodelle gehen immer über über die Form das die sehen hier von der Form ist das irgendeine Aufgabe da muss ich was ausrechnen und dann fangen die einfach an zu rechnen und was man eigentlich möchte ist ja smarte Systeme die sich nicht durch so eine Form reinlegen dasen die das wirklich innerlich sich anschauen überlegen okay das ist eine heiße Pfanne Eiswürfel die schmelzen also sind Null hier oben übrigens auch so eine trickfrage Cookies und dann irgendwelche irgendwche Mädchen mit verschiedenen farbenen hüten und die essen dann und das eine Mädchen ist halt dreiook ist keiner mehr übrig für das andere Mädchen ja das heiß die kann da kein kckim Essen aber wenn man einfach nur so die Frage anschaut denkt man wie eine Rechenaufgabe und dann lässt man sich leicht reinfallen und da gibt es quasi eine Person die hat so ein Benchmark erstellt der close source das sind ja nur Beispiel Aufgaben und hat dafür ein Leaderboard erstellt das ist sehr interessant weil man das sieht so ein Mensch also Muttersprachler der in Englisch halt Muttersprachler ist der schafft ir 90% der fällt da nicht drauf rein der sieht da die eiswiürfchmelzen und die stärksten Modelle schaffen ungefähr so 30% also großer Unterschied und das ist ein reiner Text Benchmark also es geht jetzt nicht darum noch um irgendwelche Bilder zu erkennen oder multimodalitäten oder irgendwas das reiner Text Benchmark und das ist schon erstaunlich dass die Modelle so schlecht sind und was noch viel interessanter sind ist die Hierarchie das sieht man hier so wenn du dasi anschaust was sehr schnell ist das schafft nur 5% GB die 16 GB die für Turbo besser als GB das heißt dies Benchmark versucht dieses reasoning abzubilden also wie gut können die Systeme denn eigentlich Zusammenhänge erkennen und gehen nicht einfach nur nach blind nach da habe ich ein Muster erkannt das wen ich dieses Muster an ja ich finde das wirklich also wenn man die sprachmodelle benutzt dann sieht man echt schnell dass so die Syste denken okay ich habe hier Muster a vorliegen bei Muster a erwarte ich diese Antworten und dann spuckt es mir einfach eine Antwort aus obwohl es eigentlich gar nicht so richtig ist im Kontext ja das zeigt dieses Leaderboard echt stark und was S auch gut das bildet auch so diesen vibecheck ab es gibt im neues Modell raus und vibecheck man wir wendet ein Modell so ein zwe Tage fühlt sich gut an und 35 sonet ist tatsächlich auch aus meiner Perspektive das stärkste was wir gerade haben und das ist auch der allgemeine Konsens ja das heißt auch wenn das im Benchmark irgendwo mu vielleicht zwei Punkte schlechter ist als ir das andere Modell ist 3 son einfach das smartest das wir gerade haben und das ist hier auch gut abgebildet mhm obwohl es da auch nur sehr kleine Unterschiede gibt also zumindest in diesem Leaderboard aber klar dann so der persönliche Eindruck ist natürlich auch super wichtig bei sprachmodellen ja aber interessant ist hier die meisten gehen auf gpt4 weil das günstig ist schnell und das Neueste von Open ey das nur 16% und das 4o ist halt so eine destillierte Version also wenn das schneller ist hab die wahscheinlich auch bisschen kleiner gemacht und auf diesen wenn man nur diese trickwagen nimmt ist Hal schlechter musst deutlich genau deutlich aber hast du diesen Use Case ja also wenn du jetzt trotzdem n Texte zusammenfassen lässt ist 4 vielleicht sogar mindestens genauso gut vielleicht sogar besser als 35 sonet es geht hier wirklich nur um den einen Aspekt dass man halt nicht auf diese trickfragen reinfällt ja ja wir hatten ja einmal in einer anderen Folge besprochen wie glaube ich lmcis verschiedene sprachmodelle kombiniert um dann die Stärken von allen zu destillieren ja ja das ist dann da müss man dann sowas wahrscheinlich verwenden Skalierung von KI-Modellen bis 2030 ja genau ich noch interessanten Blogpost eine Abschätzung wie stark können wir denn skalieren bis 2030 was ist denn so das Limit und wir schauen Ergebnis wir haben nicht so Zeit aber die haben sich verschiedene Sachen angeschaut Energie dann Chips Daten und latency und da haben sie geschaut was ist denn realistisch möglich mit so einem Fehlerbalken bis also in den nächsten fün oder 6 Jahren und das sieht man hier so die die Power also die Energie D kan ungef so ein Faktor 10.000 hier Chips 50.000 Daten 80.000 latency eine Million und dann sagen sie wenn man jetzt 2030 nimmt dann können wir ungefähr vier Größenordnung noch skalieren grö Modell nimmt dann könen vier Größenordnung größer machen die gucken also die sehen jetzt das Power constraint meine meine Systeme und das also das ist dann das Limit also das dann die Chipproduktion data scarcity und laten das ist gar nicht ein okay okay und natürlich ist das hier das Ergebnis W das interessiert wie drauf gekommen sind man kann sich das durchlesen im Detail aber das ist quasi so der Hinweis wir sehen jetzt nicht direkt direkt irgendwo am Ende weil irgendwo ein Bottleneck da ist in einer dieser Modalitäten sondern wir haben da schon noch ein paar Größenordnung vor uns du hat es ja ganz ganz am Anfang gerade hier die den GRG und die andere Firma vorgestellt und die sind ja wirklich auf die latency Wall gegangen also die haben die Latenz runter gekriegt aber jetzt nicht also vielleicht sind die auch in den anderen Kategorien besser aber sie konzentrieren sich zumindest im Moment gerade auf die latency ja dann habe ich am Ende zwei Quellen da könnt ihr jetzt direkt ins duing kommen das eine ist ein Repo das sehr Code Repos interessant ist das klassische R das ist ja irgendwie 80 90% der Use Case aktuell R da gibt's ja Open Source Repo das hier das hat eine ui das hat modular hinten verschiedene Techniken die man kombinieren kann kann man enaen disaen da kann man sich einfach sein sein eigenes persönliches R zusammenbauen und alles halt super einfach Open Source sehr schön aufbereitet das heißt wer in die starten möchte einfach dieses Repo hier Auschecken da kommt man schon sehr sehr weit in sehr sehr kurzer Zeit kann ich damit dann auch direkt irgendein Agenten füttern und dann dem eine Frage stellen wie ein also wenn ich wenn ich z.B in mein Dokumenten suchen will mit einer Lama Instanz oder mit einer mit mit der chgbt API könnte ich das da benutzen hier geht tatsächlich nur ums reine R das heißt du hast irgendwo deine dat möchtest dann eine Frage darauf bezogen stellen dass du ein Agenten hast vielleicht ist das irgendwie dann auch möglich me Open Source du kannst alles hinbien wie du möchtest ist aber jetzt nicht der CE der hier abgebildt werden soll okay aber ja das du sag vielleicht als API das Ergebnis dann ein Agenten zurfügung stellen das kann ich mir schon gut vorstellen also let tüfteln ja aber das wenn du nur den usee hast Chat Dokumente dann musst du gar nichtich tüfteln wenn du sagst du hast aber jetzt möchtest das wieder in andere Systeme rein führen da musst du halt bisschen tüfteln ne das letzte ist in Repo das ist auch ziemlich viral gegangen 60.000 Sterne und das ist einfach von Microsoft der gener V beginners und das gab's schon mal das ist Version 2 und die haben dort eigentlich sehr sehr ausführlich wir scoll mal schon runter zu den lessons also verschiedene chapters Kapitel da immer ein Video zu dann Aufgaben zum Üben und da kann man sich einfach mal Schut ist irgendwas relevant für mich das haben die sehr gut aufbereitet sehr hochwertig und wer da Lust drauf hat irgendwo in die Tiefe zu gehen der kann das hier sehr gutun ja manchmal kann das ähm echt echt sehr sehr ähm das über das überwältigt einen manchmal weil es gibt ja mittlerweile so viele Anwendungen so viel so viel was man lernen kann und muss dass man dann einen schönen fahr hat ja auf jeden Fall vielen Dank draufchauen und sich Hal das raussuchen was für allem selbst am relevantesten ist ja vielen Dank dass du die K News zusammengetragen hast jetzt Hackathon und Abschluss letzte Woche noch bevor bevor wir enden würde ich noch gern sagen es gibt am 27 und am 28 September einen hackeron in bruchsaal die beschäftigen sich mit dem Thema wie baue ich überhaupt meine ai agents also vielleicht ist das ja ganz interessant für euch das ist so in der nähe Karlsruhe Mannheim werden wir natürlich auch verlinken wie natürlich auch die ganzen anderen sources und damit vielen Dank und bis nächste Woche ciao bis dann tschüss [Musik]