The hardware shortage is self-induced by the LLM providers, though - it doesn't reflect actual demand. They're shooting themselves in the foot by making their models bigger and throwing more and more data and compute (and energy and water) at it, for increasingly diminishing returns.
In my opinion, that's not sustainable in the longterm and after the bubble pops, even the code generation ecosystem will change a lot. It's gonna be interesting to see which way of working will survive.
ollama soll wohl schlechtere Performance als llama.cpp haben, wenn man RAM und VRAM kombiniert, aber es gibt viele widersprüchliche Aussagen (und KI-generierte) Artikel die beide miteinander vergleichen.
Selbst getestet habe ich es noch nicht. ollama war am einfachsten für mich aufzusetzen - einfach das Binary (und das AMD rocm-Paket) runterladen, ollama serve eingeben, fertig. Ich benutze ollama mit webstorm als Harness, da kann man das direkt ins KI-Plugin integrieren. Es kann dort wohl auch für Tab Completion genutzt werden, das Feature verwende ich allerdings nicht, da es mehr stört als nutzt.
Leider ein Rückschritt, ich habe mir eine Osram/Ledvance Smart+ RGB-Lampe gekauft und bisher keine App gefunden, die deren Funktionen übernehmen kann.
Die Smart+-App kann zwar auch lokal genutzt werden, nervt aber mit Kontoerstellungs-Popups und man muss dort sein WLAN-Passwort eingeben, was ganz schön shady ist - ich hab nämlich nicht analysiert, ob diese Daten auch irgendwo in eine Cloud gesendet werden.
Es gibt wohl verschiedene Protokolle und Controller-Chips für diese ganzen RGB-Lampen, manche davon lassen sich mit alternativer Firmware flashen, manche nicht und die OSRAM-gebrandeten Lampen sind wohl besonders tricky. Meine läuft wohl mit dem Tuya-Protokoll und man muss erstmal den Key der Glühbirne über die Tuya-Cloud herausziehen, um damit irgendwas machen zu können. Laut einigen Reddit-Posts lassen sich die Osram-gebrandeten Tuya-Birnen jedoch nicht in deren Cloud registrieren. Grrrrrr!
Immerhin kann man sie nach der Einrichtung wieder vom WLAN abkoppeln und sie merkt sich dann die Farbeinstellung. Vielleicht finde ich da noch was besseres.
Es ist nutzbar, aber nicht instant. Ich benutze das Modell qwen3.6:35b (das braucht 24GB VRAM) und nutze es oft, um über ein Projekt zu gehen und mir Verbesserungsvorschläge zu geben.
Die Antworten dauern zwischen 30s bis 5min nachdem man eine Anfrage gestellt hat (und je nachdem wie komplex der Task ist).
So Schnellschuss-Sachen kann man damit also nicht machen, das ist aber auch ganz gut, weil ich kein Vibecoder bin und meine Aufgaben mit Bedacht angehe.
Die Qualität der Antworten ist vergleichbar mit ChatGPT und Gemini. Man merkt, dass der Kontext schneller verlorengeht wenn man im gleichen Thread Folgeanfragen stellt, aber meiner Meinung braucht man eigentlich die großen teuren Abomodelle gar nicht, das kann alles lokal laufen.
Solche Auswüchse wie Loops und 10 Agenten gleichzeitig auf ein Problem draufzuwerfen geht natürlich nicht, das ist aber in meinen Augen eh eine sehr fragwürdige Methode der Softwareentwicklung und wird hoffentlich wieder aussterben (schon allein aufgrund der hohen Kosten).
im Kino werden mehr englische Filme im Originalton gezeigt
Was mich jedes Jahr an der Hansesail nervt:
das laute Kanonenkugelschießen und das dazugehörige Beben der Wände triggert mich hart
Hingehen werde ich nicht, das letzte Mal war ich vor zwei Jahren da und ich hatte das Gefühl, dass der Hafen nur aus Ständen mit vielen alkoholischen Getränken und weiteren Ständen besteht, an denen man Merch kaufen kann. Mach dein Publikum besoffen, damit sie komischen Ramsch kaufen.
Ich wurde an einem Stand sogar angemault, weil ich es gewagt habe, einen O-Saft ohne Bier zu bestellen. 🤣 Die Sonne knallt, wie kann man es wagen, einfach nur durstig zu sein, ohne sich besaufen zu wollen?
Is it, though? Most of OpenAIs customers are free users and outside of the coding sphere there isn't a major usecase for LLMs. When the bubble pops and people will have to pay a lot more for their token usage, a lot of them will just turn away. The free users will never convert to a paid model as well.
Nobody is going to buy that stuff in bulk just to start desoldering chips.
Don't underestimate Chinese vendors doing absolutely everything to turn a profit.
HBM memory can technically be used by consumer GPUs. In 2015, AMD released the Radeon R9 Fury X which used HBM. When the bubble pops and there's an extreme oversupply of HBM sitting in warehouses, we will get those types of GPUs back.
And even if the big players decide not to do it, crazy people in China will build their own products and adapters, they will even desolder HBM from worthless datacentre GPUs.
Either way, it's gonna be glorious for us all. Let's just hold on for a while longer, until all of the dominos have fallen.
That's the one positive thing that came out of this project. :)
Fun fact: The project was also supposed to have a feature where the customer could add new pages with content and then decide where in the main menu those pages should appear.
WordPress internally uses a very basic system for assigning menu items - if you have ten menu items, they have an order that goes from 1 to 10. Number 1 is the first, 10 is the last - very simple (and stupid, because you can't add numbers in between to add new menu items on the fly).
The old fart (or the AI) wrote a system where the customer would just put in a number for the menu order. So if they created a page and then set it to be the fourth item in the menu...there already was a fourth item and WordPress decided at random where to put the menu item instead. Sometimes it was in the correct place. Most of the time it landed somewhere unintended..
What you would actually have to do here is look at all of the menu items, shove the new item into that list and then recalculate all of the numbers and save them. AI was not able to do it, no matter how you prompted it. We tried Gemini, Claude Code, ChatGPT, all of them shit the bed completely.
So there we were - this feature absolutely had to be implemented by a human. I didn't have the time for it, the old fart left and the student was completely useless without chatbots helping him out. That put the project on hold for six months until I was available again, but then I left. Whoopsie!
Fun fact #2: The company eventually went bankrupt because of projects like this and was bought out by a competitor.
Ich hab ein neues Audiodrama angefangen - Midst - und kann das allen, die sehr gut Englisch beherrschen, wärmstens ans Herz legen.
Es gibt eine Menge großartiger, frei verfügbarer Audiodramen da draußen, doch Midst hat mich echt weggeblasen, weil sie stark mit dem typischen Erzählformat brechen.
Es gibt drei Personen (zwei Männer und eine Frau), die die Handlung vorantreiben, den Hörer an die Hand nehmen und sich immer wieder Bälle zuspielen. Wenn eine Person die "Haupthandlung" erzählt, sind wir eigentlich noch im klassischen Audiodrama-Format - doch in Midst gibt es ja noch zwei weitere Erzähler, die manchmal dazuspringen.
Sie geben der Erzählung dann mehr Details, weichen von der Haupthandlung ab um etwas Humor reinzubringen, negieren teilweise sogar das vorherige Gesagte ("She was 13." - "Almost. Twelve and a half.") oder sprechen direkt einen der Charaktere mit einem eigenen Akzent und einer speziellen Betonung, wie richtige...Schauspieler!
Das alles wird mit einem sehr guten Soundtrack und Effekten kombiniert und beides ist sehr professionell umgesetzt. Durch diese Art der Erzählweise schaffen sie es, eine enorme Spannung aufzubauen - und das in jeder einzelnen Episode. Selbst triviale Geschichten (z.B. dass jemand zur Bank geht um ein Konto anzulegen) werden in der gleichen immersiven Erzählweise präsentiert wie Episoden, die einen großen Einfluss auf die Gesamthandlung haben.
Ich habe jetzt mal bewusst darauf verzichtet, zu erzählen, worum es dort überhaupt geht - zum einen, weil ich das einfach nicht gut wiedergeben kann und zum anderen, weil ich es spoilerfrei auch nicht hinbekomme. Aber man kann sagen, dass es sich um eine Fantasygeschichte mit einer Prise SciFi, Horror und Kapitalismuskritik handelt.
Sie selbst beschreiben ihr Projekt so:
The small desert planet of Midst spins on the border between two halves of the cosmos: the dazzling Un and the mysterious Fold. Life is simple for most of the planet’s inhabitants… until an influential civilization known as the Trust takes an interest in Midst and sparks an unexpected chain of events, intertwining the lives of three complicated antiheroes. Also, unrelated to any of that, Midst’s moon is about to fall out of the sky and cause reality to eat itself alive, so that’s not great either. Unsolved murders, cult brainwashing, and supernatural darkness all combine to create a clusterfuck of cosmic proportions.
I work in software development. At one of my jobs i had an elderly colleague with onset dementia, who was causing all kinds of problems.
As a last hurra before going into retirement he wanted to prove to everyone (or better, himself) that he could still do it and code a big application all by himself.
So he decided to take on this project where he would build an intranet portal for a customers internal website...with WordPress.
With the help of AI, he coded a plugin and a theme. Which in itself is not a problem, but he made them depend hard on each other. There were constants defined in the theme that were used in the plugin and the AI did not add any checks, so when you disabled one of the two, the site would just throw an error 500.
When it went live, the customer noticed that only administrators were able to login, any user level lower than that (i.e. all of the customers employees) would just get an error on login.
By then the old fart had decided he was leaving the company, so I received the task to clean that up. He had used two different versions of an external library that were slightly incompatible with each other and depending on a race condition we would get one or the other, the LLM hooked into things that didn't actually exist, functions were duplicated between the plugin and theme, the CSS was 20.000 lines. It was an absolute shitshow and basically unrecoverable.
The funniest thing was that this guy was absolutely proud of his work and anyone who just slightly criticized him for the atrocious code quality just got shouted at loudly.
My boss then hired someone fresh from university to fix that and he just put more AI code into the project, making it even worse.
When I left, the project was still not launched after over a year and the customer was (rightfully so) super pissed-off.
Can't recommend. This is using the old engine under the hood, they only slapped the Unreal engine on top of it for the graphics layer. That means a lot of the old Oblivion bugs and general jankyness are still there.
It's also suffering from microstutters that turn into macrostutters when you're outside in large areas.
Nvidia is doing some real shady stuff, like selling GPUs and then renting them back from the companies they sold them to, which inflates their own value. That money doesn't actually exist, though.
I don't really see this as a problem. These companies don't dictate the direction of the Linux kernel project, there are independent people like Torvalds and Kroah-Hartman at the helm.
The Blender project is also supported by major players like Nvidia, Intel and Netflix and they still work for the wishes of the community and not for those companies.
If JetBrains could spend more time fixing all their broken shit and less time on this, that would be amazing.
After each update of WebStorm I have to manually edit the VM options to enable Vulkan support, otherwise it will render the editor in software mode with ~5fps.
Smooth-scrolling a little bit of text in 2026 seems way too difficult for a commercial project. If AI is so great, why can it not implement that?
JetBrains is just weird. Their plugin for WebStorm technically supports local LLMs, but it defaults to OpenAI models and after each update I have to reconfigure it again to use my own machine instead of a massive datacenter poisoning freshwater.
One time it had a hiccup and couldn't process my input and when I clicked a simple "Resend" button, it just randomly decided to send all of my code into the cloud to be handled by OpenAI instead of my local machine. Thanks, that's totally what I want you fucking morons.
Cloud providers cannot be disabled in the plugin and the "Automatic" setting in the model selection does not mean it'll always use your own local LLM, it just does what it wants.
Their priorities seem pretty clear here - they added support for local LLMs because otherwise they'd piss off legitimate developers, but it's very barebones and the actual focus is on stupid cloud LLM providers like Anthropic and OpenAI. Can't wait for this bubble to burst.
Heute wird man permanent unterbrochen bzw. die Zeitslots in denen man überhaupt arbeiten kann sind zu kurz. Da hilft mir die KI echt weiter um den Überblick zu wahren
"Ich hab keine Zeit mehr, um meine Arbeit vernünftig zu machen, also rotze ich den ganzen Tag Slop raus. Endlich macht mir die Arbeit wieder Spaß (weil ich sie nicht mehr selbst machen muss)"
Was diese Leute wohl tun, wenn die Blase platzt und das Management die Kosten nicht mehr tragen will?
The hardware shortage is self-induced by the LLM providers, though - it doesn't reflect actual demand. They're shooting themselves in the foot by making their models bigger and throwing more and more data and compute (and energy and water) at it, for increasingly diminishing returns.
In my opinion, that's not sustainable in the longterm and after the bubble pops, even the code generation ecosystem will change a lot. It's gonna be interesting to see which way of working will survive.
Das Absurdeste ist, dass die Glühbirne sogar ein Mikrofon hat. Es gibt einen Modus, in dem sie auf Umgebungsgeräusche reagieren kann.
In this economy?
ollama soll wohl schlechtere Performance als llama.cpp haben, wenn man RAM und VRAM kombiniert, aber es gibt viele widersprüchliche Aussagen (und KI-generierte) Artikel die beide miteinander vergleichen.
Selbst getestet habe ich es noch nicht. ollama war am einfachsten für mich aufzusetzen - einfach das Binary (und das AMD rocm-Paket) runterladen,
ollama serveeingeben, fertig. Ich benutze ollama mit webstorm als Harness, da kann man das direkt ins KI-Plugin integrieren. Es kann dort wohl auch für Tab Completion genutzt werden, das Feature verwende ich allerdings nicht, da es mehr stört als nutzt.Leider ein Rückschritt, ich habe mir eine Osram/Ledvance Smart+ RGB-Lampe gekauft und bisher keine App gefunden, die deren Funktionen übernehmen kann.
Die Smart+-App kann zwar auch lokal genutzt werden, nervt aber mit Kontoerstellungs-Popups und man muss dort sein WLAN-Passwort eingeben, was ganz schön shady ist - ich hab nämlich nicht analysiert, ob diese Daten auch irgendwo in eine Cloud gesendet werden.
Es gibt wohl verschiedene Protokolle und Controller-Chips für diese ganzen RGB-Lampen, manche davon lassen sich mit alternativer Firmware flashen, manche nicht und die OSRAM-gebrandeten Lampen sind wohl besonders tricky. Meine läuft wohl mit dem Tuya-Protokoll und man muss erstmal den Key der Glühbirne über die Tuya-Cloud herausziehen, um damit irgendwas machen zu können. Laut einigen Reddit-Posts lassen sich die Osram-gebrandeten Tuya-Birnen jedoch nicht in deren Cloud registrieren. Grrrrrr!
Immerhin kann man sie nach der Einrichtung wieder vom WLAN abkoppeln und sie merkt sich dann die Farbeinstellung. Vielleicht finde ich da noch was besseres.
Es ist nutzbar, aber nicht instant. Ich benutze das Modell qwen3.6:35b (das braucht 24GB VRAM) und nutze es oft, um über ein Projekt zu gehen und mir Verbesserungsvorschläge zu geben.
Die Antworten dauern zwischen 30s bis 5min nachdem man eine Anfrage gestellt hat (und je nachdem wie komplex der Task ist). So Schnellschuss-Sachen kann man damit also nicht machen, das ist aber auch ganz gut, weil ich kein Vibecoder bin und meine Aufgaben mit Bedacht angehe.
Die Qualität der Antworten ist vergleichbar mit ChatGPT und Gemini. Man merkt, dass der Kontext schneller verlorengeht wenn man im gleichen Thread Folgeanfragen stellt, aber meiner Meinung braucht man eigentlich die großen teuren Abomodelle gar nicht, das kann alles lokal laufen.
Solche Auswüchse wie Loops und 10 Agenten gleichzeitig auf ein Problem draufzuwerfen geht natürlich nicht, das ist aber in meinen Augen eh eine sehr fragwürdige Methode der Softwareentwicklung und wird hoffentlich wieder aussterben (schon allein aufgrund der hohen Kosten).
Was mich jedes Jahr freut, wenn Hanse Sail ist:
Was mich jedes Jahr an der Hansesail nervt:
Hingehen werde ich nicht, das letzte Mal war ich vor zwei Jahren da und ich hatte das Gefühl, dass der Hafen nur aus Ständen mit vielen alkoholischen Getränken und weiteren Ständen besteht, an denen man Merch kaufen kann. Mach dein Publikum besoffen, damit sie komischen Ramsch kaufen.
Ich wurde an einem Stand sogar angemault, weil ich es gewagt habe, einen O-Saft ohne Bier zu bestellen. 🤣 Die Sonne knallt, wie kann man es wagen, einfach nur durstig zu sein, ohne sich besaufen zu wollen?
Is it, though? Most of OpenAIs customers are free users and outside of the coding sphere there isn't a major usecase for LLMs. When the bubble pops and people will have to pay a lot more for their token usage, a lot of them will just turn away. The free users will never convert to a paid model as well.
Don't underestimate Chinese vendors doing absolutely everything to turn a profit.
HBM memory can technically be used by consumer GPUs. In 2015, AMD released the Radeon R9 Fury X which used HBM. When the bubble pops and there's an extreme oversupply of HBM sitting in warehouses, we will get those types of GPUs back.
And even if the big players decide not to do it, crazy people in China will build their own products and adapters, they will even desolder HBM from worthless datacentre GPUs.
Either way, it's gonna be glorious for us all. Let's just hold on for a while longer, until all of the dominos have fallen.
Waschmaschinenhersteller: Wir versiegeln einfach die Trommel, viel Spaß beim Versuch die Lager zu tauschen! böses Jeff Bezos-Lachen
They're a little more competent, but that doesn't say much, given how extremely bad this project was run - it's probably very hard to do worse.
That's the one positive thing that came out of this project. :)
Fun fact: The project was also supposed to have a feature where the customer could add new pages with content and then decide where in the main menu those pages should appear.
WordPress internally uses a very basic system for assigning menu items - if you have ten menu items, they have an order that goes from 1 to 10. Number 1 is the first, 10 is the last - very simple (and stupid, because you can't add numbers in between to add new menu items on the fly).
The old fart (or the AI) wrote a system where the customer would just put in a number for the menu order. So if they created a page and then set it to be the fourth item in the menu...there already was a fourth item and WordPress decided at random where to put the menu item instead. Sometimes it was in the correct place. Most of the time it landed somewhere unintended..
What you would actually have to do here is look at all of the menu items, shove the new item into that list and then recalculate all of the numbers and save them. AI was not able to do it, no matter how you prompted it. We tried Gemini, Claude Code, ChatGPT, all of them shit the bed completely.
So there we were - this feature absolutely had to be implemented by a human. I didn't have the time for it, the old fart left and the student was completely useless without chatbots helping him out. That put the project on hold for six months until I was available again, but then I left. Whoopsie!
Fun fact #2: The company eventually went bankrupt because of projects like this and was bought out by a competitor.
Ich hab ein neues Audiodrama angefangen - Midst - und kann das allen, die sehr gut Englisch beherrschen, wärmstens ans Herz legen.
Es gibt eine Menge großartiger, frei verfügbarer Audiodramen da draußen, doch Midst hat mich echt weggeblasen, weil sie stark mit dem typischen Erzählformat brechen.
Es gibt drei Personen (zwei Männer und eine Frau), die die Handlung vorantreiben, den Hörer an die Hand nehmen und sich immer wieder Bälle zuspielen. Wenn eine Person die "Haupthandlung" erzählt, sind wir eigentlich noch im klassischen Audiodrama-Format - doch in Midst gibt es ja noch zwei weitere Erzähler, die manchmal dazuspringen.
Sie geben der Erzählung dann mehr Details, weichen von der Haupthandlung ab um etwas Humor reinzubringen, negieren teilweise sogar das vorherige Gesagte ("She was 13." - "Almost. Twelve and a half.") oder sprechen direkt einen der Charaktere mit einem eigenen Akzent und einer speziellen Betonung, wie richtige...Schauspieler!
Das alles wird mit einem sehr guten Soundtrack und Effekten kombiniert und beides ist sehr professionell umgesetzt. Durch diese Art der Erzählweise schaffen sie es, eine enorme Spannung aufzubauen - und das in jeder einzelnen Episode. Selbst triviale Geschichten (z.B. dass jemand zur Bank geht um ein Konto anzulegen) werden in der gleichen immersiven Erzählweise präsentiert wie Episoden, die einen großen Einfluss auf die Gesamthandlung haben.
Ich habe jetzt mal bewusst darauf verzichtet, zu erzählen, worum es dort überhaupt geht - zum einen, weil ich das einfach nicht gut wiedergeben kann und zum anderen, weil ich es spoilerfrei auch nicht hinbekomme. Aber man kann sagen, dass es sich um eine Fantasygeschichte mit einer Prise SciFi, Horror und Kapitalismuskritik handelt.
Sie selbst beschreiben ihr Projekt so:
Das ist IMAX für die Ohren.
I work in software development. At one of my jobs i had an elderly colleague with onset dementia, who was causing all kinds of problems.
As a last hurra before going into retirement he wanted to prove to everyone (or better, himself) that he could still do it and code a big application all by himself.
So he decided to take on this project where he would build an intranet portal for a customers internal website...with WordPress.
With the help of AI, he coded a plugin and a theme. Which in itself is not a problem, but he made them depend hard on each other. There were constants defined in the theme that were used in the plugin and the AI did not add any checks, so when you disabled one of the two, the site would just throw an error 500.
When it went live, the customer noticed that only administrators were able to login, any user level lower than that (i.e. all of the customers employees) would just get an error on login.
By then the old fart had decided he was leaving the company, so I received the task to clean that up. He had used two different versions of an external library that were slightly incompatible with each other and depending on a race condition we would get one or the other, the LLM hooked into things that didn't actually exist, functions were duplicated between the plugin and theme, the CSS was 20.000 lines. It was an absolute shitshow and basically unrecoverable.
The funniest thing was that this guy was absolutely proud of his work and anyone who just slightly criticized him for the atrocious code quality just got shouted at loudly.
My boss then hired someone fresh from university to fix that and he just put more AI code into the project, making it even worse.
When I left, the project was still not launched after over a year and the customer was (rightfully so) super pissed-off.
Can't recommend. This is using the old engine under the hood, they only slapped the Unreal engine on top of it for the graphics layer. That means a lot of the old Oblivion bugs and general jankyness are still there.
It's also suffering from microstutters that turn into macrostutters when you're outside in large areas.
It looks nice though.
Nvidia is doing some real shady stuff, like selling GPUs and then renting them back from the companies they sold them to, which inflates their own value. That money doesn't actually exist, though.
I don't really see this as a problem. These companies don't dictate the direction of the Linux kernel project, there are independent people like Torvalds and Kroah-Hartman at the helm.
The Blender project is also supported by major players like Nvidia, Intel and Netflix and they still work for the wishes of the community and not for those companies.
After each update of WebStorm I have to manually edit the VM options to enable Vulkan support, otherwise it will render the editor in software mode with ~5fps.
Smooth-scrolling a little bit of text in 2026 seems way too difficult for a commercial project. If AI is so great, why can it not implement that?
JetBrains is just weird. Their plugin for WebStorm technically supports local LLMs, but it defaults to OpenAI models and after each update I have to reconfigure it again to use my own machine instead of a massive datacenter poisoning freshwater.
One time it had a hiccup and couldn't process my input and when I clicked a simple "Resend" button, it just randomly decided to send all of my code into the cloud to be handled by OpenAI instead of my local machine. Thanks, that's totally what I want you fucking morons.
Cloud providers cannot be disabled in the plugin and the "Automatic" setting in the model selection does not mean it'll always use your own local LLM, it just does what it wants.
Their priorities seem pretty clear here - they added support for local LLMs because otherwise they'd piss off legitimate developers, but it's very barebones and the actual focus is on stupid cloud LLM providers like Anthropic and OpenAI. Can't wait for this bubble to burst.
Die Kommentare der KI-Booster sind wieder wild:
"Ich hab keine Zeit mehr, um meine Arbeit vernünftig zu machen, also rotze ich den ganzen Tag Slop raus. Endlich macht mir die Arbeit wieder Spaß (weil ich sie nicht mehr selbst machen muss)"
Was diese Leute wohl tun, wenn die Blase platzt und das Management die Kosten nicht mehr tragen will?