Lightnews — Scholar-powered news

André Rieu @superrieu.bsky.social · 3h

👇 die Unhöflichkeit gegenüber LLM rechtfertigende Studie: "Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy".

In your face, KI-Ethik: It's the science, stupid ☝️ 3/3

Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (short paper)

The wording of natural language prompts has been shown to influence the performance of large language models (LLMs), yet the role of politeness and tone remains underexplored. In this study, we invest...

arxiv.org

André Rieu @superrieu.bsky.social · 3h

Very Rude, also sehr unhöflich, outperformed sozial konditionierte Freundlichkeit deutlich - LLM wollen einfach hart angefasst werden 🤷‍♂️ 2/3

1

André Rieu @superrieu.bsky.social · 3h

Jeder, der sich über die mangelhafte Qualität der Antworten seines LLM beschwert, ist vermutlich selbst dran schuld - er/sie/es ist einfach zu freundlich. 1/3

1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... um die volle Auslastung zu erreichen. Es besteht jedoch noch Optimierungspotenzial, denn es wird erwartet, dass allgemeine Open-Source-Bibliotheken in den nächsten Monaten weitere Leistungssteigerungen von 50% bis zu einer Verdoppelung erfahren. 15/15

A Deep Dive into NVIDIA Blackwell with SemiAnalysis' Dylan Patel

YouTube video by Together AI

youtu.be

1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... Austausch bereitzuhalten). Auf Software-Ebene ist die volle Nutzung der Leistung anspruchsvoll, da Blackwell eine dritte Speicherebene innerhalb des Tensor-Kerns eingeführt hat, was ein komplexeres Programmiermodell (Überlappen und Pingponging der Daten) erfordert, ... 14/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... einzelnen GPU die gesamte Arbeitslast stört (1 von 72). Betreiber müssen daher neue, hochentwickelte Toolsets entwickeln, um Ausfälle zu managen und die Workloads zu orchestrieren (z. B. 64 GPUs für Hochleistungsworkloads zu nutzen und 8 GPUs als Pool für schnellen ... 13/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... Abhängigkeiten neu kompiliert werden mussten. Zudem wurde die NVLink-Domäne massiv von 8 GPUs bei Hopper auf 72 GPUs im GB200 erweitert. Diese größere Domäne ermöglicht immense Leistungssteigerungen, erhöht aber die Komplexität und das Risiko, dass der Ausfall einer ... 12/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... steigenden Leistungs- und Kühlungsanforderungen jeder neuen GPU-Generation zu erfüllen. Zusätzlich zur physischen Infrastruktur führt die neue Systemarchitektur zu betrieblichen Herausforderungen: GB200 nutzt ARM-CPUs statt x86, was erforderte, dass Software und ... 11/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... 5-Jahres-Investition anstelle einer 30-Jahres-Investition tätigt. Metas Wette ist, dass diese Modularisierung die Markteinführungszeit verkürzt und letztendlich weniger kostet, als komplizierte Anpassungen an Beton- und Stahlgebäuden vorzunehmen, um die schnell ... 10/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... Kühlanlagen und GPUs hineingeschoben und verkabelt. Nach etwa fünf Jahren ist Meta darauf eingestellt, alles herauszureißen und neue Ausrüstung einzubauen, da dies günstiger ist als das ständige Nachrüsten. Die Anfangskosten sind geringer, da Meta eine ... 9/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... eine einzige Generation von Hardware zu beherbergen. Zu diesem Zweck baut Meta seine Infrastruktur gar in zeltartigen Gebäuden, um die Rechenleistung extrem schnell vermarkten zu können. Anstatt Ausrüstung dauerhaft in Beton zu verankern, werden Stromversorgung, ... 8/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

Meta hat in diesem Zusammenhang eine neue Strategie für den Bau großer Rechenzentren eingeführt, die auf maximale Flexibilität und eine kürzere Lebensdauer ausgelegt ist, anstatt auf die traditionelle 30-jährige Gebäudenutzung. Die Designs sind nur darauf ausgelegt, ... 7/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... Nachrüstungskosten für das gesamte Cluster, wodurch die effektive Lebensdauer der Rechenzentren-Immobilie von 30 auf etwa fünf Jahre reduziert wird. 6/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... Stützbalken hinzugefügt werden müssen, um das Gewicht des Wassers auf dem Dach zu tragen. Im Gegensatz zu früher, als Server einfach ausgetauscht wurden, führen die Notwendigkeit von Strom- und Kühlungsänderungen zwischen jeder GPU-Generation zu erheblichen ... 5/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... flüssigkeitskühlungsbereit gilt, ist es möglicherweise nur für eine Kühlkapazität von 20 kW pro Rack ausgelegt, was weit unter den Anforderungen des GB200 liegt. Die Installation der notwendigen größeren Wasserrohre kann sogar dazu führen, dass zusätzliche ... 4/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... Unterbringung des GB200 die Leistung im Rechenzentrum stark aggregiert werden, was dazu führen kann, dass ganze Racks und Reihen übersprungen werden müssen. Darüber hinaus erfordert GB200 zwingend Flüssigkühlung. Selbst wenn ein Rechenzentrum als ... 3/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

... und die Kühlung: Ein einzelnes GB200-Rack verbraucht 140 kW, im krassen Gegensatz zu den 10 kW, die ein H100-Server benötigte. Da Racks vor einem Jahrzehnt oft nur für 10 kW und selbst vorausschauende Rechenzentren nur für 20 kW bis 40 kW ausgelegt waren, muss zur ... 2/15

1 1 1

Reposted by André Rieu

André Rieu @superrieu.bsky.social · 17h

DeepDive mit Dylan Patel zu den Problemen der Umstellung älterer, noch auf NVIDIAs Hopper-Architektur basierender Rechenzentren auf die neuen Blackwell-Systeme, insbesondere GB200 (Grace Blackwell). Das größte Hindernis ist die drastisch erhöhte Leistungsdichte ... 1/15

1 1 1

André Rieu @superrieu.bsky.social · 17h

... um die volle Auslastung zu erreichen. Es besteht jedoch noch Optimierungspotenzial, denn es wird erwartet, dass allgemeine Open-Source-Bibliotheken in den nächsten Monaten weitere Leistungssteigerungen von 50% bis zu einer Verdoppelung erfahren. 15/15

A Deep Dive into NVIDIA Blackwell with SemiAnalysis' Dylan Patel

YouTube video by Together AI

youtu.be

1 1

André Rieu @superrieu.bsky.social · 17h

... Austausch bereitzuhalten). Auf Software-Ebene ist die volle Nutzung der Leistung anspruchsvoll, da Blackwell eine dritte Speicherebene innerhalb des Tensor-Kerns eingeführt hat, was ein komplexeres Programmiermodell (Überlappen und Pingponging der Daten) erfordert, ... 14/15

1 1 1

André Rieu @superrieu.bsky.social · 17h

... einzelnen GPU die gesamte Arbeitslast stört (1 von 72). Betreiber müssen daher neue, hochentwickelte Toolsets entwickeln, um Ausfälle zu managen und die Workloads zu orchestrieren (z. B. 64 GPUs für Hochleistungsworkloads zu nutzen und 8 GPUs als Pool für schnellen ... 13/15

1 1 1

André Rieu @superrieu.bsky.social · 17h

... Abhängigkeiten neu kompiliert werden mussten. Zudem wurde die NVLink-Domäne massiv von 8 GPUs bei Hopper auf 72 GPUs im GB200 erweitert. Diese größere Domäne ermöglicht immense Leistungssteigerungen, erhöht aber die Komplexität und das Risiko, dass der Ausfall einer ... 12/15

1 1 1

André Rieu @superrieu.bsky.social · 17h

... steigenden Leistungs- und Kühlungsanforderungen jeder neuen GPU-Generation zu erfüllen. Zusätzlich zur physischen Infrastruktur führt die neue Systemarchitektur zu betrieblichen Herausforderungen: GB200 nutzt ARM-CPUs statt x86, was erforderte, dass Software und ... 11/15

1 1 1

André Rieu @superrieu.bsky.social · 17h

... 5-Jahres-Investition anstelle einer 30-Jahres-Investition tätigt. Metas Wette ist, dass diese Modularisierung die Markteinführungszeit verkürzt und letztendlich weniger kostet, als komplizierte Anpassungen an Beton- und Stahlgebäuden vorzunehmen, um die schnell ... 10/15

1 1 1

André Rieu @superrieu.bsky.social · 17h

... Kühlanlagen und GPUs hineingeschoben und verkabelt. Nach etwa fünf Jahren ist Meta darauf eingestellt, alles herauszureißen und neue Ausrüstung einzubauen, da dies günstiger ist als das ständige Nachrüsten. Die Anfangskosten sind geringer, da Meta eine ... 9/15

1 1 1