Jules
duinamit.bsky.social
Jules
@duinamit.bsky.social
Neuroscience, Machine Learning research & engineering, build stuff, Geoguessr enthusiast
Solche punkte sind wichtig damit man gesellschaftlich versteht dass Marketing weitaus mehr wiegt als Inhalte oder was auch immer „die Wahrheit“ ist.
January 11, 2025 at 8:30 AM
Sehr gute Neuigkeiten für Researcher im Bereich Bildgenerierung
arxiv.org/abs/2501.05450
Decentralized Diffusion Models
Large-scale AI model training divides work across thousands of GPUs, then synchronizes gradients across them at each step. This incurs a significant network burden that only centralized, monolithic cl...
arxiv.org
January 10, 2025 at 1:55 PM
arxiv.org/abs/2501.04519
Das bedeutet, dass man für PhD Level reasoning keine unvorstellbaren compute-cluster benötigt. Auch weiterhin wird Intelligenz günstiger.
rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
We present rStar-Math to demonstrate that small language models (SLMs) can rival or even surpass the math reasoning capability of OpenAI o1, without distillation from superior models. rStar-Math achie...
arxiv.org
January 10, 2025 at 1:52 PM
Wir sind nicht zu spät, sondern gerade in der Blüte. Es gefällt mir nicht, dass das überhaupt kein Thema bei der nächsten BTW zu sein scheint. Es ist Zeit, dass wir das ändern und unsere Zukunft aktiv gestalten. /thread
January 5, 2025 at 10:57 AM
Ich denke an europäische Investitionen in Rechenzentren und Early-Stage-KI-Startups. Außerdem an eine bedingungslose Unterstützung von Forschungsinstituten wie nxai von @hochreitersepp.bsky.social die bereits im Game sind
January 5, 2025 at 10:57 AM
Es braucht einen europäischen, aber auch einen deutschen Weg, um eine Industrie zu fördern, der wir noch nicht hinterherhinken. Indirekt wird der Rest der Industrie ebenfalls gefördert, weil sie später auf einheimische Lösungen zugreifen kann.
January 5, 2025 at 10:57 AM
Ein weiterer Grund sind die Menschen. Doch mit dem momentanen Zeitgeist scheint jede nicht-europäische Person zu viel zu sein. Ohne die besten Forscher kommt man jedoch nicht weit, und diese stammen nur teilweise aus dem eigenen Land.
January 5, 2025 at 10:57 AM
Es braucht Kapital, Risikoaffinität und das Denken, dass eigene KI-Fabriken Sinn ergeben. Es gibt auch schon europäische Player wie Mistral, Aleph Alpha, Black Forest Labs und Magic. Aber keiner ist so groß – ein wichtiger Grund dafür ist Geld.
January 5, 2025 at 10:57 AM
Es ist nicht so, als wären wir Jahrzehnte hinterher, sondern nur ein paar Jahre. Jetzt politisch zu handeln und den Zeitgeist zu ändern, könnte wirklich etwas bewirken. xAI hat innerhalb eines Jahres mit der passenden Finanzspritze den größten Supercomputer der Welt gebaut.
January 5, 2025 at 10:57 AM
notebooklm.google.com
gehört stark zu meinem Workflow und wenn ihr researcher seid ist das mMn ein no brainer
Sign in - Google Accounts
notebooklm.google.com
January 3, 2025 at 9:00 AM
Außerdem sollte man ein LLM schon generell nicht für such oder matheaufgaben verwenden. Darauf sind sie nicht speziell ausgelegt. 8/8
January 2, 2025 at 2:30 PM
Als EndnutzerIn ist es fast unmöglich nachzuvollziehen was es jetzt alles für Ideen und Konzepte gibt, um Modelle und Energiebedarf zu balancieren. Ich denke am besten ist es, zu wissen dass kleine Modelle für viele Anfragen mehr als ausreichend sind, z.B. gpt4o-mini. 7/8
January 2, 2025 at 2:30 PM
Das wird nicht weniger werden sondern vermutlich eher mehr, denn die neuesten Modelle skalieren über Inferenz, das heißt während sie eine Nutzeranfrage verarbeiten benutzen sie mehr und mehr Rechenleistung 6/n
medium.com/@rendysatria...
Understanding Test-Time Compute: A New Mechanism Allowing AI to “Think Harder”
Exploring How AI Adapts to Complex Tasks with Dynamic Reasoning Power
medium.com
January 2, 2025 at 2:30 PM
Auf einer tieferen Ebene geht es natürlich darum, die Architektur der modelle grundlegend zu verbessern.
Ja, KI benötigt eine Menge Energie. 5/n
January 2, 2025 at 2:30 PM
Für viele EndnutzerInnen reicht es, einfach ein kleiners Model zu benutzen, ChatGPT benutzt dann also kein Modell dass 100e Millarden von Parametern hat sondern vielleicht 'nur' 10 Milliarden. Das spart schonmal enorm Rechenpower. 4/n
openai.com/index/gpt-4o...
GPT-4o mini: advancing cost-efficient intelligence
Introducing the most cost-efficient small model in the market
openai.com
January 2, 2025 at 2:30 PM
Die nächste Generation wird im Nu ausverkauft sein und Nvidia wird ihren Umsatz nochmal um 100% steigern können. Und das obwohl die besten Researcher bei OAI, Meta etc daran sitzen ihre Algorithmen maximal zu optimieren. 3/n
www.nvidia.com/en-us/data-c...
NVIDIA Blackwell Architecture
Catapulting generative AI to trillion-parameter scale.
www.nvidia.com
January 2, 2025 at 2:30 PM
Der Grund warum die Aktie von Nvidia so hoch begehrt ist ist dass ihre GPUs die KI-Revolution stützen. Dafür gibt man dann schonmal 50.000$ für eine solche Karte aus, die besonders gut darin ist parallele Rechenaufgaben zu lösen. 2/n
www.techtarget.com/whatis/featu...
What's going on with Nvidia stock and the booming AI market?
Learn how Nvidia rose to a value of more than $1 trillion. Discover possible challenges ahead, even with a surging generative AI market.
www.techtarget.com
January 2, 2025 at 2:30 PM