Reposted by Caio
Cool seminar coming up at @inriaparisnlp.bsky.social. If you guys can't make it on site, a visio link will be provided (check out the seminar webpage 30mn before the talk)
We are excited to announce our next seminar by Fabian Suchanek (Télécom Paris, Institut Polytechnique de Paris) "On Language Models and Knowledge Bases" on Friday 21st November, 11am CET. Details can be found here: almanach.inria.fr/seminars-en....
November 9, 2025 at 5:26 PM
Cool seminar coming up at @inriaparisnlp.bsky.social. If you guys can't make it on site, a visio link will be provided (check out the seminar webpage 30mn before the talk)
One of the hardest Pytorch bug I had to debug is due to how the logsumexp behave with -inf masked inputs. Consider the following example. I build a vector of 3 logits, and each logit is the result of a logsumexp.
November 4, 2025 at 9:12 AM
One of the hardest Pytorch bug I had to debug is due to how the logsumexp behave with -inf masked inputs. Consider the following example. I build a vector of 3 logits, and each logit is the result of a logsumexp.
Reposted by Caio
Hallucinant. C'est inacceptable. J'ai une ERC, que rétrospectivement j'ai eu la chance de rédiger à l'étranger avec un dispositif bien meilleur que ceux qui sont proposés en France et SURTOUT avec de quoi produire des résultats préliminaires que ce soit en terme de mentiring ou de moyens #esr
Quand notre ministre de tutelle nous insulte devant la représentation nationale. "Bande de nuls" "complètement à la ramasse".
Nous reprocher des taux de réussite faible à Horizon Europe et ERC, quand manquent les moyens pour assurer nos missions de service public. Surtout changez rien!👌
Nous reprocher des taux de réussite faible à Horizon Europe et ERC, quand manquent les moyens pour assurer nos missions de service public. Surtout changez rien!👌
October 31, 2025 at 10:29 AM
Hallucinant. C'est inacceptable. J'ai une ERC, que rétrospectivement j'ai eu la chance de rédiger à l'étranger avec un dispositif bien meilleur que ceux qui sont proposés en France et SURTOUT avec de quoi produire des résultats préliminaires que ce soit en terme de mentiring ou de moyens #esr
Reposted by Caio
Universities across the world seeing this:
"its only wrong 45% of the time!!
Lets buy free licenses for our students, staff and faculty!!
Lets lock into contracts with rapacious predatory AI companies with shitty technofascist politics, sucking up water and jacking up electricity prices!!"
"its only wrong 45% of the time!!
Lets buy free licenses for our students, staff and faculty!!
Lets lock into contracts with rapacious predatory AI companies with shitty technofascist politics, sucking up water and jacking up electricity prices!!"
October 23, 2025 at 1:19 PM
Universities across the world seeing this:
"its only wrong 45% of the time!!
Lets buy free licenses for our students, staff and faculty!!
Lets lock into contracts with rapacious predatory AI companies with shitty technofascist politics, sucking up water and jacking up electricity prices!!"
"its only wrong 45% of the time!!
Lets buy free licenses for our students, staff and faculty!!
Lets lock into contracts with rapacious predatory AI companies with shitty technofascist politics, sucking up water and jacking up electricity prices!!"
Reposted by Caio
Not all scaling laws are nice power laws. This month’s blog post: Zipf’s law in next-token prediction and why Adam (ok, sign descent) scales better to large vocab sizes than gradient descent: francisbach.com/scaling-laws...
September 27, 2025 at 2:57 PM
Not all scaling laws are nice power laws. This month’s blog post: Zipf’s law in next-token prediction and why Adam (ok, sign descent) scales better to large vocab sizes than gradient descent: francisbach.com/scaling-laws...
Reposted by Caio
~9 months ago I spent some time with Luca Soldaini making a list of models and resources for language models that were more than just open weights (data, code, logs, etc included). It's getting out of date, could use some community contributions :)
September 14, 2025 at 5:05 PM
~9 months ago I spent some time with Luca Soldaini making a list of models and resources for language models that were more than just open weights (data, code, logs, etc included). It's getting out of date, could use some community contributions :)
Reposted by Caio
For updates on AI, I increasingly just advise people to pick a discord they like and stick with it. Twitter stopped having interesting science chat ages ago, it’s just companies announcing their products and getting a bunch of meme QTs.
August 23, 2025 at 2:29 PM
For updates on AI, I increasingly just advise people to pick a discord they like and stick with it. Twitter stopped having interesting science chat ages ago, it’s just companies announcing their products and getting a bunch of meme QTs.
Reposted by Caio
This year, EMNLP ended up desk rejecting ~100 papers. For more insight into the process, and potential future changes, please see this blog post from the PCs: 2025.emnlp.org/desk-rejecti...
@christos-c.bsky.social @carolynrose.bsky.social @tanmoy-chak.bsky.social @violetpeng.bsky.social
@christos-c.bsky.social @carolynrose.bsky.social @tanmoy-chak.bsky.social @violetpeng.bsky.social
New Desk Rejection Practice for EMNLP 2025
For some time there has been substantial concern within the community regarding many aspects of reviewing, from poor quality, to too few reviewers in the pool, to poor quality reviews, to reviewers no...
2025.emnlp.org
August 20, 2025 at 4:22 PM
This year, EMNLP ended up desk rejecting ~100 papers. For more insight into the process, and potential future changes, please see this blog post from the PCs: 2025.emnlp.org/desk-rejecti...
@christos-c.bsky.social @carolynrose.bsky.social @tanmoy-chak.bsky.social @violetpeng.bsky.social
@christos-c.bsky.social @carolynrose.bsky.social @tanmoy-chak.bsky.social @violetpeng.bsky.social
Reposted by Caio
My paper "Tokenization as Finite-State Transduction" was accepted to Computational Linguistics.
This was my final PhD degree requirement :)
The goal was to unify the major tokenization algorithms under a finite-state automaton framework. For example, by encoding a BPE tokenizer as a transducer.
This was my final PhD degree requirement :)
The goal was to unify the major tokenization algorithms under a finite-state automaton framework. For example, by encoding a BPE tokenizer as a transducer.
August 15, 2025 at 7:25 AM
My paper "Tokenization as Finite-State Transduction" was accepted to Computational Linguistics.
This was my final PhD degree requirement :)
The goal was to unify the major tokenization algorithms under a finite-state automaton framework. For example, by encoding a BPE tokenizer as a transducer.
This was my final PhD degree requirement :)
The goal was to unify the major tokenization algorithms under a finite-state automaton framework. For example, by encoding a BPE tokenizer as a transducer.
Reposted by Caio
#ClubContexte L'École Normale Supérieure de Paris-Saclay (à ne pas confondre avec l'École Normale Supérieure, ou «Ulm», qui est à Paris et pas à Ulm) est l'ancienne École Normale Supérieure de Cachan qui a déménagé: elle n'est située ni à Paris, ni à Saclay, mais à Gif-sur-Yvette …
August 14, 2025 at 9:18 PM
#ClubContexte L'École Normale Supérieure de Paris-Saclay (à ne pas confondre avec l'École Normale Supérieure, ou «Ulm», qui est à Paris et pas à Ulm) est l'ancienne École Normale Supérieure de Cachan qui a déménagé: elle n'est située ni à Paris, ni à Saclay, mais à Gif-sur-Yvette …
Reposted by Caio
Un like = une phrase réaliste dite par CHAT GPT 5 s'il s'exprimait vraiment comme quelqu'un avec un doctorat.
August 9, 2025 at 8:52 AM
Un like = une phrase réaliste dite par CHAT GPT 5 s'il s'exprimait vraiment comme quelqu'un avec un doctorat.
Reposted by Caio
What a fantastic accomplishment -- and what a fantastic story! www.quantamagazine.org/at-17-hannah...
At 17, Hannah Cairo Solved a Major Math Mystery | Quanta Magazine
After finding the homeschooling life confining, the teen petitioned her way into a graduate class at Berkeley, where she ended up disproving a 40-year-old conjecture.
www.quantamagazine.org
August 3, 2025 at 12:13 PM
What a fantastic accomplishment -- and what a fantastic story! www.quantamagazine.org/at-17-hannah...
Reposted by Caio
ICML found hidden prompts in accepted papers. They have released a statement icml.cc/Conferences/...
Yes, it’s unacceptable. So is using an LLM to review a paper. Peer review is so broken.
Yes, it’s unacceptable. So is using an LLM to review a paper. Peer review is so broken.
July 24, 2025 at 1:44 AM
ICML found hidden prompts in accepted papers. They have released a statement icml.cc/Conferences/...
Yes, it’s unacceptable. So is using an LLM to review a paper. Peer review is so broken.
Yes, it’s unacceptable. So is using an LLM to review a paper. Peer review is so broken.
Reposted by Caio
ACL paper alert! What structure is lost when using linearizing interp methods like Shapley? We show the nonlinear interactions between features reflect structures described by the sciences of syntax, semantics, and phonology.
June 12, 2025 at 6:56 PM
ACL paper alert! What structure is lost when using linearizing interp methods like Shapley? We show the nonlinear interactions between features reflect structures described by the sciences of syntax, semantics, and phonology.
I think this will be my last time being an AC for an @aclmeeting.bsky.social / @emnlpmeeting.bsky.social related conference. Authors rebuttals are mostly very long LLM generated answers, and spending time reading them is not an interesting activity.
July 16, 2025 at 12:49 PM
I think this will be my last time being an AC for an @aclmeeting.bsky.social / @emnlpmeeting.bsky.social related conference. Authors rebuttals are mostly very long LLM generated answers, and spending time reading them is not an interesting activity.
Reposted by Caio
Rappelons à toutes fins utiles à l'ESR français (qui parfois utilise WeTransfer pour du professionnel) qu'il a filesender.renater.fr francetransfert.numerique.gouv.fr/upload et sans doute d'autres services dans les organismes.
July 15, 2025 at 6:07 AM
Rappelons à toutes fins utiles à l'ESR français (qui parfois utilise WeTransfer pour du professionnel) qu'il a filesender.renater.fr francetransfert.numerique.gouv.fr/upload et sans doute d'autres services dans les organismes.
Reposted by Caio
Your data is low-rank, so stop wasting compute! In our new paper on low-rank thinning, we share one weird trick to speed up Transformer inference, SGD training, and hypothesis testing at scale. Come by ICML poster W-1012 Tuesday at 4:30!
New guarantees for approximating attention, accelerating SGD, and testing sample quality in near-linear time
July 14, 2025 at 6:29 PM
Your data is low-rank, so stop wasting compute! In our new paper on low-rank thinning, we share one weird trick to speed up Transformer inference, SGD training, and hypothesis testing at scale. Come by ICML poster W-1012 Tuesday at 4:30!
Reposted by Caio
@cnrsecologie.bsky.social regrette profondément l'adoption de cette loi à la vision court-termiste & ses conséquences graves sur l’environnement, qui méprise santé & bien-être de la population & le rôle des espèces sauvages dans la prod. agricole. La communauté scientifique n'a pas été entendue.
Le Parlement a définitivement adopté mardi la proposition de loi agricole Duplomb-Menonville, comprenant entre autres une mesure décriée de réintroduction sous conditions d'un pesticide néonicotinoïde, et présentée comme une réponse à la colère agricole de 2024.
July 9, 2025 at 8:38 AM
@cnrsecologie.bsky.social regrette profondément l'adoption de cette loi à la vision court-termiste & ses conséquences graves sur l’environnement, qui méprise santé & bien-être de la population & le rôle des espèces sauvages dans la prod. agricole. La communauté scientifique n'a pas été entendue.
Reposted by Caio
Les NFT, c'est tout daubé !
"Futur d'internet" ou outil "voué à l'échec" : que sont devenus les NFT, trois ans après l'éclatement de la bulle spéculative ?
www.franceinfo.fr/economie/bit... sur @franceinfo.fr
"Futur d'internet" ou outil "voué à l'échec" : que sont devenus les NFT, trois ans après l'éclatement de la bulle spéculative ?
www.franceinfo.fr/economie/bit... sur @franceinfo.fr
July 12, 2025 at 6:04 PM
Les NFT, c'est tout daubé !
"Futur d'internet" ou outil "voué à l'échec" : que sont devenus les NFT, trois ans après l'éclatement de la bulle spéculative ?
www.franceinfo.fr/economie/bit... sur @franceinfo.fr
"Futur d'internet" ou outil "voué à l'échec" : que sont devenus les NFT, trois ans après l'éclatement de la bulle spéculative ?
www.franceinfo.fr/economie/bit... sur @franceinfo.fr
Reposted by Caio
"in 2025 we will have flying cars" 😂😂😂
July 5, 2025 at 4:17 PM
"in 2025 we will have flying cars" 😂😂😂
Reposted by Caio
[ #VeilleESR #LRU ] Numerus apertus : le contexte budgétaire actuel ne permettra pas "de supporter une augmentation des effectifs" UDice
par @julielanique.bsky.social pour @aefsuprecherche.bsky.social
"La réforme Pass/LAS est complexe, peu lisible et avec une grande hétérogénéité de mise en œuvre"
par @julielanique.bsky.social pour @aefsuprecherche.bsky.social
"La réforme Pass/LAS est complexe, peu lisible et avec une grande hétérogénéité de mise en œuvre"
Numerus apertus : le contexte budgétaire actuel ne permettra pas "de...
Les universités membres d’Udice font part de leurs inquiétudes sur l’évolution des études de santé, le 27 juin 2025. D’abord, concernant la création d’une...
www.aefinfo.fr
June 28, 2025 at 2:05 PM
[ #VeilleESR #LRU ] Numerus apertus : le contexte budgétaire actuel ne permettra pas "de supporter une augmentation des effectifs" UDice
par @julielanique.bsky.social pour @aefsuprecherche.bsky.social
"La réforme Pass/LAS est complexe, peu lisible et avec une grande hétérogénéité de mise en œuvre"
par @julielanique.bsky.social pour @aefsuprecherche.bsky.social
"La réforme Pass/LAS est complexe, peu lisible et avec une grande hétérogénéité de mise en œuvre"
Reposted by Caio
Je suis allé voir quels livres sont payables avec le pass culture.
Pas payable : les manuels de sciences dures
Payable : les livres d'astrologie ou d'ésotérisme
Tout va bien... 😵💫
aide.passculture.app/hc/fr/articl...
Pas payable : les manuels de sciences dures
Payable : les livres d'astrologie ou d'ésotérisme
Tout va bien... 😵💫
aide.passculture.app/hc/fr/articl...
[Acteurs Culturels] Quels sont les livres éligibles au pass Culture ?
📢 À l'exception des catégories évoquées ci-dessous, un grand nombre de livres, sous diverses formes (papier, audio, numérique, abonnement médiathèque), est accepté sur le pass Culture. 🔎 Pour davan...
aide.passculture.app
June 29, 2025 at 8:31 AM
Je suis allé voir quels livres sont payables avec le pass culture.
Pas payable : les manuels de sciences dures
Payable : les livres d'astrologie ou d'ésotérisme
Tout va bien... 😵💫
aide.passculture.app/hc/fr/articl...
Pas payable : les manuels de sciences dures
Payable : les livres d'astrologie ou d'ésotérisme
Tout va bien... 😵💫
aide.passculture.app/hc/fr/articl...
By the way, I am searching an emergency review for a paper about a structured approach for chain-of-thought. And also a paper about RAG. Please write me a message if you are available to do it in the next 2 days!
Keep those reviews coming in! We are currently up to 78% of papers with three reviews submitted.
▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░░░░░░ 78%
For those who are behind, please do your best to get your reviews in as soon as possible! For everyone else, please keep an eye out for emergency review requests!
▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░░░░░░ 78%
For those who are behind, please do your best to get your reviews in as soon as possible! For everyone else, please keep an eye out for emergency review requests!
June 25, 2025 at 5:02 PM
By the way, I am searching an emergency review for a paper about a structured approach for chain-of-thought. And also a paper about RAG. Please write me a message if you are available to do it in the next 2 days!
Reposted by Caio
Pour comprendre pourquoi ce président entend célébrer la French Touch, il suffit de s'aviser que les principaux initiateurs de ce style musical sont dans leur très grande majorité issus de la bourgeoisie, voire de l'aristocratie, en provenance de Neuilly et de Versailles, notamment 🧐
Musique électro : Macron veut inscrire la French Touch au patrimoine de l’Unesco
Daft Punk, Justice ou encore Air pourraient rejoindre la liste du patrimoine culturel immatériel de l’organisation
Daft Punk, Justice ou encore Air pourraient rejoindre la liste du patrimoine culturel immatériel de l’organisation
Musique électro : Macron veut inscrire la French Touch au patrimoine de l’Unesco
Daft Punk, Justice ou encore Air pourraient rejoindre la liste du patrimoine culturel immatériel de l’organisation.
www.liberation.fr
June 21, 2025 at 6:50 PM
Pour comprendre pourquoi ce président entend célébrer la French Touch, il suffit de s'aviser que les principaux initiateurs de ce style musical sont dans leur très grande majorité issus de la bourgeoisie, voire de l'aristocratie, en provenance de Neuilly et de Versailles, notamment 🧐
Reposted by Caio
Protect transgender scientist! 🏳️⚧️
Protect transgender scientists
Transgender and gender nonconforming (TGnC) people are a primary target of the Trump administration. Multiple executive orders seek to erase TGnC protections; mandate denial of gender identity; and ba...
www.science.org
June 19, 2025 at 6:28 PM
Protect transgender scientist! 🏳️⚧️