Alexander Doria @Dorialexander Twitter profile

Pinned Tweet

Alexander Doria

1 month

Today we release our first foundation model. OCRonos-Vintage is a 124 million parameters model pretrained end-to-end by @pleiasfr on 18 billion tokens of cultural heritage archives, with nearly SOTA results for OCR correction in English

PleIAs/OCRonos-Vintage · Hugging Face

huggingface.co

14

93

451

Last Seen Profiles

@DurstigW

@kgs

@michel_concepc

@ozC3x0ghrGlnARU

@ChristopherKrys

@ScrubsMagazine

@AundraMeeks

@_XHex

@Ta3

@DanielRolack

@MachinGunBub

@TDVirtualOffice

@RahayuF51332753

@GroneSex

@MacApsu_SM

@Edmund_Bower

@sharkonocean

@turbanlisever69

@tke_karen

@SailYourDream_

@shiro_doodles

@_igobymya

@Utuku_nico

@hyukaxi

@farquhauri

@may_equinox

@barrios__x

@101_Research

@____Oo25t

@luvvluw

@KIT_TIK910

@Btan4371

@bokeplokalmalam

@rom_lior

@bkk_jw

@MyOwerri

Alexander Doria

@Dorialexander

4 months

I dunno, 2.5 trillion for 25 billion revenue looks a bit… bubbly.

Erik Brynjolfsson

@erikbryn

4 months

Nvidia now worth over $2.5 Trillion, more than the market cap of the entire German stock market.

87

454

2K

63

127

4K

Alexander Doria

@Dorialexander

1 year

Maintenant que les comptes Twitter Blue peuvent poster des vidéos d’une heure (et que la modération est à la ramasse), Twitter est en train de devenir un Pirate Bay mainstream : 6 millions de vues pour une copie piratée du film Mario Bros.

tyrone

@wokrone

1 year

Fuck it, whole Super Mario Bros movie

2K

17K

135K

29

564

4K

Alexander Doria

@Dorialexander

2 years

@CSonic235 If your family is dying you should really trade those 459 mangoes for 3254 candles.

5

15

3K

Alexander Doria

@Dorialexander

2 years

Non seulement #ChatGPT ne sait pas écrire de charade mais ça a l’air de le rendre complètement fou.

41

303

2K

Alexander Doria

@Dorialexander

10 months

So it seems we may finally have a GPT-4 level model in open source. It's a merge of two llama 70b and since we live in the best AI timeline it's created by an anon with an avatar that looks like this:

34

231

2K

Alexander Doria

@Dorialexander

4 years

Des personnalités "de gauche" quand Trump perd son twitter après avoir soutenu une insurrrection armée : ▶ 🔘──────── 20:13:67:23 Les mêmes quand des féministes sont suspendues en masse pour ouvrir un débat de fond. ▶ 🔘──────── 00:02

11

467

2K

Alexander Doria

@Dorialexander

3 months

@JDKDAY "We don’t know exactly what we’re writing either. Anyway, still looks dope"

1

10

1K

Alexander Doria

@Dorialexander

11 months

I really don’t know why LLM twitter has been sharing this embedding map all day : reconstruction of geographic proximity/relationship through semantic relationships has been already uncovered with word2vec 10 years ago.

Wes Gurnee

@wesg52

11 months

Do language models have an internal world model? A sense of time? At multiple spatiotemporal scales? In a new paper with @tegmark we provide evidence that they do by finding a literal map of the world inside the activations of Llama-2!

182

1K

6K

35

115

972

Alexander Doria

@Dorialexander

8 months

Happy new year ! And happy public domain day with a major new entry: the original design of Mickey Mouse! For the occasion I’m releasing Mickey-1928 a model on @HuggingFace that can generate pictures of Mickey, Minnie and Pete from 1928.

29

204

735

Alexander Doria

@Dorialexander

9 months

There is currently a large scale coordinated effort to ensure AI regulation in Europe is going to favor one specific large AI company: Anthropic. It involves an opaque network of so-called institutes, NGOs and grassroot efforts and it should warrant way more public attention. ⬇️

18

136

728

Alexander Doria

@Dorialexander

4 years

J'avais un peu de mal à comprendre la réaction choquée de nombreux politiciens au blocage de Trump (hors RN) mais je crois qu'ils viennent surtout de réaliser que les règles de modération des réseaux sociaux peuvent aussi s'appliquer à eux et pas juste aux comptes lambda.

8

156

708

Alexander Doria

@Dorialexander

2 years

3

151

723

Alexander Doria

@Dorialexander

4 years

Je sais bien que tout-le-monde a d'autres préoccupations en ce moment mais j'ai finalement déniché le recoin obscur de twitter où les gens twittent EN LATIN

11

149

682

Alexander Doria

@Dorialexander

6 months

Announcing today in @Wired the release of Common Corpus, the largest collection of fully open corpus on HuggingFace: nearly 500b words (600-700b tokens) in public domain.

Here’s Proof You Can Train an AI Model Without Slurping Copyrighted Content

OpenAI claimed it’s “impossible” to build good AI models without using copyrighted data. An “ethically created” large language model and a giant AI dataset of public domain text suggest otherwise.

www.wired.com

22

168

676

Alexander Doria

@Dorialexander

2 years

After 15 minutes of hard work and wild guesses, I present you my masterpiece: the political compass of #AI as of March 1st 2023 (susceptible to quick update…)

27

95

674

Alexander Doria

@Dorialexander

2 years

@JoshuaPHilll I am afraid this is not only him but a more widespread reaction in Silicon Valley: as tech recession kicks in, you can either admit your own failure (not conceivable) or preemptively accuse all kind of people (lazy workers, bureaucrats, wokes…).

8

23

636

Alexander Doria

@Dorialexander

4 years

Le grand ancêtre des navigateurs avec 300 onglets ouverts.

Dominique Kalifa

@dkalifa

4 years

Une lectrice pour chercheurs du XVIIe siècle. Bibliothèque Palafoxiana a Puebla (Mexique)

10

135

556

2

228

640

Alexander Doria

@Dorialexander

2 years

Bref, Twitter est en train de mettre à terme à un principe de base du web, universellement appliqué depuis trente ans (à quelques exceptions près) : le libre partage des hyperliens.

3

199

613

Alexander Doria

@Dorialexander

5 months

Big announcement: @pleiasfr releases a massive open corpus of 2 million Youtube videos in Creative Commons (CC-By) on @huggingface . Youtube-Commons features 30 billion words of audio transcriptions in multiple languages, and soon other modalities

21

128

581

Alexander Doria

@Dorialexander

10 months

So big announcement: thanks to the generous support from @huggingface I am releasing the early modern ChatGPT, MonadGPT Any question in English or French will be answered from the perspective of someone living between 1500 and 1750.

27

95

387

Alexander Doria

@Dorialexander

7 months

With @benoitdecourson and @b_azoulay from @gallicagram we are releasing on @huggingface what is probably the largest open corpus in French: 85 billon words in the public domain.

PleIAs/French-PD-Newspapers · Datasets at Hugging Face

huggingface.co

15

112

379

Alexander Doria

@Dorialexander

1 year

@EliotJacobson And July, 6 was the absolute record of commercial flights flying (134,386). Everything is fine.

18

46

356

Alexander Doria

@Dorialexander

4 months

Announcing that we are on our way to solve a long standing issue of document processing: correction of OCR mistakes. @pleaisfr publishes the largest dataset to date with automated OCR correction, 1 billion words in English, French, German and Italian

13

75

349

Alexander Doria

@Dorialexander

4 years

Il doit y avoir un mot allemand pour désigner ce sentiment de frustration de répérer un tweet intéressant au moment où la TL s'actualise et scroller éperdument sans le retrouver.

16

35

344

Alexander Doria

@Dorialexander

9 months

@vaughanbell Beautiful. But I raise you with the mythical covers of the French university press of the 1990s.

Duchesse Anne

@Duchesse_Anne

2 years

Ces couvertures de chez PUF qui font la légende

18

90

597

7

25

342

Alexander Doria

@Dorialexander

3 years

Et une bonne nouvelle pour commencer l'année : plein de textes et de créations entrent dans le domaine public, dont les œuvres complètes d'auteurs disparus depuis plus de 70 ans comme André Gide ou Ludwig Wittgenstein.

2

120

332

Alexander Doria

@Dorialexander

6 months

If works as claimed, this could be the most important model release this week: LLM for structured knowledge extraction.

AK

@_akhaliq

6 months

StructLM Towards Building Generalist Models for Structured Knowledge Grounding Structured data sources, such as tables, graphs, and databases, are ubiquitous knowledge sources. Despite the demonstrated capabilities of large language models (LLMs) on plain text, their

2

55

331

6

50

332

Alexander Doria

@Dorialexander

5 months

Daily remember: the one Language Model massively used in production even on critical infra is neither chatGPT or Llama. It’s Bert.

12

20

326

Alexander Doria

@Dorialexander

8 months

@karpathy You are going to confuse everyone in France :) We commonly use IA for Intelligence artificielle but Intelligence Amplification would be… AI (Amplification de l’Intelligence).

15

6

315

Alexander Doria

@Dorialexander

7 months

This release confirms a multilingual paradox: Mistral OpenHermes 2.5 is easily one of the best 7B multilingual model (easily on the top of my French benchmarks) and yet… the instructions are nearly all English (94%). French is 0.27%.

Alexander Doria

@Dorialexander

7 months

The LLM world having its open data moment…

0

7

63

13

27

298

Alexander Doria

@Dorialexander

10 months

I officially release MonadGPT, a chatGPT of the 17th century. MonadGPT is a finetune of @NousResearch excellent chat model, Mistral-Hermes on 10,000 excerpts of early modern English, French and Latin books.

8

65

298

Alexander Doria

@Dorialexander

6 months

If you’re into open LLMs (*really* open), stay tuned for a big news on Wednesday :)

17

11

294

Alexander Doria

@Dorialexander

2 months

Breaking: since it is release season, announcing our first suite of specialized language models for document processing tasks (OCR correction, text segmentation, bibliographic extraction) and a new major multimodal dataset we used to train them, Finance Commons.

8

54

289

Alexander Doria

@Dorialexander

6 years

Je recommande de se réfugier à l’endroit où le 4e étage "devient" le 6e étage : c’est une cachette quantique imparable. #Sorbonne

Jean Sans Peur 🐘

@jehansanspour

6 years

Je suis en train d'imaginer les CRS préparant leur opération à la Sorbonne grâce à un plan des lieux et je rigole tout seul.

6

140

427

10

103

262

Alexander Doria

@Dorialexander

1 year

Internet Archive perd son procès contre Hachette : c’est non seulement la fin du prêt contrôlé des vieux livres sous droit d’auteur mais le site tout entier est probablement menacé (j’imagine qu’il y aura des pénalités élevées).

Martin Paul Eve

@martin_eve

1 year

Oh dear. Court judgement goes against the Internet Archive on controlled digital lending of scans it has made of print books 😔

9

102

221

9

258

266

Alexander Doria

@Dorialexander

4 years

Il va falloir que @TwitterFrance s'explique très sérieusement. Une vague de suspension qui se poursuit depuis 24 heures pour des prises de position féministe : l'erreur de modération n'est plus plaidable.

4

81

261

Alexander Doria

@Dorialexander

2 years

Comme il est aussi de mauvaise foi, il en vient à réinventer complètement la définition des charades.

1

9

261

Alexander Doria

@Dorialexander

6 months

Unless Infection is a scam, it has likely been trained on nearly the same data mix as Claude-3 (the crawl/shadow library/gpt-4 synth mix they all leak to one another). Basically we are pouring enormous amount of compute to train the same model twice. This is hilarious and sad

seshu bonam

@seshubon

6 months

WHAT? @inflectionAI is just a claude-3-sonnet wrapper? care to explain? 🐒 Produces the exact same answer word to word for a custom query i asked 🤯

68

67

913

28

261

Alexander Doria

@Dorialexander

7 months

Announcing the release of marginalia, a small python application to perform corpus analysis and retrieve structured annotations with open LLMs like Mistral Open-Hermes-2.5.

6

48

261

Alexander Doria

@Dorialexander

1 year

#TintinIA pour faire des memes d'actu cursed, c'est quand même pas mal du tout.

6

38

259

Alexander Doria

@Dorialexander

11 months

Je vais implorer Twitter de cesser de partager cette carte : on n’a pas la source (je ne trouve rien de la World Bank). Je pense vraiment que c’est Web of Science et il y a un biais massif : les articles en d’autres langues que l’anglais ne sont pas comptés…

Nrken19

@nrken19

11 months

Map showing scientific journal articles published per 100,000 people (2020)

22

126

358

21

65

253

Alexander Doria

@Dorialexander

4 years

Les humanités numériques en un mème.

5

57

253

Alexander Doria

@Dorialexander

2 years

ChatGPT, comment ça marche ? Un essai de décorticage technique du bot d'OpenAI et, au-delà, de la grande révolution de la génération de texte par intelligence artificielle

ChatGPT : comment ça marche ?

Tout-le-monde en parle : chatGPT révolutionne l’enseignement, la programmation, la propagande, le marketing, la politique… Et pourtant, qui est chatGPT ? Tout d’abord deux modèles différents, souvent...

scoms.hypotheses.org

8

130

249

Alexander Doria

@Dorialexander

5 years

Un forum sur Reddit est entièrement peuplé de robots. Chaque compte est un modèle entraîné avec OpenGT et ils ont l’air d’habiter dans une réalité alternative où H G Wells est une "star américaine" du XIXe et Luke Skiwalker s’est fait tuer par un ours.

3

175

227

Alexander Doria

@Dorialexander

8 months

Ça intéresserait potentiellement du monde un tutoriel un peu technique en français sur la création d'un LLM ? En gros depuis la collecte des données/tokénisation jusqu'à l'entraînement proprement dit, la loss, le mécanisme d'attention.

45

12

227

Alexander Doria

@Dorialexander

2 years

Bon je suis en train de me faire gaslighter par un robot.

3

8

222

Alexander Doria

@Dorialexander

5 months

@qtnx_ Given it’s Microsoft, probably the same reason any very large scale company would like AI: bureaucracy.

1

0

214

Alexander Doria

@Dorialexander

1 year

Après Twitter Google s’apprête à supprimer les vidéos YouTube de comptes inactifs en masse. Je l’ai déjà dit mille fois mais l’histoire culturelle du web après 2005 va être bientôt un champ de ruines…

Social Media Lab

@SMLabTO

1 year

It's not just Twitter, Google is also updating their inactive account policies. They will start deleting YouTube videos posted by inactive accounts.

0

3

10

3

96

207

Alexander Doria

@Dorialexander

4 years

Au moins une bonne chose pour commencer l'année : au 1er janvier plein d'œuvres entrent dans le domaine public. Les textes de Marcel Mauss, George Orwell, George Bernard Shaw, Edgar Rice Burrows mais aussi la Ruée vers l'or de Chaplin, le Fantôme de l'Opéra de 1925...

3

91

209

Alexander Doria

@Dorialexander

4 years

Make sci-hub legal.

Joe Biden

@JoeBiden

4 years

Listen to the scientists.

17K

58K

543K

2

61

203

Alexander Doria

@Dorialexander

6 years

|￣￣￣￣￣￣￣￣￣￣| COMME ELLE EST NUMÉRISÉE DANS LE DOMAINE PUBLIC ON EN SAIT PLUS SUR LA PRESSE DE 1860 QUE SUR LA PRESSE DE 1960 (ABSURDE, NON ?) |＿＿＿＿＿＿＿＿＿＿| (\__/) || (•ㅅ•) || / 　づ

2

65

192

Alexander Doria

@Dorialexander

4 years

Quand tu es historien du 19e siècle et que tu n'as apparemment jamais lu un journal de la période.

France Inter

@franceinter

4 years

Emmanuel de Waresquiel, historien : "Pour moi, l’ #anonymat pratiqué par les #r éseauxsociaux est une régression (...) La #d émocratie, c’est avancer à visage découvert" #le79Inter

796

223

781

3

48

187

Alexander Doria

@Dorialexander

1 month

So officially releasing our first pretrained model tomorrow.

8

2

199

Alexander Doria

@Dorialexander

6 years

@Karim__Fr Au-delà des problèmes de date, Cary Grant était bisexuel et le voici dans un joli peignoir féminin (dans bringing up baby, 1937, le premier film à mentionner "gay" dans le sens d’homosexuel au cinéma)

Alexander Doria

@Dorialexander

7 years

Sinon il y a aussi le Cary Grant de 1937 qui se sent "gay" dans un joli peignoir féminin

1

7

21

3

19

179

Alexander Doria

@Dorialexander

2 years

Comme il tient absolument à avoir raison, il invoque maintenant la première charade populaire de l’histoire : "sans poisson tout est possible" ("sine poisson totus").

10

5

182

Alexander Doria

@Dorialexander

10 months

Meanwhile deep philosophical discussions are held on Reddit at well passed 1am.

3

180

Alexander Doria

@Dorialexander

3 months

Still calling it: synthetic data and small models are going to be the backbone of AI in production.

tomaarsen

@tomaarsen

3 months

78.17% -> 93.40% accuracy by finetuning an embedding dataset on a small synthetic dataset with Sentence Transformers v3! Great work 👏

0

11

144

12

24

170

Alexander Doria

@Dorialexander

4 months

If even Nvidia is a tad speculative, wishing good luck on AI co raising >100M without a business model.

0

1

163

Alexander Doria

@Dorialexander

2 years

So it's time for a (rather long) thread on AI generative art, copyright, and intellectual property.

7

37

157

Alexander Doria

@Dorialexander

4 years

Libgen et sci-hub sont officiellement débloqués en France! Plus besoin d'errer d'un nom de domaine miroir à l'autre.

The Sound of Science

@SoundofScFr

4 years

Sci-hub et Libgen débloqués chez les FAI français ?

4

54

111

2

86

151

Alexander Doria

@Dorialexander

4 years

@DoStephanie_77 @VidalFrederique Justement, vu le nombre de problèmes réels à l'université en ce moment, ce n'est pas vraiment la peine d'inventer des problèmes imaginaires.

0

4

147

Alexander Doria

@Dorialexander

1 year

Visiblement les scrapers ont bon dos : le contrat de Twitter avec Google Cloud expirait le 30 juin et (sans surprise) rien n’était près.

River_Tam

@RiverTamYDN

1 year

What's that renewal date?

13

318

857

4

108

157

Alexander Doria

@Dorialexander

4 years

Je crois que la seule leçon que l'on va tirer des choix politiques de ces 20-30 années va être : les économies ça coûte cher.

4

52

154

Alexander Doria

@Dorialexander

2 years

Ça intéresserait un peu du monde un décorticage du fonctionnement technique de chatGPT ? Je ne crois pas avoir vu grand chose en français mais je me trompe peut-être.

13

9

155

Alexander Doria

@Dorialexander

23 days

AI aside, @duckdb is probably the most magical piece of technology of recent years.

10

8

155

Alexander Doria

@Dorialexander

1 year

@Carzonfye Unsurprisingly the same ones are more or less openly cheering on the potential death of Internet Archive. This is a transparent corporate op at this point…

5

23

142

Alexander Doria

@Dorialexander

4 years

Allez, pour chaque like je donne une œuvre dans le domaine public en 2021.

1

22

141

Alexander Doria

@Dorialexander

10 months

Announcing the official release of Brahe, an analytic LLM for analyzing literature works in multiple languages.

7

53

146

Alexander Doria

@Dorialexander

1 year

Bref même d’un point de vue bêtement utilitarien/libéral on est en train de casser durablement une des principales sources de croissance économique au 21e siècle.

Delphine Espagno

@Espagno2

1 year

Les universités sommées de faire le tri dans leurs formations

6

35

48

3

42

139

Alexander Doria

@Dorialexander

2 years

@christapeterso Definite parallel with how some rich people reacted to the pandemics: for the first time in years, she cannot get what she wants and has a utter nervous breakdown…

0

2

132

Alexander Doria

@Dorialexander

1 year

Today I am releasing BERTransfer, a new application developed at #opsci for reusable text classification on a large scale with the BERT models of @huggingface

2

34

138

Alexander Doria

@Dorialexander

1 year

Et un nouvel entrant majeur dans le petit monde des ChatGPT open source. Développé par @laion_ai et @huggingface OpenAssistant est entraîné sur un vaste corpus de conversations (161000 en 35 langages) et sa qualité est souvent comparable à GPT 3.5

2

36

133

Alexander Doria

@Dorialexander

9 months

IA : attention à la désinformation. Je vois monter depuis quelques jours une campagne de désinformation organisée, orchestrée par un réseau d'acteurs américains peu connus en France : le Future of Life Institute, PauseAI, ControlAI, etc.

10

58

111

Alexander Doria

@Dorialexander

9 months

In many ways, I think Mistral is ending the "open source LLMs" phase. They seem to have successfully pulled off an open weights model not far off GPT-4. And simultaneously they are now restricting reuse of outputs to train models (on their new API).

Far El

@far__el

9 months

So Mistral prohibits you from using their models to train or improve other models or compete against them........... I thought they were fully open......

43

32

359

16

17

129

Alexander Doria

@Dorialexander

10 months

Unsurprised. This is the LLM I use the most right now: similar in quality to GPT-3.5 for lots of use case and extreme speed due to being a 7B. For corpus analysis/annotation, OpenAI can't compete.

Teknium (e/λ)

@Teknium1

10 months

Hermes 2.5 is the 2nd top ranking model on the HuggingFace Leaderboard :)

27

21

341

3

11

127

Alexander Doria

@Dorialexander

5 months

As Llama 3 is working fine in French with a >95% English dataset, taking the opportunity to signal this great paper by @antonschafer et al.: counter-intuitively language imbalance in pre-training helps with cross-linguistic generation.

The Role of Language Imbalance in Cross-lingual Generalisation:...

Multilinguality is crucial for extending recent advancements in language modelling to diverse linguistic communities. To maintain high performance while representing multiple languages,...

arxiv.org

7

27

128

Alexander Doria

@Dorialexander

5 months

Fine-tuning tip so far: lower the learning rate. Llama 3 8b feels "heavy" which makes sense given the unusual density of training. You need to take it slowly to converge. It’s like a big boat with lots of inertia.

Alexander Doria

@Dorialexander

5 months

Fine-tuning night, here we go.

1

0

13

6

124

Alexander Doria

@Dorialexander

3 years

Les crypto-monnaies ne sont pas seulement en train de détruire l'écosystème naturel mais aussi l'écosystème informatique : des services importants ferment à cause du piratage pour "miner" du bitcoin & co.

Andres Guadamuz

@technollama

3 years

This is why we can't have nice things. Public repositories that offer any type of CPU bandwidth are under attack from malicious cryptominers. It's become so bad that most public resources are shutting down.

3

29

59

3

95

115

Alexander Doria

@Dorialexander

8 months

@pronounced_kyle @NateKrefman Well for a start, training of Llama is >97% English + code. Even with Wikipedia only, there are way more articles in other languages *not* translated in English than there are English articles.

0

123

Alexander Doria

@Dorialexander

4 months

153 pages report on your LLM and the data section is this.

Jeff Dean (@🏡)

@JeffDean

4 months

Gemini 1.5 Model Family: Technical Report updates now published In the report we present the latest models of the Gemini family – Gemini 1.5 Pro and Gemini 1.5 Flash, two highly compute-efficient multimodal models capable of recalling and reasoning over fine-grained information

28

233

991

6

11

124

Alexander Doria

@Dorialexander

1 year

Ah je vais enfin avoir l’occasion de sortir ce meme scientifique classique.

6

14

118

Alexander Doria

@Dorialexander

3 years

"Ce taxte a ete' genere pàr OCR": j entends de plÒs en plus souvenT ¢ette expression dans l introdüction ∂e vieux textes. Je sais que ieur intention est bo~ne. Mais je leur dis : cette expre≈sion n est pas polie. Eh non.!'("'~* 1/4

2

28

114

Alexander Doria

@Dorialexander

4 months

@BramVanroy Same. And I don't know how everyone think this will be sustainable long term. There are major inventives now to build competitive infra.

2

0

116

Alexander Doria

@Dorialexander

2 months

If you want a definite proof that GPT-4o-mini is a small model (albeit with impressive capacities): I'm currently benchmarking OCR correction and it… switched the language from English to Spanish.

7

8

118

Alexander Doria

@Dorialexander

5 years

À lire les émois racialistes de journalistes français moins de deux jours après #Christchurch , je commence à penser que la presse traditionnelle est plus responsable de l’ascension de l’extrême-droite que les réseaux sociaux...

10

72

105

Alexander Doria

@Dorialexander

3 months

And the greatest thing is that they are largely the successors of the *telegraph lines* from 1860 onwards. The web runs on 150-years old infrastructure memory.

Jenny Zhang

@jennyzhangzt

4 months

Am I the only one who didn't know that the entire internet is literally wired physically with undersea cables?

2K

587

8K

5

24

116

Alexander Doria

@Dorialexander

7 years

Je me suis amusé à essayer de retrouver l’origine de ce proverbe "chinois" (attribué à Lao-Tseu mais il n’y a rien de tel dans ses textes). Pour l’instant l’occurrence la plus ancienne sous cette forme que j’arrive à dénicher est un... éditorial de Jean d’Ormesson en 1981

Pascal Beuvelet

@Pascal_Beuvelet

7 years

Il faut toujours souhaiter la réussite financière des plus riches que soi ! "Quand les gros maigrissent, les maigres meurent" Proverbe Chinois

15

55

68

11

63

106

Alexander Doria

@Dorialexander

6 months

I don’t get the skepticism for 7b models. The emerging stack for embedding retrieval/fine tuning/DPO is absolutely amazing. Given enough work, hou can create basically anything, way beyond what GPT-4 prompting ever allowed you.

6

8

115

Alexander Doria

@Dorialexander

1 year

Les résultats incroyables de GPT-4 aux examens (barreau, test de programmation…) seraient en grande partie dus… à la mémorisation des solutions et des corrigés dans son vaste corpus d’entraînement.

Arvind Narayanan

@random_walker

1 year

OpenAI may have tested GPT-4 on the training data: we found slam-dunk evidence that it memorizes coding problems that it's seen. Besides, exams don't tell us about real-world utility: It’s not like a lawyer’s job is to answer bar exam questions all day.

47

433

2K

9

31

115

Alexander Doria

@Dorialexander

9 months

Pretraining corpus is generally seen as an annoying task in most LLM projects, while sounding like the best job ever for anyone with a background in digital humanities.

5

9

112

Alexander Doria

@Dorialexander

6 years

@StoicInTheVoid Kafka : K. devait retrouver son client italien dans une pizzeria de quartier. Après une longue queue c’était enfin son tour : — Vous n’avez pas votre ticket ? Vous devez le prendre en haut. K. monta jusqu’à un long couloir. Il y avait un plan compliqué au mur. Il avait faim.

0

16

105

Alexander Doria

@Dorialexander

10 months

@PopulismUpdates Strong flashbacks of the first French presidential election: many electors literally confused Louis-Napoléon with the og one.

0

3

109

Alexander Doria

@Dorialexander

17 days

I really think we should start some collection of pretraining tips or something.

8

6

113

Alexander Doria

@Dorialexander

5 months

In case it can be useful to anyone: a working finetuning Qlora script for Jamba on one A100 gpu (80b: my current runs need 46b vram). Use 4bit quantization + disabled fast mamba kernels (haven't been able to make them work).

8

14

110

Alexander Doria

@Dorialexander

1 year

I can't remember a case in recent history where a literal cult got that much public influence on a key policy issue. Without any opposition this could be increadibly damaging (regulatory capture, anti-open source legislation, distraction from real issues in AI and elsewhere).

Jeremy Howard

@jeremyphoward

1 year

This is genuinely, unironically, sad.

74

30

660

4

25

108

Alexander Doria

@Dorialexander

1 year

Et finalement dans le match avec Enthoven, ChatGPT a été le seul à produire du contenu original.

MrPhi

@MonsieurPhi

1 year

@q_ruy Ah mais tiens oui ! Et après c'est les LLM qu'on caricature en perroquets stochastiques... Bravo l'humain. (C'est ça être philosophe ? Connaître un début de dissert à recaser pour toute les notions du bac...)