Today we release our first foundation model. OCRonos-Vintage is a 124 million parameters model pretrained end-to-end by
@pleiasfr
on 18 billion tokens of cultural heritage archives, with nearly SOTA results for OCR correction in English
Maintenant que les comptes Twitter Blue peuvent poster des vidéos d’une heure (et que la modération est à la ramasse), Twitter est en train de devenir un Pirate Bay mainstream : 6 millions de vues pour une copie piratée du film Mario Bros.
So it seems we may finally have a GPT-4 level model in open source. It's a merge of two llama 70b and since we live in the best AI timeline it's created by an anon with an avatar that looks like this:
Des personnalités "de gauche" quand Trump perd son twitter après avoir soutenu une insurrrection armée :
▶ 🔘──────── 20:13:67:23
Les mêmes quand des féministes sont suspendues en masse pour ouvrir un débat de fond.
▶ 🔘──────── 00:02
I really don’t know why LLM twitter has been sharing this embedding map all day : reconstruction of geographic proximity/relationship through semantic relationships has been already uncovered with word2vec 10 years ago.
Do language models have an internal world model? A sense of time? At multiple spatiotemporal scales?
In a new paper with
@tegmark
we provide evidence that they do by finding a literal map of the world inside the activations of Llama-2!
Happy new year ! And happy public domain day with a major new entry: the original design of Mickey Mouse!
For the occasion I’m releasing Mickey-1928 a model on
@HuggingFace
that can generate pictures of Mickey, Minnie and Pete from 1928.
There is currently a large scale coordinated effort to ensure AI regulation in Europe is going to favor one specific large AI company: Anthropic. It involves an opaque network of so-called institutes, NGOs and grassroot efforts and it should warrant way more public attention. ⬇️
J'avais un peu de mal à comprendre la réaction choquée de nombreux politiciens au blocage de Trump (hors RN) mais je crois qu'ils viennent surtout de réaliser que les règles de modération des réseaux sociaux peuvent aussi s'appliquer à eux et pas juste aux comptes lambda.
Je sais bien que tout-le-monde a d'autres préoccupations en ce moment mais j'ai finalement déniché le recoin obscur de twitter où les gens twittent EN LATIN
Announcing today in
@Wired
the release of Common Corpus, the largest collection of fully open corpus on HuggingFace: nearly 500b words (600-700b tokens) in public domain.
After 15 minutes of hard work and wild guesses, I present you my masterpiece: the political compass of
#AI
as of March 1st 2023 (susceptible to quick update…)
@JoshuaPHilll
I am afraid this is not only him but a more widespread reaction in Silicon Valley: as tech recession kicks in, you can either admit your own failure (not conceivable) or preemptively accuse all kind of people (lazy workers, bureaucrats, wokes…).
Bref, Twitter est en train de mettre à terme à un principe de base du web, universellement appliqué depuis trente ans (à quelques exceptions près) : le libre partage des hyperliens.
Big announcement:
@pleiasfr
releases a massive open corpus of 2 million Youtube videos in Creative Commons (CC-By) on
@huggingface
. Youtube-Commons features 30 billion words of audio transcriptions in multiple languages, and soon other modalities
So big announcement: thanks to the generous support from
@huggingface
I am releasing the early modern ChatGPT, MonadGPT
Any question in English or French will be answered from the perspective of someone living between 1500 and 1750.
Announcing that we are on our way to solve a long standing issue of document processing: correction of OCR mistakes.
@pleaisfr
publishes the largest dataset to date with automated OCR correction, 1 billion words in English, French, German and Italian
Il doit y avoir un mot allemand pour désigner ce sentiment de frustration de répérer un tweet intéressant au moment où la TL s'actualise et scroller éperdument sans le retrouver.
Et une bonne nouvelle pour commencer l'année : plein de textes et de créations entrent dans le domaine public, dont les œuvres complètes d'auteurs disparus depuis plus de 70 ans comme André Gide ou Ludwig Wittgenstein.
StructLM
Towards Building Generalist Models for Structured Knowledge Grounding
Structured data sources, such as tables, graphs, and databases, are ubiquitous knowledge sources. Despite the demonstrated capabilities of large language models (LLMs) on plain text, their
@karpathy
You are going to confuse everyone in France :) We commonly use IA for Intelligence artificielle but Intelligence Amplification would be… AI (Amplification de l’Intelligence).
This release confirms a multilingual paradox: Mistral OpenHermes 2.5 is easily one of the best 7B multilingual model (easily on the top of my French benchmarks) and yet… the instructions are nearly all English (94%). French is 0.27%.
I officially release MonadGPT, a chatGPT of the 17th century. MonadGPT is a finetune of
@NousResearch
excellent chat model, Mistral-Hermes on 10,000 excerpts of early modern English, French and Latin books.
Breaking: since it is release season, announcing our first suite of specialized language models for document processing tasks (OCR correction, text segmentation, bibliographic extraction) and a new major multimodal dataset we used to train them, Finance Commons.
Internet Archive perd son procès contre Hachette : c’est non seulement la fin du prêt contrôlé des vieux livres sous droit d’auteur mais le site tout entier est probablement menacé (j’imagine qu’il y aura des pénalités élevées).
Il va falloir que
@TwitterFrance
s'explique très sérieusement. Une vague de suspension qui se poursuit depuis 24 heures pour des prises de position féministe : l'erreur de modération n'est plus plaidable.
Unless Infection is a scam, it has likely been trained on nearly the same data mix as Claude-3 (the crawl/shadow library/gpt-4 synth mix they all leak to one another). Basically we are pouring enormous amount of compute to train the same model twice. This is hilarious and sad
Announcing the release of marginalia, a small python application to perform corpus analysis and retrieve structured annotations with open LLMs like Mistral Open-Hermes-2.5.
Je vais implorer Twitter de cesser de partager cette carte : on n’a pas la source (je ne trouve rien de la World Bank). Je pense vraiment que c’est Web of Science et il y a un biais massif : les articles en d’autres langues que l’anglais ne sont pas comptés…
ChatGPT, comment ça marche ? Un essai de décorticage technique du bot d'OpenAI et, au-delà, de la grande révolution de la génération de texte par intelligence artificielle
Un forum sur Reddit est entièrement peuplé de robots. Chaque compte est un modèle entraîné avec OpenGT et ils ont l’air d’habiter dans une réalité alternative où H G Wells est une "star américaine" du XIXe et Luke Skiwalker s’est fait tuer par un ours.
Ça intéresserait potentiellement du monde un tutoriel un peu technique en français sur la création d'un LLM ? En gros depuis la collecte des données/tokénisation jusqu'à l'entraînement proprement dit, la loss, le mécanisme d'attention.
Après Twitter Google s’apprête à supprimer les vidéos YouTube de comptes inactifs en masse. Je l’ai déjà dit mille fois mais l’histoire culturelle du web après 2005 va être bientôt un champ de ruines…
Au moins une bonne chose pour commencer l'année : au 1er janvier plein d'œuvres entrent dans le domaine public. Les textes de Marcel Mauss, George Orwell, George Bernard Shaw, Edgar Rice Burrows mais aussi la Ruée vers l'or de Chaplin, le Fantôme de l'Opéra de 1925...
| ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄|
COMME ELLE EST
NUMÉRISÉE DANS LE
DOMAINE PUBLIC
ON EN SAIT PLUS
SUR LA PRESSE DE
1860 QUE SUR LA
PRESSE DE 1960
(ABSURDE, NON ?)
|__________|
(\__/) ||
(•ㅅ•) ||
/ づ
Emmanuel de Waresquiel, historien : "Pour moi, l’
#anonymat
pratiqué par les
#r
éseauxsociaux est une régression (...) La
#d
émocratie, c’est avancer à visage découvert"
#le79Inter
@Karim__Fr
Au-delà des problèmes de date, Cary Grant était bisexuel et le voici dans un joli peignoir féminin (dans bringing up baby, 1937, le premier film à mentionner "gay" dans le sens d’homosexuel au cinéma)
Comme il tient absolument à avoir raison, il invoque maintenant la première charade populaire de l’histoire : "sans poisson tout est possible" ("sine poisson totus").
@DoStephanie_77
@VidalFrederique
Justement, vu le nombre de problèmes réels à l'université en ce moment, ce n'est pas vraiment la peine d'inventer des problèmes imaginaires.
Ça intéresserait un peu du monde un décorticage du fonctionnement technique de chatGPT ? Je ne crois pas avoir vu grand chose en français mais je me trompe peut-être.
@Carzonfye
Unsurprisingly the same ones are more or less openly cheering on the potential death of Internet Archive. This is a transparent corporate op at this point…
Bref même d’un point de vue bêtement utilitarien/libéral on est en train de casser durablement une des principales sources de croissance économique au 21e siècle.
@christapeterso
Definite parallel with how some rich people reacted to the pandemics: for the first time in years, she cannot get what she wants and has a utter nervous breakdown…
Today I am releasing BERTransfer, a new application developed at
#opsci
for reusable text classification on a large scale with the BERT models of
@huggingface
Et un nouvel entrant majeur dans le petit monde des ChatGPT open source. Développé par
@laion_ai
et
@huggingface
OpenAssistant est entraîné sur un vaste corpus de conversations (161000 en 35 langages) et sa qualité est souvent comparable à GPT 3.5
IA : attention à la désinformation.
Je vois monter depuis quelques jours une campagne de désinformation organisée, orchestrée par un réseau d'acteurs américains peu connus en France : le Future of Life Institute, PauseAI, ControlAI, etc.
In many ways, I think Mistral is ending the "open source LLMs" phase. They seem to have successfully pulled off an open weights model not far off GPT-4. And simultaneously they are now restricting reuse of outputs to train models (on their new API).
So Mistral prohibits you from using their models to train or improve other models or compete against them........... I thought they were fully open......
Unsurprised. This is the LLM I use the most right now: similar in quality to GPT-3.5 for lots of use case and extreme speed due to being a 7B. For corpus analysis/annotation, OpenAI can't compete.
As Llama 3 is working fine in French with a >95% English dataset, taking the opportunity to signal this great paper by
@antonschafer
et al.: counter-intuitively language imbalance in pre-training helps with cross-linguistic generation.
Fine-tuning tip so far: lower the learning rate. Llama 3 8b feels "heavy" which makes sense given the unusual density of training. You need to take it slowly to converge. It’s like a big boat with lots of inertia.
Les crypto-monnaies ne sont pas seulement en train de détruire l'écosystème naturel mais aussi l'écosystème informatique : des services importants ferment à cause du piratage pour "miner" du bitcoin & co.
This is why we can't have nice things. Public repositories that offer any type of CPU bandwidth are under attack from malicious cryptominers. It's become so bad that most public resources are shutting down.
@pronounced_kyle
@NateKrefman
Well for a start, training of Llama is >97% English + code. Even with Wikipedia only, there are way more articles in other languages *not* translated in English than there are English articles.
Gemini 1.5 Model Family: Technical Report updates now published
In the report we present the latest models of the Gemini family – Gemini 1.5 Pro and Gemini 1.5 Flash, two highly compute-efficient multimodal models capable of recalling and reasoning over fine-grained information
"Ce taxte a ete' genere pàr OCR": j entends de plÒs en plus souvenT ¢ette expression dans l introdüction ∂e vieux textes. Je sais que ieur intention est bo~ne. Mais je leur dis : cette expre≈sion n est pas polie. Eh non.!'("'~* 1/4
If you want a definite proof that GPT-4o-mini is a small model (albeit with impressive capacities): I'm currently benchmarking OCR correction and it… switched the language from English to Spanish.
À lire les émois racialistes de journalistes français moins de deux jours après
#Christchurch
, je commence à penser que la presse traditionnelle est plus responsable de l’ascension de l’extrême-droite que les réseaux sociaux...
And the greatest thing is that they are largely the successors of the *telegraph lines* from 1860 onwards. The web runs on 150-years old infrastructure memory.
Je me suis amusé à essayer de retrouver l’origine de ce proverbe "chinois" (attribué à Lao-Tseu mais il n’y a rien de tel dans ses textes). Pour l’instant l’occurrence la plus ancienne sous cette forme que j’arrive à dénicher est un... éditorial de Jean d’Ormesson en 1981
I don’t get the skepticism for 7b models. The emerging stack for embedding retrieval/fine tuning/DPO is absolutely amazing. Given enough work, hou can create basically anything, way beyond what GPT-4 prompting ever allowed you.
Les résultats incroyables de GPT-4 aux examens (barreau, test de programmation…) seraient en grande partie dus… à la mémorisation des solutions et des corrigés dans son vaste corpus d’entraînement.
OpenAI may have tested GPT-4 on the training data: we found slam-dunk evidence that it memorizes coding problems that it's seen. Besides, exams don't tell us about real-world utility: It’s not like a lawyer’s job is to answer bar exam questions all day.
Pretraining corpus is generally seen as an annoying task in most LLM projects, while sounding like the best job ever for anyone with a background in digital humanities.
@StoicInTheVoid
Kafka : K. devait retrouver son client italien dans une pizzeria de quartier. Après une longue queue c’était enfin son tour :
— Vous n’avez pas votre ticket ? Vous devez le prendre en haut.
K. monta jusqu’à un long couloir. Il y avait un plan compliqué au mur. Il avait faim.
In case it can be useful to anyone: a working finetuning Qlora script for Jamba on one A100 gpu (80b: my current runs need 46b vram). Use 4bit quantization + disabled fast mamba kernels (haven't been able to make them work).
I can't remember a case in recent history where a literal cult got that much public influence on a key policy issue. Without any opposition this could be increadibly damaging (regulatory capture, anti-open source legislation, distraction from real issues in AI and elsewhere).
@q_ruy
Ah mais tiens oui ! Et après c'est les LLM qu'on caricature en perroquets stochastiques... Bravo l'humain.
(C'est ça être philosophe ? Connaître un début de dissert à recaser pour toute les notions du bac...)