BLOOM: A 176B-Parameter Open-Access Multilingual Language Model - Inria - Institut national de recherche en sciences et technologies du numérique
Pré-Publication, Document De Travail Année : 2023

BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

Teven Le Scao (1) , Angela Fan (1) , Christopher Akiki , Ellie Pavlick , Suzana Ilić , Daniel Hesslow , Roman Castagné (2) , Alexandra Sasha Luccioni , François Yvon (3, 4) , Matthias Gallé , Jonathan Tow , Alexander M. Rush , Stella Biderman , Albert Webson , Pawan Sasanka Ammanamanchi , Thomas Wang , Benoît Sagot (2) , Niklas Muennighoff , Albert Villanova del Moral , Olatunji Ruwase , Rachel Bawden (2) , Stas Bekman , Angelina Mcmillan-Major , Iz Beltagy , Huu Nguyen , Lucile Saulnier , Samson Tan , Pedro Ortiz Suarez (5) , Victor Sanh , Hugo Laurençon , Yacine Jernite , Julien Launay , Margaret Mitchell , Colin Raffel , Aaron Gokaslan , Adi Simhi , Aitor Soroa , Alham Fikri Aji , Amit Alfassy , Anna Rogers , Ariel Kreisberg Nitzav , Canwen Xu , Chenghao Mou , Chris Emezue , Christopher Klamm , Colin Leong , Daniel van Strien , David Ifeoluwa Adelani , Dragomir Radev , Eduardo González Ponferrada , Efrat Levkovizh , Ethan Kim , Eyal Bar Natan , Francesco de Toni , Gérard Dupont , Germán Kruszewski , Giada Pistilli , Hady Elsahar , Hamza Benyamina , Hieu Tran , Ian Yu , Idris Abdulmumin , Isaac Johnson , Itziar Gonzalez-Dios , Javier de la Rosa , Jenny Chim , Jesse Dodge , Jian Zhu , Jonathan Chang , Jörg Frohberg , Joseph Tobing , Joydeep Bhattacharjee , Khalid Almubarak , Kimbo Chen , Kyle Lo , Leandro von Werra , Leon Weber , Long Phan , Loubna Ben Allal , Ludovic Tanguy , Manan Dey , Manuel Romero Muñoz , Maraim Masoud , María Grandury , Mario Šaško , Max Huang , Maximin Coavoux , Mayank Singh , Mike Tian-Jian Jiang , Minh Chien Vu , Mohammad A. Jauhar , Mustafa Ghaleb , Nishant Subramani , Nora Kassner , Nurulaqilla Khamis , Olivier Nguyen , Omar Espejel , Ona de Gibert , Paulo Villegas , Peter Henderson , Pierre Colombo , Priscilla Amuok , Quentin Lhoest , Rheza Harliman , Rishi Bommasani , Roberto Luis López , Rui Ribeiro , Salomey Osei , Sampo Pyysalo , Sebastian Nagel , Shamik Bose , Shamsuddeen Hassan Muhammad , Shanya Sharma , Shayne Longpre , Somaieh Nikpoor , Stanislav Silberberg , Suhas Pai , Sydney Zink , Tiago Timponi Torrent , Timo Schick , Tristan Thrush , Valentin Danchev , Vassilina Nikoulina , Veronika Laippala , Violette Lepercq , Vrinda Prabhu , Zaid Alyafeai , Zeerak Talat , Arun Raja , Benjamin Heinzerling , Chenglei Si , Elizabeth Salesky , Sabrina J. Mielke , Wilson Y. Lee , Abheesht Sharma , Andrea Santilli , Antoine Chaffin , Arnaud Stiegler , Debajyoti Datta , Eliza Szczechla , Gunjan Chhablani , Han Wang , Harshit Pandey , Hendrik Strobelt , Jason Alan Fries , Jos Rozen , Leo Gao , Lintang Sutawika , M Saiful Bari , Maged S. Al-Shaibani , Matteo Manica , Nihal Nayak , Ryan Teehan , Samuel Albanie , Sheng Shen , Srulik Ben-David , Stephen H. Bach , Taewoon Kim , Tali Bers , Thibault Fevry , Trishala Neeraj , Urmish Thakker , Vikas Raunak , Xiangru Tang , Zheng-Xin Yong , Zhiqing Sun , Shaked Brody , Yallow Uri , Hadar Tojarieh , Adam Roberts , Hyung Won Chung , Jaesung Tae , Jason Phang , Ofir Press , Conglong Li , Deepak Narayanan , Hatim Bourfoune , Jared Casper , Jeff Rasley , Max Ryabinin , Mayank Mishra , Minjia Zhang , Mohammad Shoeybi , Myriam Peyrounette , Nicolas Patry , Nouamane Tazi , Omar Sanseviero , Patrick von Platen , Pierre Cornette , Pierre François Lavallée , Rémi Lacroix , Samyam Rajbhandari , Sanchit Gandhi , Shaden Smith , Stéphane Requena , Suraj Patil , Tim Dettmers , Ahmed Baruwa , Amanpreet Singh , Anastasia Cheveleva , Anne-Laure Ligozat (3, 6) , Arjun Subramonian , Aurélie Névéol (3, 6) , Charles Lovering , Dan Garrette , Deepak Tunuguntla , Ehud Reiter , Ekaterina Taktasheva , Ekaterina Voloshina , Eli Bogdanov , Genta Indra Winata , Hailey Schoelkopf , Jan-Christoph Kalo , Jekaterina Novikova , Jessica Zosa Forde , Jordan Clive , Jungo Kasai , Ken Kawamura , Liam Hazan , Marine Carpuat , Miruna Clinciu , Najoung Kim , Newton Cheng , Oleg Serikov , Omer Antverg , Oskar van der Wal , Rui Zhang , Ruochen Zhang , Sebastian Gehrmann , Shani Pais , Tatiana Shavrina , Thomas Scialom , Tian Yun , Tomasz Limisiewicz , Verena Rieser , Vitaly Protasov , Vladislav Mikhailov , Yada Pruksachatkun , Yonatan Belinkov , Zachary Bamberger , Zdeněk Kasner , Alice Rueda , Amanda Pestana , Amir Feizpour , Ammar Khan , Amy Faranak , Ana Santos , Anthony Hevia , Antigona Unldreaj , Arash Aghagol , Arezoo Abdollahi , Aycha Tammour , Azadeh Hajihosseini , Bahareh Behroozi , Benjamin Ajibade , Bharat Saxena , Carlos Muñoz Ferrandis , Danish Contractor , David Lansky , Davis David , Douwe Kiela , Duong A. Nguyen , Edward Tan , Emi Baylor , Ezinwanne Ozoani , Fatima Mirza , Frankline Ononiwu , Habib Rezanejad , Hessie Jones , Indrani Bhattacharya , Irene Solaiman , Irina Sedenko , Isar Nejadgholi , Jesse Passmore , Josh Seltzer , Julio Bonis Sanz , Livia Dutra , Mairon Samagaio , Maraim Elbadri , Margot Mieskes , Marissa Gerchick , Martha Akinlolu , Michael Mckenna , Mike Qiu , Muhammed Ghauri , Mykola Burynok , Nafis Abrar , Nazneen Rajani , Nour Elkott , Nour Fahmy , Olanrewaju Samuel , Ran An , Rasmus Kromann , Ryan Hao , Samira Alizadeh , Sarmad Shubber , Silas Wang , Sourav Roy , Sylvain Viguier , Thanh Le , Tobi Oyebade , Trieu Le , Yoyo Yang , Zach Nguyen , Abhinav Ramesh Kashyap , Alfredo Palasciano , Alison Callahan , Anima Shukla , Antonio Miranda-Escalada , Ayush Singh , Benjamin Beilharz , Bo Wang , Caio Brito , Chenxi Zhou , Chirag Jain , Chuxin Xu , Clémentine Fourrier (2) , Daniel León Periñán , Daniel Molano , Dian Yu , Enrique Manjavacas , Fabio Barth , Florian Fuhrimann , Gabriel Altay , Giyaseddin Bayrak , Gully Burns , Helena U. Vrabec , Imane Bello , Ishani Dash , Jihyun Kang , John Giorgi , Jonas Golde , Jose David Posada , Karthik Rangasai Sivaraman , Lokesh Bulchandani , Lu Liu , Luisa Shinzato , Madeleine Hahn de Bykhovetz , Maiko Takeuchi , Marc Pàmies , Maria A Castillo , Marianna Nezhurina , Mario Sänger , Matthias Samwald , Michael Cullan , Michael Weinberg , Michiel de Wolf , Mina Mihaljcic , Minna Liu , Moritz Freidank , Myungsun Kang , Natasha Seelam , Nathan Dahlberg , Nicholas Michio Broad , Nikolaus Muellner , Pascale Fung , Patrick Haller , Ramya Chandrasekhar , Renata Eisenberg , Robert Martin , Rodrigo Canalli , Rosaline Su , Ruisi Su , Samuel Cahyawijaya , Samuele Garda , Shlok S Deshmukh , Shubhanshu Mishra , Sid Kiblawi , Simon Ott , Sinee Sang-Aroonsiri , Srishti Kumar , Stefan Schweter , Sushil Bharati , Tanmay Laud , Théo Gigant , Tomoya Kainuma , Wojciech Kusa , Yanis Labrak (7, 8) , Yash Shailesh Bajaj , Yash Venkatraman , Yifan Xu , Yingxin Xu , Yu Xu , Zhe Tan , Zhongli Xie , Zifan Ye , Mathilde Bras , Younes Belkada , Thomas Wolf
Christopher Akiki
  • Fonction : Auteur
Ellie Pavlick
  • Fonction : Auteur
Suzana Ilić
  • Fonction : Auteur
Daniel Hesslow
  • Fonction : Auteur
Alexandra Sasha Luccioni
  • Fonction : Auteur
Matthias Gallé
  • Fonction : Auteur
Jonathan Tow
  • Fonction : Auteur
Alexander M. Rush
  • Fonction : Auteur
Stella Biderman
  • Fonction : Auteur
Albert Webson
  • Fonction : Auteur
Pawan Sasanka Ammanamanchi
  • Fonction : Auteur
Thomas Wang
  • Fonction : Auteur
Niklas Muennighoff
  • Fonction : Auteur
Albert Villanova del Moral
  • Fonction : Auteur
Olatunji Ruwase
  • Fonction : Auteur
Stas Bekman
  • Fonction : Auteur
Angelina Mcmillan-Major
  • Fonction : Auteur
Iz Beltagy
  • Fonction : Auteur
Huu Nguyen
  • Fonction : Auteur
Lucile Saulnier
  • Fonction : Auteur
Samson Tan
  • Fonction : Auteur
Victor Sanh
  • Fonction : Auteur
Hugo Laurençon
  • Fonction : Auteur
Yacine Jernite
  • Fonction : Auteur
Julien Launay
  • Fonction : Auteur
Margaret Mitchell
  • Fonction : Auteur
Colin Raffel
  • Fonction : Auteur
Aaron Gokaslan
  • Fonction : Auteur
Adi Simhi
  • Fonction : Auteur
Aitor Soroa
  • Fonction : Auteur
Alham Fikri Aji
  • Fonction : Auteur
Amit Alfassy
  • Fonction : Auteur
Anna Rogers
  • Fonction : Auteur
Ariel Kreisberg Nitzav
  • Fonction : Auteur
Canwen Xu
  • Fonction : Auteur
Chenghao Mou
  • Fonction : Auteur
Chris Emezue
  • Fonction : Auteur
Christopher Klamm
  • Fonction : Auteur
Colin Leong
  • Fonction : Auteur
Daniel van Strien
  • Fonction : Auteur
David Ifeoluwa Adelani
  • Fonction : Auteur
Dragomir Radev
  • Fonction : Auteur
Eduardo González Ponferrada
  • Fonction : Auteur
Efrat Levkovizh
  • Fonction : Auteur
Ethan Kim
  • Fonction : Auteur
Eyal Bar Natan
  • Fonction : Auteur
Francesco de Toni
  • Fonction : Auteur
Gérard Dupont
  • Fonction : Auteur
Germán Kruszewski
  • Fonction : Auteur
Giada Pistilli
Hady Elsahar
  • Fonction : Auteur
Hamza Benyamina
  • Fonction : Auteur
Hieu Tran
  • Fonction : Auteur
Ian Yu
  • Fonction : Auteur
Idris Abdulmumin
  • Fonction : Auteur
Isaac Johnson
  • Fonction : Auteur
Itziar Gonzalez-Dios
  • Fonction : Auteur
Javier de la Rosa
  • Fonction : Auteur
Jenny Chim
  • Fonction : Auteur
Jesse Dodge
  • Fonction : Auteur
Jian Zhu
  • Fonction : Auteur
Jonathan Chang
  • Fonction : Auteur
Jörg Frohberg
  • Fonction : Auteur
Joseph Tobing
  • Fonction : Auteur
Joydeep Bhattacharjee
  • Fonction : Auteur
Khalid Almubarak
  • Fonction : Auteur
Kimbo Chen
  • Fonction : Auteur
Kyle Lo
  • Fonction : Auteur
Leandro von Werra
  • Fonction : Auteur
Leon Weber
  • Fonction : Auteur
Long Phan
  • Fonction : Auteur
Loubna Ben Allal
  • Fonction : Auteur
Ludovic Tanguy
Manan Dey
  • Fonction : Auteur
Manuel Romero Muñoz
  • Fonction : Auteur
Maraim Masoud
  • Fonction : Auteur
María Grandury
  • Fonction : Auteur
Mario Šaško
  • Fonction : Auteur
Max Huang
  • Fonction : Auteur
Maximin Coavoux
  • Fonction : Auteur
Mayank Singh
  • Fonction : Auteur
Mike Tian-Jian Jiang
  • Fonction : Auteur
Minh Chien Vu
  • Fonction : Auteur
Mohammad A. Jauhar
  • Fonction : Auteur
Mustafa Ghaleb
  • Fonction : Auteur
Nishant Subramani
  • Fonction : Auteur
Nora Kassner
  • Fonction : Auteur
Nurulaqilla Khamis
  • Fonction : Auteur
Olivier Nguyen
  • Fonction : Auteur
Omar Espejel
  • Fonction : Auteur
Ona de Gibert
  • Fonction : Auteur
Paulo Villegas
  • Fonction : Auteur
Peter Henderson
  • Fonction : Auteur
Pierre Colombo
  • Fonction : Auteur
Priscilla Amuok
  • Fonction : Auteur
Quentin Lhoest
  • Fonction : Auteur
Rheza Harliman
  • Fonction : Auteur
Rishi Bommasani
  • Fonction : Auteur
Roberto Luis López
  • Fonction : Auteur
Rui Ribeiro
  • Fonction : Auteur
Salomey Osei
  • Fonction : Auteur
Sampo Pyysalo
  • Fonction : Auteur
Sebastian Nagel
  • Fonction : Auteur
Shamik Bose
  • Fonction : Auteur
Shamsuddeen Hassan Muhammad
  • Fonction : Auteur
Shanya Sharma
  • Fonction : Auteur
Shayne Longpre
  • Fonction : Auteur
Somaieh Nikpoor
  • Fonction : Auteur
Stanislav Silberberg
  • Fonction : Auteur
Suhas Pai
  • Fonction : Auteur
Sydney Zink
  • Fonction : Auteur
Tiago Timponi Torrent
  • Fonction : Auteur
Timo Schick
  • Fonction : Auteur
Tristan Thrush
  • Fonction : Auteur
Valentin Danchev
  • Fonction : Auteur
Vassilina Nikoulina
  • Fonction : Auteur
Veronika Laippala
  • Fonction : Auteur
Violette Lepercq
  • Fonction : Auteur
Vrinda Prabhu
  • Fonction : Auteur
Zaid Alyafeai
  • Fonction : Auteur
Zeerak Talat
  • Fonction : Auteur
Arun Raja
  • Fonction : Auteur
Benjamin Heinzerling
  • Fonction : Auteur
Chenglei Si
  • Fonction : Auteur
Elizabeth Salesky
  • Fonction : Auteur
Sabrina J. Mielke
  • Fonction : Auteur
Wilson Y. Lee
  • Fonction : Auteur
Abheesht Sharma
  • Fonction : Auteur
Andrea Santilli
  • Fonction : Auteur
Antoine Chaffin
  • Fonction : Auteur
Arnaud Stiegler
  • Fonction : Auteur
Debajyoti Datta
  • Fonction : Auteur
Eliza Szczechla
  • Fonction : Auteur
Gunjan Chhablani
  • Fonction : Auteur
Han Wang
  • Fonction : Auteur
Harshit Pandey
  • Fonction : Auteur
Hendrik Strobelt
  • Fonction : Auteur
Jason Alan Fries
  • Fonction : Auteur
Jos Rozen
  • Fonction : Auteur
Leo Gao
  • Fonction : Auteur
Lintang Sutawika
  • Fonction : Auteur
M Saiful Bari
  • Fonction : Auteur
Maged S. Al-Shaibani
  • Fonction : Auteur
Matteo Manica
Nihal Nayak
  • Fonction : Auteur
Ryan Teehan
  • Fonction : Auteur
Samuel Albanie
  • Fonction : Auteur
Sheng Shen
  • Fonction : Auteur
Srulik Ben-David
  • Fonction : Auteur
Stephen H. Bach
  • Fonction : Auteur
Taewoon Kim
  • Fonction : Auteur
Tali Bers
  • Fonction : Auteur
Thibault Fevry
  • Fonction : Auteur
Trishala Neeraj
  • Fonction : Auteur
Urmish Thakker
  • Fonction : Auteur
Vikas Raunak
  • Fonction : Auteur
Xiangru Tang
  • Fonction : Auteur
Zheng-Xin Yong
  • Fonction : Auteur
Zhiqing Sun
  • Fonction : Auteur
Shaked Brody
  • Fonction : Auteur
Yallow Uri
  • Fonction : Auteur
Hadar Tojarieh
  • Fonction : Auteur
Adam Roberts
  • Fonction : Auteur
Hyung Won Chung
  • Fonction : Auteur
Jaesung Tae
  • Fonction : Auteur
Jason Phang
  • Fonction : Auteur
Ofir Press
  • Fonction : Auteur
Conglong Li
  • Fonction : Auteur
Deepak Narayanan
  • Fonction : Auteur
Hatim Bourfoune
  • Fonction : Auteur
Jared Casper
  • Fonction : Auteur
Jeff Rasley
  • Fonction : Auteur
Max Ryabinin
  • Fonction : Auteur
Mayank Mishra
  • Fonction : Auteur
Minjia Zhang
  • Fonction : Auteur
Mohammad Shoeybi
  • Fonction : Auteur
Myriam Peyrounette
  • Fonction : Auteur
Nicolas Patry
  • Fonction : Auteur
Nouamane Tazi
  • Fonction : Auteur
Omar Sanseviero
  • Fonction : Auteur
Patrick von Platen
  • Fonction : Auteur
Pierre Cornette
  • Fonction : Auteur
Pierre François Lavallée
  • Fonction : Auteur
Rémi Lacroix
  • Fonction : Auteur
Samyam Rajbhandari
  • Fonction : Auteur
Sanchit Gandhi
  • Fonction : Auteur
Shaden Smith
  • Fonction : Auteur
Stéphane Requena
  • Fonction : Auteur
Suraj Patil
  • Fonction : Auteur
Tim Dettmers
  • Fonction : Auteur
Ahmed Baruwa
  • Fonction : Auteur
Amanpreet Singh
  • Fonction : Auteur
Anastasia Cheveleva
  • Fonction : Auteur
Arjun Subramonian
  • Fonction : Auteur
Charles Lovering
  • Fonction : Auteur
Dan Garrette
  • Fonction : Auteur
Deepak Tunuguntla
  • Fonction : Auteur
Ehud Reiter
  • Fonction : Auteur
Ekaterina Taktasheva
  • Fonction : Auteur
Ekaterina Voloshina
  • Fonction : Auteur
Eli Bogdanov
  • Fonction : Auteur
Genta Indra Winata
  • Fonction : Auteur
Hailey Schoelkopf
  • Fonction : Auteur
Jan-Christoph Kalo
  • Fonction : Auteur
Jekaterina Novikova
  • Fonction : Auteur
Jessica Zosa Forde
  • Fonction : Auteur
Jordan Clive
  • Fonction : Auteur
Jungo Kasai
  • Fonction : Auteur
Ken Kawamura
  • Fonction : Auteur
Liam Hazan
  • Fonction : Auteur
Marine Carpuat
  • Fonction : Auteur
Miruna Clinciu
  • Fonction : Auteur
Najoung Kim
  • Fonction : Auteur
Newton Cheng
  • Fonction : Auteur
Oleg Serikov
  • Fonction : Auteur
Omer Antverg
  • Fonction : Auteur
Oskar van der Wal
  • Fonction : Auteur
Rui Zhang
  • Fonction : Auteur
Ruochen Zhang
  • Fonction : Auteur
Sebastian Gehrmann
  • Fonction : Auteur
Shani Pais
  • Fonction : Auteur
Tatiana Shavrina
  • Fonction : Auteur
Thomas Scialom
  • Fonction : Auteur
Tian Yun
  • Fonction : Auteur
Tomasz Limisiewicz
  • Fonction : Auteur
Verena Rieser
  • Fonction : Auteur
Vitaly Protasov
  • Fonction : Auteur
Vladislav Mikhailov
  • Fonction : Auteur
Yada Pruksachatkun
  • Fonction : Auteur
Yonatan Belinkov
  • Fonction : Auteur
Zachary Bamberger
  • Fonction : Auteur
Zdeněk Kasner
  • Fonction : Auteur
Alice Rueda
  • Fonction : Auteur
Amanda Pestana
  • Fonction : Auteur
Amir Feizpour
  • Fonction : Auteur
Ammar Khan
  • Fonction : Auteur
Amy Faranak
  • Fonction : Auteur
Ana Santos
  • Fonction : Auteur
Anthony Hevia
  • Fonction : Auteur
Antigona Unldreaj
  • Fonction : Auteur
Arash Aghagol
  • Fonction : Auteur
Arezoo Abdollahi
  • Fonction : Auteur
Aycha Tammour
  • Fonction : Auteur
Azadeh Hajihosseini
  • Fonction : Auteur
Bahareh Behroozi
  • Fonction : Auteur
Benjamin Ajibade
  • Fonction : Auteur
Bharat Saxena
  • Fonction : Auteur
Carlos Muñoz Ferrandis
  • Fonction : Auteur
Danish Contractor
  • Fonction : Auteur
David Lansky
  • Fonction : Auteur
Davis David
  • Fonction : Auteur
Douwe Kiela
  • Fonction : Auteur
Duong A. Nguyen
  • Fonction : Auteur
Edward Tan
  • Fonction : Auteur
Emi Baylor
  • Fonction : Auteur
Ezinwanne Ozoani
  • Fonction : Auteur
Fatima Mirza
  • Fonction : Auteur
Frankline Ononiwu
  • Fonction : Auteur
Habib Rezanejad
  • Fonction : Auteur
Hessie Jones
  • Fonction : Auteur
Indrani Bhattacharya
  • Fonction : Auteur
Irene Solaiman
  • Fonction : Auteur
Irina Sedenko
  • Fonction : Auteur
Isar Nejadgholi
  • Fonction : Auteur
Jesse Passmore
  • Fonction : Auteur
Josh Seltzer
  • Fonction : Auteur
Julio Bonis Sanz
  • Fonction : Auteur
Livia Dutra
  • Fonction : Auteur
Mairon Samagaio
  • Fonction : Auteur
Maraim Elbadri
  • Fonction : Auteur
Margot Mieskes
  • Fonction : Auteur
Marissa Gerchick
  • Fonction : Auteur
Martha Akinlolu
  • Fonction : Auteur
Michael Mckenna
  • Fonction : Auteur
Mike Qiu
  • Fonction : Auteur
Muhammed Ghauri
  • Fonction : Auteur
Mykola Burynok
  • Fonction : Auteur
Nafis Abrar
  • Fonction : Auteur
Nazneen Rajani
  • Fonction : Auteur
Nour Elkott
  • Fonction : Auteur
Nour Fahmy
  • Fonction : Auteur
Olanrewaju Samuel
  • Fonction : Auteur
Ran An
  • Fonction : Auteur
Rasmus Kromann
  • Fonction : Auteur
Ryan Hao
  • Fonction : Auteur
Samira Alizadeh
  • Fonction : Auteur
Sarmad Shubber
  • Fonction : Auteur
Silas Wang
  • Fonction : Auteur
Sourav Roy
  • Fonction : Auteur
Sylvain Viguier
  • Fonction : Auteur
Thanh Le
  • Fonction : Auteur
Tobi Oyebade
  • Fonction : Auteur
Trieu Le
  • Fonction : Auteur
Yoyo Yang
  • Fonction : Auteur
Zach Nguyen
  • Fonction : Auteur
Abhinav Ramesh Kashyap
  • Fonction : Auteur
Alfredo Palasciano
  • Fonction : Auteur
Alison Callahan
  • Fonction : Auteur
Anima Shukla
  • Fonction : Auteur
Antonio Miranda-Escalada
  • Fonction : Auteur
Ayush Singh
  • Fonction : Auteur
Benjamin Beilharz
  • Fonction : Auteur
Bo Wang
  • Fonction : Auteur
Caio Brito
  • Fonction : Auteur
Chenxi Zhou
  • Fonction : Auteur
Chirag Jain
  • Fonction : Auteur
Chuxin Xu
  • Fonction : Auteur
Daniel León Periñán
  • Fonction : Auteur
Daniel Molano
  • Fonction : Auteur
Dian Yu
  • Fonction : Auteur
Enrique Manjavacas
  • Fonction : Auteur
Fabio Barth
  • Fonction : Auteur
Florian Fuhrimann
  • Fonction : Auteur
Gabriel Altay
  • Fonction : Auteur
Giyaseddin Bayrak
  • Fonction : Auteur
Gully Burns
  • Fonction : Auteur
Helena U. Vrabec
  • Fonction : Auteur
Imane Bello
  • Fonction : Auteur
Ishani Dash
  • Fonction : Auteur
Jihyun Kang
  • Fonction : Auteur
John Giorgi
  • Fonction : Auteur
Jonas Golde
  • Fonction : Auteur
Jose David Posada
  • Fonction : Auteur
Karthik Rangasai Sivaraman
  • Fonction : Auteur
Lokesh Bulchandani
  • Fonction : Auteur
Lu Liu
  • Fonction : Auteur
Luisa Shinzato
  • Fonction : Auteur
Madeleine Hahn de Bykhovetz
  • Fonction : Auteur
Maiko Takeuchi
  • Fonction : Auteur
Marc Pàmies
  • Fonction : Auteur
Maria A Castillo
  • Fonction : Auteur
Marianna Nezhurina
  • Fonction : Auteur
Mario Sänger
  • Fonction : Auteur
Matthias Samwald
  • Fonction : Auteur
Michael Cullan
  • Fonction : Auteur
Michael Weinberg
  • Fonction : Auteur
Michiel de Wolf
  • Fonction : Auteur
Mina Mihaljcic
  • Fonction : Auteur
Minna Liu
  • Fonction : Auteur
Moritz Freidank
  • Fonction : Auteur
Myungsun Kang
  • Fonction : Auteur
Natasha Seelam
  • Fonction : Auteur
Nathan Dahlberg
  • Fonction : Auteur
Nicholas Michio Broad
  • Fonction : Auteur
Nikolaus Muellner
  • Fonction : Auteur
Pascale Fung
  • Fonction : Auteur
Patrick Haller
  • Fonction : Auteur
Ramya Chandrasekhar
  • Fonction : Auteur
Renata Eisenberg
  • Fonction : Auteur
Robert Martin
  • Fonction : Auteur
Rodrigo Canalli
  • Fonction : Auteur
Rosaline Su
  • Fonction : Auteur
Ruisi Su
  • Fonction : Auteur
Samuel Cahyawijaya
  • Fonction : Auteur
Samuele Garda
  • Fonction : Auteur
Shlok S Deshmukh
  • Fonction : Auteur
Shubhanshu Mishra
  • Fonction : Auteur
Sid Kiblawi
  • Fonction : Auteur
Simon Ott
  • Fonction : Auteur
Sinee Sang-Aroonsiri
  • Fonction : Auteur
Srishti Kumar
  • Fonction : Auteur
Stefan Schweter
  • Fonction : Auteur
Sushil Bharati
  • Fonction : Auteur
Tanmay Laud
  • Fonction : Auteur
Théo Gigant
  • Fonction : Auteur
Tomoya Kainuma
  • Fonction : Auteur
Wojciech Kusa
  • Fonction : Auteur
Yash Shailesh Bajaj
  • Fonction : Auteur
Yash Venkatraman
  • Fonction : Auteur
Yifan Xu
  • Fonction : Auteur
Yingxin Xu
  • Fonction : Auteur
Yu Xu
  • Fonction : Auteur
Zhe Tan
  • Fonction : Auteur
Zhongli Xie
  • Fonction : Auteur
Zifan Ye
  • Fonction : Auteur
Mathilde Bras
  • Fonction : Auteur
Younes Belkada
  • Fonction : Auteur
Thomas Wolf
  • Fonction : Auteur

Résumé

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
Fichier principal
Vignette du fichier
2211.05100.pdf (2.89 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03850124 , version 1 (20-11-2023)

Identifiants

Citer

Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, et al.. BLOOM: A 176B-Parameter Open-Access Multilingual Language Model. 2023. ⟨hal-03850124⟩
5753 Consultations
4658 Téléchargements

Altmetric

Partager

More