import{S as oi,i as ni,s as ri,e as n,k as c,w as _,t as a,M as li,c as r,d as s,m as d,x as E,a as l,h as o,b as m,G as t,g as u,y as q,q as $,o as b,B as g,v as ii}from"../../chunks/vendor-hf-doc-builder.js";import{T as ai}from"../../chunks/Tip-hf-doc-builder.js";import{Y as ui}from"../../chunks/Youtube-hf-doc-builder.js";import{I as zr}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as V}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as ci}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";import{F as di}from"../../chunks/FrameworkSwitchCourse-hf-doc-builder.js";function pi(ge){let p,S,v,M,T,C,G,A,L,j,W,R,Ce,ue;return{c(){p=n("p"),S=a("\u{1F4A1} Si vous voulez t\xE9l\xE9charger automatiquement votre mod\xE8le sur le "),v=n("em"),M=a("Hub"),T=a(" pendant l\u2019entra\xEEnement, passez "),C=n("code"),G=a("push_to_hub=True"),A=a(" dans le "),L=n("code"),j=a("TrainingArguments"),W=a(". Nous en apprendrons plus \xE0 ce sujet au "),R=n("a"),Ce=a("chapitre 4"),ue=a("."),this.h()},l(B){p=r(B,"P",{});var P=l(p);S=o(P,"\u{1F4A1} Si vous voulez t\xE9l\xE9charger automatiquement votre mod\xE8le sur le "),v=r(P,"EM",{});var te=l(v);M=o(te,"Hub"),te.forEach(s),T=o(P," pendant l\u2019entra\xEEnement, passez "),C=r(P,"CODE",{});var ke=l(C);G=o(ke,"push_to_hub=True"),ke.forEach(s),A=o(P," dans le "),L=r(P,"CODE",{});var h=l(L);j=o(h,"TrainingArguments"),h.forEach(s),W=o(P,". Nous en apprendrons plus \xE0 ce sujet au "),R=r(P,"A",{href:!0});var Be=l(R);Ce=o(Be,"chapitre 4"),Be.forEach(s),ue=o(P,"."),P.forEach(s),this.h()},h(){m(R,"href","/course/fr/chapter4/3")},m(B,P){u(B,p,P),t(p,S),t(p,v),t(v,M),t(p,T),t(p,C),t(C,G),t(p,A),t(p,L),t(L,j),t(p,W),t(p,R),t(R,Ce),t(p,ue)},d(B){B&&s(p)}}}function mi(ge){let p,S,v,M,T,C,G,A;return{c(){p=n("p"),S=a("\u270F\uFE0F "),v=n("strong"),M=a("Essayez !"),T=c(),C=n("em"),G=a("Finetunez"),A=a(" un mod\xE8le sur le jeu de donn\xE9es GLUE SST-2, en utilisant le traitement des donn\xE9es que vous avez fait dans la section 2.")},l(L){p=r(L,"P",{});var j=l(p);S=o(j,"\u270F\uFE0F "),v=r(j,"STRONG",{});var W=l(v);M=o(W,"Essayez !"),W.forEach(s),T=d(j),C=r(j,"EM",{});var R=l(C);G=o(R,"Finetunez"),R.forEach(s),A=o(j," un mod\xE8le sur le jeu de donn\xE9es GLUE SST-2, en utilisant le traitement des donn\xE9es que vous avez fait dans la section 2."),j.forEach(s)},m(L,j){u(L,p,j),t(p,S),t(p,v),t(v,M),t(p,T),t(p,C),t(C,G),t(p,A)},d(L){L&&s(p)}}}function fi(ge){let p,S,v,M,T,C,G,A,L,j,W,R,Ce,ue,B,P,te,ke,h,Be,tt,da,pa,st,ma,fa,at,va,ha,ot,_a,Ea,nt,qa,$a,je,ba,ga,bs,Ve,Ca,gs,ze,Cs,re,ce,rt,Te,ka,lt,ja,ks,x,za,it,Ta,Pa,ut,wa,xa,ct,Da,Oa,dt,ya,Aa,pt,La,Sa,js,Pe,zs,de,Ts,se,Ma,We,Ua,Fa,mt,Na,Ia,Ps,we,ws,pe,Ga,He,Ra,Ba,xs,D,Va,ft,Wa,Ha,vt,Ya,Ja,ht,Xa,Ka,_t,Qa,Za,Et,eo,to,Ds,xe,Os,O,so,qt,ao,oo,$t,no,ro,bt,lo,io,gt,uo,co,Ct,po,mo,ys,H,fo,kt,vo,ho,jt,_o,Eo,zt,qo,$o,As,De,Ls,me,bo,Tt,go,Co,Ss,fe,w,ko,Pt,jo,zo,wt,To,Po,xt,wo,xo,Dt,Do,Oo,Ot,yo,Ao,yt,Lo,So,Mo,le,Uo,At,Fo,No,Lt,Io,Go,Ms,ie,ve,St,Oe,Ro,Mt,Bo,Us,z,Vo,Ut,Wo,Ho,Ft,Yo,Jo,Nt,Xo,Ko,It,Qo,Zo,Gt,en,tn,Rt,sn,an,Fs,ye,Ns,Ae,Is,f,on,Bt,nn,rn,Vt,ln,un,Wt,cn,dn,Ht,pn,mn,Yt,fn,vn,Jt,hn,_n,Xt,En,qn,Kt,$n,bn,Qt,gn,Cn,Gs,U,kn,Zt,jn,zn,es,Tn,Pn,Ye,wn,xn,ts,Dn,On,Rs,Le,Bs,y,yn,ss,An,Ln,as,Sn,Mn,Se,os,Un,Fn,ns,Nn,In,rs,Gn,Rn,Vs,Me,Ws,Ue,Hs,Y,Bn,Fe,Vn,Wn,ls,Hn,Yn,is,Jn,Xn,Ys,he,Kn,us,Qn,Zn,Js,Ne,Xs,ae,er,cs,tr,sr,ds,ar,or,Ks,Ie,Qs,J,nr,ps,rr,lr,ms,ir,ur,fs,cr,dr,Zs,Ge,ea,Je,pr,ta,oe,mr,vs,fr,vr,hs,hr,_r,sa,X,Er,_s,qr,$r,Es,br,gr,Xe,Cr,kr,aa,_e,oa;return v=new di({props:{fw:ge[0]}}),A=new zr({}),B=new ci({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"English",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter3/section3.ipynb"},{label:"Fran\xE7ais",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/fr/chapter3/section3.ipynb"},{label:"English",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter3/section3.ipynb"},{label:"Fran\xE7ais",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/fr/chapter3/section3.ipynb"}]}}),te=new ui({props:{id:"nvBXf7s7vTI"}}),ze=new V({props:{code:`from datasets import load_dataset
from transformers import AutoTokenizer, DataCollatorWithPadding

raw_datasets = load_dataset("glue", "mrpc")
checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)


def tokenize_function(example):
    return tokenizer(example["sentence1"], example["sentence2"], truncation=True)


tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`,highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, DataCollatorWithPadding

raw_datasets = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)


<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)


tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`}}),Te=new zr({}),Pe=new V({props:{code:`from transformers import TrainingArguments

training_args = TrainingArguments("test-trainer")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments

training_args = TrainingArguments(<span class="hljs-string">&quot;test-trainer&quot;</span>)`}}),de=new ai({props:{$$slots:{default:[pi]},$$scope:{ctx:ge}}}),we=new V({props:{code:`from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)`}}),xe=new V({props:{code:`from transformers import Trainer

trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    tokenizer=tokenizer,
)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer

trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>],
    data_collator=data_collator,
    tokenizer=tokenizer,
)`}}),De=new V({props:{code:"trainer.train()",highlighted:"trainer.train()"}}),Oe=new zr({}),ye=new V({props:{code:`predictions = trainer.predict(tokenized_datasets["validation"])
print(predictions.predictions.shape, predictions.label_ids.shape)`,highlighted:`predictions = trainer.predict(tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>])
<span class="hljs-built_in">print</span>(predictions.predictions.shape, predictions.label_ids.shape)`}}),Ae=new V({props:{code:"(408, 2) (408,)",highlighted:'(<span class="hljs-number">408</span>, <span class="hljs-number">2</span>) (<span class="hljs-number">408</span>,)'}}),Le=new V({props:{code:`import numpy as np

preds = np.argmax(predictions.predictions, axis=-1)`,highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

preds = np.argmax(predictions.predictions, axis=-<span class="hljs-number">1</span>)`}}),Me=new V({props:{code:`import evaluate

metric = evaluate.load("glue", "mrpc")
metric.compute(predictions=preds, references=predictions.label_ids)`,highlighted:`<span class="hljs-keyword">import</span> evaluate

metric = evaluate.load(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
metric.compute(predictions=preds, references=predictions.label_ids)`}}),Ue=new V({props:{code:"{'accuracy': 0.8578431372549019, 'f1': 0.8996539792387542}",highlighted:'{<span class="hljs-string">&#x27;accuracy&#x27;</span>: <span class="hljs-number">0.8578431372549019</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.8996539792387542</span>}'}}),Ne=new V({props:{code:`def compute_metrics(eval_preds):
    metric = evaluate.load("glue", "mrpc")
    logits, labels = eval_preds
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_preds</span>):
    metric = evaluate.load(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
    logits, labels = eval_preds
    predictions = np.argmax(logits, axis=-<span class="hljs-number">1</span>)
    <span class="hljs-keyword">return</span> metric.compute(predictions=predictions, references=labels)`}}),Ie=new V({props:{code:`training_args = TrainingArguments("test-trainer", evaluation_strategy="epoch")
model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)

trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    tokenizer=tokenizer,
    compute_metrics=compute_metrics,
)`,highlighted:`training_args = TrainingArguments(<span class="hljs-string">&quot;test-trainer&quot;</span>, evaluation_strategy=<span class="hljs-string">&quot;epoch&quot;</span>)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)

trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>],
    data_collator=data_collator,
    tokenizer=tokenizer,
    compute_metrics=compute_metrics,
)`}}),Ge=new V({props:{code:"trainer.train()",highlighted:'trainer.trai<span class="hljs-meta">n</span>()'}}),_e=new ai({props:{$$slots:{default:[mi]},$$scope:{ctx:ge}}}),{c(){p=n("meta"),S=c(),_(v.$$.fragment),M=c(),T=n("h1"),C=n("a"),G=n("span"),_(A.$$.fragment),L=c(),j=n("span"),W=n("i"),R=a("Finetuner"),Ce=a(" un mod\xE8le avec l'API Trainer"),ue=c(),_(B.$$.fragment),P=c(),_(te.$$.fragment),ke=c(),h=n("p"),Be=a("La biblioth\xE8que \u{1F917} "),tt=n("em"),da=a("Transformers"),pa=a(" fournit une classe "),st=n("code"),ma=a("Trainer"),fa=a(" pour vous aider \xE0 "),at=n("em"),va=a("finetuner"),ha=a(" n\u2019importe lequel des mod\xE8les pr\xE9-entra\xEEn\xE9s qu\u2019elle met \xE0 disposition sur votre jeu de donn\xE9es. Une fois que vous avez fait tout le travail de pr\xE9traitement des donn\xE9es dans la derni\xE8re section, il ne vous reste que quelques \xE9tapes pour d\xE9finir le "),ot=n("code"),_a=a("Trainer"),Ea=a(". La partie la plus difficile sera probablement de pr\xE9parer l\u2019environnement pour ex\xE9cuter "),nt=n("code"),qa=a("Trainer.train()"),$a=a(", car elle fonctionnera tr\xE8s lentement sur un CPU. Si vous n\u2019avez pas de GPU, vous pouvez avoir acc\xE8s \xE0 des GPUs ou TPUs gratuits sur "),je=n("a"),ba=a("Google Colab"),ga=a("."),bs=c(),Ve=n("p"),Ca=a("Les exemples de code ci-dessous supposent que vous avez d\xE9j\xE0 ex\xE9cut\xE9 les exemples de la section pr\xE9c\xE9dente. Voici un bref r\xE9sum\xE9 de ce dont vous avez besoin :"),gs=c(),_(ze.$$.fragment),Cs=c(),re=n("h3"),ce=n("a"),rt=n("span"),_(Te.$$.fragment),ka=c(),lt=n("span"),ja=a("Entra\xEEnement"),ks=c(),x=n("p"),za=a("La premi\xE8re \xE9tape avant de pouvoir d\xE9finir notre "),it=n("code"),Ta=a("Trainer"),Pa=a(" est de d\xE9finir une classe "),ut=n("code"),wa=a("TrainingArguments"),xa=a(" qui contiendra tous les hyperparam\xE8tres que le "),ct=n("code"),Da=a("Trainer"),Oa=a(" utilisera pour l\u2019entra\xEEnement et l\u2019\xE9valuation. Le seul argument que vous devez fournir est un r\xE9pertoire o\xF9 le mod\xE8le entra\xEEn\xE9 sera sauvegard\xE9, ainsi que les "),dt=n("em"),ya=a("checkpoints"),Aa=a(". Pour tout le reste, vous pouvez laisser les valeurs par d\xE9faut, qui devraient fonctionner assez bien pour un "),pt=n("em"),La=a("finetuning"),Sa=a(" de base."),js=c(),_(Pe.$$.fragment),zs=c(),_(de.$$.fragment),Ts=c(),se=n("p"),Ma=a("La deuxi\xE8me \xE9tape consiste \xE0 d\xE9finir notre mod\xE8le. Comme dans le "),We=n("a"),Ua=a("chapitre pr\xE9c\xE9dent"),Fa=a(", nous utiliserons la classe "),mt=n("code"),Na=a("AutoModelForSequenceClassification"),Ia=a(", avec deux labels :"),Ps=c(),_(we.$$.fragment),ws=c(),pe=n("p"),Ga=a("Vous remarquerez que contrairement au "),He=n("a"),Ra=a("chapitre 2"),Ba=a(", vous obtenez un message d\u2019avertissement apr\xE8s l\u2019instanciation de ce mod\xE8le pr\xE9-entra\xEEn\xE9. C\u2019est parce que BERT n\u2019a pas \xE9t\xE9 pr\xE9-entra\xEEn\xE9 \xE0 la classification de paires de phrases, donc la t\xEAte du mod\xE8le pr\xE9-entra\xEEn\xE9 a \xE9t\xE9 supprim\xE9e et une nouvelle t\xEAte adapt\xE9e \xE0 la classification de s\xE9quences a \xE9t\xE9 ajout\xE9e \xE0 la place. Les messages d\u2019avertissement indiquent que certains poids n\u2019ont pas \xE9t\xE9 utilis\xE9s (ceux correspondant \xE0 la t\xEAte de pr\xE9-entra\xEEnement abandonn\xE9e) et que d\u2019autres ont \xE9t\xE9 initialis\xE9s de mani\xE8re al\xE9atoire (ceux pour la nouvelle t\xEAte). Il conclut en vous encourageant \xE0 entra\xEEner le mod\xE8le, ce qui est exactement ce que nous allons faire maintenant."),xs=c(),D=n("p"),Va=a("Une fois que nous avons notre mod\xE8le, nous pouvons d\xE9finir un "),ft=n("code"),Wa=a("Trainer"),Ha=a(" en lui passant tous les objets construits jusqu\u2019\xE0 pr\xE9sent : le "),vt=n("code"),Ya=a("model"),Ja=a(", le "),ht=n("code"),Xa=a("training_args"),Ka=a(", les jeux de donn\xE9es d\u2019entra\xEEnement et de validation, notre "),_t=n("code"),Qa=a("data_collator"),Za=a(", et notre "),Et=n("code"),eo=a("tokenizer"),to=a(" :"),Ds=c(),_(xe.$$.fragment),Os=c(),O=n("p"),so=a("Notez que lorsque vous passez le "),qt=n("code"),ao=a("tokenizer"),oo=a(" comme nous l\u2019avons fait ici, le "),$t=n("code"),no=a("data_collator"),ro=a(" par d\xE9faut utilis\xE9 par le "),bt=n("code"),lo=a("Trainer"),io=a(" sera un "),gt=n("code"),uo=a("DataCollatorWithPadding"),co=a(" comme d\xE9fini pr\xE9c\xE9demment. Ainsi, vous pouvez sauter la ligne "),Ct=n("code"),po=a("data_collator=data_collator"),mo=a(" dans cet appel. Il \xE9tait quand m\xEAme important de vous montrer cette partie du traitement dans la section 2 !"),ys=c(),H=n("p"),fo=a("Pour "),kt=n("em"),vo=a("finetuner"),ho=a(" le mod\xE8le sur notre jeu de donn\xE9es, il suffit d\u2019appeler la m\xE9thode "),jt=n("code"),_o=a("train()"),Eo=a(" de notre "),zt=n("code"),qo=a("Trainer"),$o=a(" :"),As=c(),_(De.$$.fragment),Ls=c(),me=n("p"),bo=a("Cela lancera le "),Tt=n("em"),go=a("finetuning"),Co=a(" (qui devrait prendre quelques minutes sur un GPU) et indiquera la perte d\u2019entra\xEEnement tous les 500 pas. Cependant, elle ne vous dira pas si votre mod\xE8le fonctionne bien (ou mal). Ceci est d\xFB au fait que :"),Ss=c(),fe=n("ol"),w=n("li"),ko=a("nous n\u2019avons pas dit au "),Pt=n("code"),jo=a("Trainer"),zo=a(" d\u2019\xE9valuer pendant l\u2019entra\xEEnement en r\xE9glant "),wt=n("code"),To=a("evaluation_strategy"),Po=a(" \xE0 soit "),xt=n("code"),wo=a('"steps"'),xo=a(" (\xE9valuer chaque "),Dt=n("code"),Do=a("eval_steps"),Oo=a(") ou "),Ot=n("code"),yo=a('"epoch"'),Ao=a(" (\xE9valuer \xE0 la fin de chaque "),yt=n("em"),Lo=a("epoch"),So=a(")."),Mo=c(),le=n("li"),Uo=a("nous n\u2019avons pas fourni au "),At=n("code"),Fo=a("Trainer"),No=a(" une fonction "),Lt=n("code"),Io=a("compute_metrics()"),Go=a(" pour calculer une m\xE9trique pendant ladite \xE9valuation (sinon l\u2019\xE9valuation aurait juste affich\xE9 la perte, qui n\u2019est pas un nombre tr\xE8s intuitif)."),Ms=c(),ie=n("h3"),ve=n("a"),St=n("span"),_(Oe.$$.fragment),Ro=c(),Mt=n("span"),Bo=a("Evaluation"),Us=c(),z=n("p"),Vo=a("Voyons comment nous pouvons construire une fonction "),Ut=n("code"),Wo=a("compute_metrics()"),Ho=a(" utile et l\u2019utiliser la prochaine fois que nous entra\xEEnons. La fonction doit prendre un objet "),Ft=n("code"),Yo=a("EvalPrediction"),Jo=a(" (qui est un "),Nt=n("em"),Xo=a("tuple"),Ko=a(" nomm\xE9 avec un champ "),It=n("code"),Qo=a("predictions"),Zo=a(" et un champ "),Gt=n("code"),en=a("label_ids"),tn=a(") et retournera un dictionnaire de cha\xEEnes de caract\xE8res vers des flottants (les cha\xEEnes de caract\xE8res \xE9tant les noms des m\xE9triques retourn\xE9es, et les flottants leurs valeurs). Pour obtenir des pr\xE9dictions de notre mod\xE8le, nous pouvons utiliser la commande "),Rt=n("code"),sn=a("Trainer.predict()"),an=a(" :"),Fs=c(),_(ye.$$.fragment),Ns=c(),_(Ae.$$.fragment),Is=c(),f=n("p"),on=a("La sortie de la m\xE9thode "),Bt=n("code"),nn=a("predict()"),rn=a(" est un autre "),Vt=n("em"),ln=a("tuple"),un=a(" nomm\xE9 avec trois champs : "),Wt=n("code"),cn=a("predictions"),dn=a(", "),Ht=n("code"),pn=a("label_ids"),mn=a(", et "),Yt=n("code"),fn=a("metrics"),vn=a(". Le champ "),Jt=n("code"),hn=a("metrics"),_n=a(" contiendra juste la perte sur le jeu de donn\xE9es pass\xE9, ainsi que quelques mesures de temps (combien de temps il a fallu pour pr\xE9dire, au total et en moyenne). Une fois que nous aurons compl\xE9t\xE9 notre fonction "),Xt=n("code"),En=a("compute_metrics()"),qn=a(" et que nous l\u2019aurons pass\xE9 au "),Kt=n("code"),$n=a("Trainer"),bn=a(", ce champ contiendra \xE9galement les m\xE9triques retourn\xE9es par "),Qt=n("code"),gn=a("compute_metrics()"),Cn=a("."),Gs=c(),U=n("p"),kn=a("Comme vous pouvez le voir, "),Zt=n("code"),jn=a("predictions"),zn=a(" est un tableau bidimensionnel de forme 408 x 2 (408 \xE9tant le nombre d\u2019\xE9l\xE9ments dans le jeu de donn\xE9es que nous avons utilis\xE9). Ce sont les logits pour chaque \xE9l\xE9ment du jeu de donn\xE9es que nous avons pass\xE9 \xE0 "),es=n("code"),Tn=a("predict()"),Pn=a(" (comme vous l\u2019avez vu dans le "),Ye=n("a"),wn=a("chapitre pr\xE9c\xE9dent"),xn=a(", tous les "),ts=n("em"),Dn=a("transformers"),On=a(" retournent des logits). Pour les transformer en pr\xE9dictions que nous pouvons comparer \xE0 nos \xE9tiquettes, nous devons prendre l\u2019indice avec la valeur maximale sur le second axe :"),Rs=c(),_(Le.$$.fragment),Bs=c(),y=n("p"),yn=a("Nous pouvons maintenant comparer ces "),ss=n("code"),An=a("preds"),Ln=a(" aux \xE9tiquettes. Pour construire notre fonction "),as=n("code"),Sn=a("compute_metric()"),Mn=a(", nous allons nous appuyer sur les m\xE9triques de la biblioth\xE8que \u{1F917} "),Se=n("a"),os=n("em"),Un=a("Evaluate"),Fn=a(". Nous pouvons charger les m\xE9triques associ\xE9es au jeu de donn\xE9es MRPC aussi facilement que nous avons charg\xE9 le jeu de donn\xE9es, cette fois avec la fonction "),ns=n("code"),Nn=a("evaluate.load()"),In=a(". L\u2019objet retourn\xE9 poss\xE8de une m\xE9thode "),rs=n("code"),Gn=a("compute()"),Rn=a(" que nous pouvons utiliser pour effectuer le calcul de la m\xE9trique :"),Vs=c(),_(Me.$$.fragment),Ws=c(),_(Ue.$$.fragment),Hs=c(),Y=n("p"),Bn=a("Les r\xE9sultats exacts que vous obtiendrez peuvent varier, car l\u2019initialisation al\xE9atoire de la t\xEAte du mod\xE8le peut modifier les m\xE9triques obtenues. Ici, nous pouvons voir que notre mod\xE8le a une pr\xE9cision de 85,78% sur l\u2019ensemble de validation et un score F1 de 89,97. Ce sont les deux m\xE9triques utilis\xE9es pour \xE9valuer les r\xE9sultats sur le jeu de donn\xE9es MRPC pour le benchmark GLUE. Le tableau du papier de "),Fe=n("a"),Vn=a("BERT"),Wn=a(" indique un score F1 de 88,9 pour le mod\xE8le de base. Il s\u2019agissait du mod\xE8le "),ls=n("code"),Hn=a("uncased"),Yn=a(" alors que nous utilisons actuellement le mod\xE8le "),is=n("code"),Jn=a("cased"),Xn=a(", ce qui explique le meilleur r\xE9sultat."),Ys=c(),he=n("p"),Kn=a("En regroupant le tout, nous obtenons notre fonction "),us=n("code"),Qn=a("compute_metrics()"),Zn=a(" :"),Js=c(),_(Ne.$$.fragment),Xs=c(),ae=n("p"),er=a("Et pour le voir utilis\xE9 en action pour rapporter les m\xE9triques \xE0 la fin de chaque \xE9poque, voici comment nous d\xE9finissons un nouveau "),cs=n("code"),tr=a("Trainer"),sr=a(" avec cette fonction "),ds=n("code"),ar=a("compute_metrics()"),or=a(" :"),Ks=c(),_(Ie.$$.fragment),Qs=c(),J=n("p"),nr=a("Notez que nous cr\xE9ons un nouveau "),ps=n("code"),rr=a("TrainingArguments"),lr=a(" avec sa "),ms=n("code"),ir=a("evaluation_strategy"),ur=a(" d\xE9finie sur "),fs=n("code"),cr=a('"epoch"'),dr=a(" et un nouveau mod\xE8le. Sinon, nous ne ferions que continuer l\u2019entra\xEEnement du mod\xE8le que nous avons d\xE9j\xE0 entra\xEEn\xE9. Pour lancer un nouveau cycle d\u2019entra\xEEnement, nous ex\xE9cutons :"),Zs=c(),_(Ge.$$.fragment),ea=c(),Je=n("p"),pr=a("Cette fois, il indiquera la perte et les mesures de validation \xE0 la fin de chaque \xE9poque, en plus de la perte d\u2019entra\xEEnement. Encore une fois, le score exact de pr\xE9cision/F1 que vous atteignez peut \xEAtre un peu diff\xE9rent de ce que nous avons trouv\xE9, en raison de l\u2019initialisation al\xE9atoire de la t\xEAte du mod\xE8le, mais il devrait \xEAtre dans la m\xEAme fourchette."),ta=c(),oe=n("p"),mr=a("Le "),vs=n("code"),fr=a("Trainer"),vr=a(" fonctionnera sur plusieurs GPUs ou TPUs et fournit beaucoup d\u2019options, comme l\u2019entra\xEEnement en pr\xE9cision mixte (utilisez "),hs=n("code"),hr=a("fp16 = True"),_r=a(" dans vos arguments d\u2019entra\xEEnement). Nous passerons en revue tout ce qu\u2019il supporte dans le chapitre 10."),sa=c(),X=n("p"),Er=a("Ceci conclut l\u2019introduction au "),_s=n("em"),qr=a("fine-tuning"),$r=a(" en utilisant l\u2019API "),Es=n("code"),br=a("Trainer"),gr=a(". Un exemple d\u2019utilisation pour les t\xE2ches de NLP les plus communes es donn\xE9 dans le "),Xe=n("a"),Cr=a("chapitre 7"),kr=a(", mais pour l\u2019instant regardons comment faire la m\xEAme chose en PyTorch pur."),aa=c(),_(_e.$$.fragment),this.h()},l(e){const i=li('[data-svelte="svelte-1phssyn"]',document.head);p=r(i,"META",{name:!0,content:!0}),i.forEach(s),S=d(e),E(v.$$.fragment,e),M=d(e),T=r(e,"H1",{class:!0});var Re=l(T);C=r(Re,"A",{id:!0,class:!0,href:!0});var qs=l(C);G=r(qs,"SPAN",{});var $s=l(G);E(A.$$.fragment,$s),$s.forEach(s),qs.forEach(s),L=d(Re),j=r(Re,"SPAN",{});var jr=l(j);W=r(jr,"I",{});var Tr=l(W);R=o(Tr,"Finetuner"),Tr.forEach(s),Ce=o(jr," un mod\xE8le avec l'API Trainer"),jr.forEach(s),Re.forEach(s),ue=d(e),E(B.$$.fragment,e),P=d(e),E(te.$$.fragment,e),ke=d(e),h=r(e,"P",{});var F=l(h);Be=o(F,"La biblioth\xE8que \u{1F917} "),tt=r(F,"EM",{});var Pr=l(tt);da=o(Pr,"Transformers"),Pr.forEach(s),pa=o(F," fournit une classe "),st=r(F,"CODE",{});var wr=l(st);ma=o(wr,"Trainer"),wr.forEach(s),fa=o(F," pour vous aider \xE0 "),at=r(F,"EM",{});var xr=l(at);va=o(xr,"finetuner"),xr.forEach(s),ha=o(F," n\u2019importe lequel des mod\xE8les pr\xE9-entra\xEEn\xE9s qu\u2019elle met \xE0 disposition sur votre jeu de donn\xE9es. Une fois que vous avez fait tout le travail de pr\xE9traitement des donn\xE9es dans la derni\xE8re section, il ne vous reste que quelques \xE9tapes pour d\xE9finir le "),ot=r(F,"CODE",{});var Dr=l(ot);_a=o(Dr,"Trainer"),Dr.forEach(s),Ea=o(F,". La partie la plus difficile sera probablement de pr\xE9parer l\u2019environnement pour ex\xE9cuter "),nt=r(F,"CODE",{});var Or=l(nt);qa=o(Or,"Trainer.train()"),Or.forEach(s),$a=o(F,", car elle fonctionnera tr\xE8s lentement sur un CPU. Si vous n\u2019avez pas de GPU, vous pouvez avoir acc\xE8s \xE0 des GPUs ou TPUs gratuits sur "),je=r(F,"A",{href:!0,rel:!0});var yr=l(je);ba=o(yr,"Google Colab"),yr.forEach(s),ga=o(F,"."),F.forEach(s),bs=d(e),Ve=r(e,"P",{});var Ar=l(Ve);Ca=o(Ar,"Les exemples de code ci-dessous supposent que vous avez d\xE9j\xE0 ex\xE9cut\xE9 les exemples de la section pr\xE9c\xE9dente. Voici un bref r\xE9sum\xE9 de ce dont vous avez besoin :"),Ar.forEach(s),gs=d(e),E(ze.$$.fragment,e),Cs=d(e),re=r(e,"H3",{class:!0});var na=l(re);ce=r(na,"A",{id:!0,class:!0,href:!0});var Lr=l(ce);rt=r(Lr,"SPAN",{});var Sr=l(rt);E(Te.$$.fragment,Sr),Sr.forEach(s),Lr.forEach(s),ka=d(na),lt=r(na,"SPAN",{});var Mr=l(lt);ja=o(Mr,"Entra\xEEnement"),Mr.forEach(s),na.forEach(s),ks=d(e),x=r(e,"P",{});var K=l(x);za=o(K,"La premi\xE8re \xE9tape avant de pouvoir d\xE9finir notre "),it=r(K,"CODE",{});var Ur=l(it);Ta=o(Ur,"Trainer"),Ur.forEach(s),Pa=o(K," est de d\xE9finir une classe "),ut=r(K,"CODE",{});var Fr=l(ut);wa=o(Fr,"TrainingArguments"),Fr.forEach(s),xa=o(K," qui contiendra tous les hyperparam\xE8tres que le "),ct=r(K,"CODE",{});var Nr=l(ct);Da=o(Nr,"Trainer"),Nr.forEach(s),Oa=o(K," utilisera pour l\u2019entra\xEEnement et l\u2019\xE9valuation. Le seul argument que vous devez fournir est un r\xE9pertoire o\xF9 le mod\xE8le entra\xEEn\xE9 sera sauvegard\xE9, ainsi que les "),dt=r(K,"EM",{});var Ir=l(dt);ya=o(Ir,"checkpoints"),Ir.forEach(s),Aa=o(K,". Pour tout le reste, vous pouvez laisser les valeurs par d\xE9faut, qui devraient fonctionner assez bien pour un "),pt=r(K,"EM",{});var Gr=l(pt);La=o(Gr,"finetuning"),Gr.forEach(s),Sa=o(K," de base."),K.forEach(s),js=d(e),E(Pe.$$.fragment,e),zs=d(e),E(de.$$.fragment,e),Ts=d(e),se=r(e,"P",{});var Ke=l(se);Ma=o(Ke,"La deuxi\xE8me \xE9tape consiste \xE0 d\xE9finir notre mod\xE8le. Comme dans le "),We=r(Ke,"A",{href:!0});var Rr=l(We);Ua=o(Rr,"chapitre pr\xE9c\xE9dent"),Rr.forEach(s),Fa=o(Ke,", nous utiliserons la classe "),mt=r(Ke,"CODE",{});var Br=l(mt);Na=o(Br,"AutoModelForSequenceClassification"),Br.forEach(s),Ia=o(Ke,", avec deux labels :"),Ke.forEach(s),Ps=d(e),E(we.$$.fragment,e),ws=d(e),pe=r(e,"P",{});var ra=l(pe);Ga=o(ra,"Vous remarquerez que contrairement au "),He=r(ra,"A",{href:!0});var Vr=l(He);Ra=o(Vr,"chapitre 2"),Vr.forEach(s),Ba=o(ra,", vous obtenez un message d\u2019avertissement apr\xE8s l\u2019instanciation de ce mod\xE8le pr\xE9-entra\xEEn\xE9. C\u2019est parce que BERT n\u2019a pas \xE9t\xE9 pr\xE9-entra\xEEn\xE9 \xE0 la classification de paires de phrases, donc la t\xEAte du mod\xE8le pr\xE9-entra\xEEn\xE9 a \xE9t\xE9 supprim\xE9e et une nouvelle t\xEAte adapt\xE9e \xE0 la classification de s\xE9quences a \xE9t\xE9 ajout\xE9e \xE0 la place. Les messages d\u2019avertissement indiquent que certains poids n\u2019ont pas \xE9t\xE9 utilis\xE9s (ceux correspondant \xE0 la t\xEAte de pr\xE9-entra\xEEnement abandonn\xE9e) et que d\u2019autres ont \xE9t\xE9 initialis\xE9s de mani\xE8re al\xE9atoire (ceux pour la nouvelle t\xEAte). Il conclut en vous encourageant \xE0 entra\xEEner le mod\xE8le, ce qui est exactement ce que nous allons faire maintenant."),ra.forEach(s),xs=d(e),D=r(e,"P",{});var Q=l(D);Va=o(Q,"Une fois que nous avons notre mod\xE8le, nous pouvons d\xE9finir un "),ft=r(Q,"CODE",{});var Wr=l(ft);Wa=o(Wr,"Trainer"),Wr.forEach(s),Ha=o(Q," en lui passant tous les objets construits jusqu\u2019\xE0 pr\xE9sent : le "),vt=r(Q,"CODE",{});var Hr=l(vt);Ya=o(Hr,"model"),Hr.forEach(s),Ja=o(Q,", le "),ht=r(Q,"CODE",{});var Yr=l(ht);Xa=o(Yr,"training_args"),Yr.forEach(s),Ka=o(Q,", les jeux de donn\xE9es d\u2019entra\xEEnement et de validation, notre "),_t=r(Q,"CODE",{});var Jr=l(_t);Qa=o(Jr,"data_collator"),Jr.forEach(s),Za=o(Q,", et notre "),Et=r(Q,"CODE",{});var Xr=l(Et);eo=o(Xr,"tokenizer"),Xr.forEach(s),to=o(Q," :"),Q.forEach(s),Ds=d(e),E(xe.$$.fragment,e),Os=d(e),O=r(e,"P",{});var Z=l(O);so=o(Z,"Notez que lorsque vous passez le "),qt=r(Z,"CODE",{});var Kr=l(qt);ao=o(Kr,"tokenizer"),Kr.forEach(s),oo=o(Z," comme nous l\u2019avons fait ici, le "),$t=r(Z,"CODE",{});var Qr=l($t);no=o(Qr,"data_collator"),Qr.forEach(s),ro=o(Z," par d\xE9faut utilis\xE9 par le "),bt=r(Z,"CODE",{});var Zr=l(bt);lo=o(Zr,"Trainer"),Zr.forEach(s),io=o(Z," sera un "),gt=r(Z,"CODE",{});var el=l(gt);uo=o(el,"DataCollatorWithPadding"),el.forEach(s),co=o(Z," comme d\xE9fini pr\xE9c\xE9demment. Ainsi, vous pouvez sauter la ligne "),Ct=r(Z,"CODE",{});var tl=l(Ct);po=o(tl,"data_collator=data_collator"),tl.forEach(s),mo=o(Z," dans cet appel. Il \xE9tait quand m\xEAme important de vous montrer cette partie du traitement dans la section 2 !"),Z.forEach(s),ys=d(e),H=r(e,"P",{});var Ee=l(H);fo=o(Ee,"Pour "),kt=r(Ee,"EM",{});var sl=l(kt);vo=o(sl,"finetuner"),sl.forEach(s),ho=o(Ee," le mod\xE8le sur notre jeu de donn\xE9es, il suffit d\u2019appeler la m\xE9thode "),jt=r(Ee,"CODE",{});var al=l(jt);_o=o(al,"train()"),al.forEach(s),Eo=o(Ee," de notre "),zt=r(Ee,"CODE",{});var ol=l(zt);qo=o(ol,"Trainer"),ol.forEach(s),$o=o(Ee," :"),Ee.forEach(s),As=d(e),E(De.$$.fragment,e),Ls=d(e),me=r(e,"P",{});var la=l(me);bo=o(la,"Cela lancera le "),Tt=r(la,"EM",{});var nl=l(Tt);go=o(nl,"finetuning"),nl.forEach(s),Co=o(la," (qui devrait prendre quelques minutes sur un GPU) et indiquera la perte d\u2019entra\xEEnement tous les 500 pas. Cependant, elle ne vous dira pas si votre mod\xE8le fonctionne bien (ou mal). Ceci est d\xFB au fait que :"),la.forEach(s),Ss=d(e),fe=r(e,"OL",{});var ia=l(fe);w=r(ia,"LI",{});var N=l(w);ko=o(N,"nous n\u2019avons pas dit au "),Pt=r(N,"CODE",{});var rl=l(Pt);jo=o(rl,"Trainer"),rl.forEach(s),zo=o(N," d\u2019\xE9valuer pendant l\u2019entra\xEEnement en r\xE9glant "),wt=r(N,"CODE",{});var ll=l(wt);To=o(ll,"evaluation_strategy"),ll.forEach(s),Po=o(N," \xE0 soit "),xt=r(N,"CODE",{});var il=l(xt);wo=o(il,'"steps"'),il.forEach(s),xo=o(N," (\xE9valuer chaque "),Dt=r(N,"CODE",{});var ul=l(Dt);Do=o(ul,"eval_steps"),ul.forEach(s),Oo=o(N,") ou "),Ot=r(N,"CODE",{});var cl=l(Ot);yo=o(cl,'"epoch"'),cl.forEach(s),Ao=o(N," (\xE9valuer \xE0 la fin de chaque "),yt=r(N,"EM",{});var dl=l(yt);Lo=o(dl,"epoch"),dl.forEach(s),So=o(N,")."),N.forEach(s),Mo=d(ia),le=r(ia,"LI",{});var Qe=l(le);Uo=o(Qe,"nous n\u2019avons pas fourni au "),At=r(Qe,"CODE",{});var pl=l(At);Fo=o(pl,"Trainer"),pl.forEach(s),No=o(Qe," une fonction "),Lt=r(Qe,"CODE",{});var ml=l(Lt);Io=o(ml,"compute_metrics()"),ml.forEach(s),Go=o(Qe," pour calculer une m\xE9trique pendant ladite \xE9valuation (sinon l\u2019\xE9valuation aurait juste affich\xE9 la perte, qui n\u2019est pas un nombre tr\xE8s intuitif)."),Qe.forEach(s),ia.forEach(s),Ms=d(e),ie=r(e,"H3",{class:!0});var ua=l(ie);ve=r(ua,"A",{id:!0,class:!0,href:!0});var fl=l(ve);St=r(fl,"SPAN",{});var vl=l(St);E(Oe.$$.fragment,vl),vl.forEach(s),fl.forEach(s),Ro=d(ua),Mt=r(ua,"SPAN",{});var hl=l(Mt);Bo=o(hl,"Evaluation"),hl.forEach(s),ua.forEach(s),Us=d(e),z=r(e,"P",{});var I=l(z);Vo=o(I,"Voyons comment nous pouvons construire une fonction "),Ut=r(I,"CODE",{});var _l=l(Ut);Wo=o(_l,"compute_metrics()"),_l.forEach(s),Ho=o(I," utile et l\u2019utiliser la prochaine fois que nous entra\xEEnons. La fonction doit prendre un objet "),Ft=r(I,"CODE",{});var El=l(Ft);Yo=o(El,"EvalPrediction"),El.forEach(s),Jo=o(I," (qui est un "),Nt=r(I,"EM",{});var ql=l(Nt);Xo=o(ql,"tuple"),ql.forEach(s),Ko=o(I," nomm\xE9 avec un champ "),It=r(I,"CODE",{});var $l=l(It);Qo=o($l,"predictions"),$l.forEach(s),Zo=o(I," et un champ "),Gt=r(I,"CODE",{});var bl=l(Gt);en=o(bl,"label_ids"),bl.forEach(s),tn=o(I,") et retournera un dictionnaire de cha\xEEnes de caract\xE8res vers des flottants (les cha\xEEnes de caract\xE8res \xE9tant les noms des m\xE9triques retourn\xE9es, et les flottants leurs valeurs). Pour obtenir des pr\xE9dictions de notre mod\xE8le, nous pouvons utiliser la commande "),Rt=r(I,"CODE",{});var gl=l(Rt);sn=o(gl,"Trainer.predict()"),gl.forEach(s),an=o(I," :"),I.forEach(s),Fs=d(e),E(ye.$$.fragment,e),Ns=d(e),E(Ae.$$.fragment,e),Is=d(e),f=r(e,"P",{});var k=l(f);on=o(k,"La sortie de la m\xE9thode "),Bt=r(k,"CODE",{});var Cl=l(Bt);nn=o(Cl,"predict()"),Cl.forEach(s),rn=o(k," est un autre "),Vt=r(k,"EM",{});var kl=l(Vt);ln=o(kl,"tuple"),kl.forEach(s),un=o(k," nomm\xE9 avec trois champs : "),Wt=r(k,"CODE",{});var jl=l(Wt);cn=o(jl,"predictions"),jl.forEach(s),dn=o(k,", "),Ht=r(k,"CODE",{});var zl=l(Ht);pn=o(zl,"label_ids"),zl.forEach(s),mn=o(k,", et "),Yt=r(k,"CODE",{});var Tl=l(Yt);fn=o(Tl,"metrics"),Tl.forEach(s),vn=o(k,". Le champ "),Jt=r(k,"CODE",{});var Pl=l(Jt);hn=o(Pl,"metrics"),Pl.forEach(s),_n=o(k," contiendra juste la perte sur le jeu de donn\xE9es pass\xE9, ainsi que quelques mesures de temps (combien de temps il a fallu pour pr\xE9dire, au total et en moyenne). Une fois que nous aurons compl\xE9t\xE9 notre fonction "),Xt=r(k,"CODE",{});var wl=l(Xt);En=o(wl,"compute_metrics()"),wl.forEach(s),qn=o(k," et que nous l\u2019aurons pass\xE9 au "),Kt=r(k,"CODE",{});var xl=l(Kt);$n=o(xl,"Trainer"),xl.forEach(s),bn=o(k,", ce champ contiendra \xE9galement les m\xE9triques retourn\xE9es par "),Qt=r(k,"CODE",{});var Dl=l(Qt);gn=o(Dl,"compute_metrics()"),Dl.forEach(s),Cn=o(k,"."),k.forEach(s),Gs=d(e),U=r(e,"P",{});var ne=l(U);kn=o(ne,"Comme vous pouvez le voir, "),Zt=r(ne,"CODE",{});var Ol=l(Zt);jn=o(Ol,"predictions"),Ol.forEach(s),zn=o(ne," est un tableau bidimensionnel de forme 408 x 2 (408 \xE9tant le nombre d\u2019\xE9l\xE9ments dans le jeu de donn\xE9es que nous avons utilis\xE9). Ce sont les logits pour chaque \xE9l\xE9ment du jeu de donn\xE9es que nous avons pass\xE9 \xE0 "),es=r(ne,"CODE",{});var yl=l(es);Tn=o(yl,"predict()"),yl.forEach(s),Pn=o(ne," (comme vous l\u2019avez vu dans le "),Ye=r(ne,"A",{href:!0});var Al=l(Ye);wn=o(Al,"chapitre pr\xE9c\xE9dent"),Al.forEach(s),xn=o(ne,", tous les "),ts=r(ne,"EM",{});var Ll=l(ts);Dn=o(Ll,"transformers"),Ll.forEach(s),On=o(ne," retournent des logits). Pour les transformer en pr\xE9dictions que nous pouvons comparer \xE0 nos \xE9tiquettes, nous devons prendre l\u2019indice avec la valeur maximale sur le second axe :"),ne.forEach(s),Rs=d(e),E(Le.$$.fragment,e),Bs=d(e),y=r(e,"P",{});var ee=l(y);yn=o(ee,"Nous pouvons maintenant comparer ces "),ss=r(ee,"CODE",{});var Sl=l(ss);An=o(Sl,"preds"),Sl.forEach(s),Ln=o(ee," aux \xE9tiquettes. Pour construire notre fonction "),as=r(ee,"CODE",{});var Ml=l(as);Sn=o(Ml,"compute_metric()"),Ml.forEach(s),Mn=o(ee,", nous allons nous appuyer sur les m\xE9triques de la biblioth\xE8que \u{1F917} "),Se=r(ee,"A",{href:!0,rel:!0});var Ul=l(Se);os=r(Ul,"EM",{});var Fl=l(os);Un=o(Fl,"Evaluate"),Fl.forEach(s),Ul.forEach(s),Fn=o(ee,". Nous pouvons charger les m\xE9triques associ\xE9es au jeu de donn\xE9es MRPC aussi facilement que nous avons charg\xE9 le jeu de donn\xE9es, cette fois avec la fonction "),ns=r(ee,"CODE",{});var Nl=l(ns);Nn=o(Nl,"evaluate.load()"),Nl.forEach(s),In=o(ee,". L\u2019objet retourn\xE9 poss\xE8de une m\xE9thode "),rs=r(ee,"CODE",{});var Il=l(rs);Gn=o(Il,"compute()"),Il.forEach(s),Rn=o(ee," que nous pouvons utiliser pour effectuer le calcul de la m\xE9trique :"),ee.forEach(s),Vs=d(e),E(Me.$$.fragment,e),Ws=d(e),E(Ue.$$.fragment,e),Hs=d(e),Y=r(e,"P",{});var qe=l(Y);Bn=o(qe,"Les r\xE9sultats exacts que vous obtiendrez peuvent varier, car l\u2019initialisation al\xE9atoire de la t\xEAte du mod\xE8le peut modifier les m\xE9triques obtenues. Ici, nous pouvons voir que notre mod\xE8le a une pr\xE9cision de 85,78% sur l\u2019ensemble de validation et un score F1 de 89,97. Ce sont les deux m\xE9triques utilis\xE9es pour \xE9valuer les r\xE9sultats sur le jeu de donn\xE9es MRPC pour le benchmark GLUE. Le tableau du papier de "),Fe=r(qe,"A",{href:!0,rel:!0});var Gl=l(Fe);Vn=o(Gl,"BERT"),Gl.forEach(s),Wn=o(qe," indique un score F1 de 88,9 pour le mod\xE8le de base. Il s\u2019agissait du mod\xE8le "),ls=r(qe,"CODE",{});var Rl=l(ls);Hn=o(Rl,"uncased"),Rl.forEach(s),Yn=o(qe," alors que nous utilisons actuellement le mod\xE8le "),is=r(qe,"CODE",{});var Bl=l(is);Jn=o(Bl,"cased"),Bl.forEach(s),Xn=o(qe,", ce qui explique le meilleur r\xE9sultat."),qe.forEach(s),Ys=d(e),he=r(e,"P",{});var ca=l(he);Kn=o(ca,"En regroupant le tout, nous obtenons notre fonction "),us=r(ca,"CODE",{});var Vl=l(us);Qn=o(Vl,"compute_metrics()"),Vl.forEach(s),Zn=o(ca," :"),ca.forEach(s),Js=d(e),E(Ne.$$.fragment,e),Xs=d(e),ae=r(e,"P",{});var Ze=l(ae);er=o(Ze,"Et pour le voir utilis\xE9 en action pour rapporter les m\xE9triques \xE0 la fin de chaque \xE9poque, voici comment nous d\xE9finissons un nouveau "),cs=r(Ze,"CODE",{});var Wl=l(cs);tr=o(Wl,"Trainer"),Wl.forEach(s),sr=o(Ze," avec cette fonction "),ds=r(Ze,"CODE",{});var Hl=l(ds);ar=o(Hl,"compute_metrics()"),Hl.forEach(s),or=o(Ze," :"),Ze.forEach(s),Ks=d(e),E(Ie.$$.fragment,e),Qs=d(e),J=r(e,"P",{});var $e=l(J);nr=o($e,"Notez que nous cr\xE9ons un nouveau "),ps=r($e,"CODE",{});var Yl=l(ps);rr=o(Yl,"TrainingArguments"),Yl.forEach(s),lr=o($e," avec sa "),ms=r($e,"CODE",{});var Jl=l(ms);ir=o(Jl,"evaluation_strategy"),Jl.forEach(s),ur=o($e," d\xE9finie sur "),fs=r($e,"CODE",{});var Xl=l(fs);cr=o(Xl,'"epoch"'),Xl.forEach(s),dr=o($e," et un nouveau mod\xE8le. Sinon, nous ne ferions que continuer l\u2019entra\xEEnement du mod\xE8le que nous avons d\xE9j\xE0 entra\xEEn\xE9. Pour lancer un nouveau cycle d\u2019entra\xEEnement, nous ex\xE9cutons :"),$e.forEach(s),Zs=d(e),E(Ge.$$.fragment,e),ea=d(e),Je=r(e,"P",{});var Kl=l(Je);pr=o(Kl,"Cette fois, il indiquera la perte et les mesures de validation \xE0 la fin de chaque \xE9poque, en plus de la perte d\u2019entra\xEEnement. Encore une fois, le score exact de pr\xE9cision/F1 que vous atteignez peut \xEAtre un peu diff\xE9rent de ce que nous avons trouv\xE9, en raison de l\u2019initialisation al\xE9atoire de la t\xEAte du mod\xE8le, mais il devrait \xEAtre dans la m\xEAme fourchette."),Kl.forEach(s),ta=d(e),oe=r(e,"P",{});var et=l(oe);mr=o(et,"Le "),vs=r(et,"CODE",{});var Ql=l(vs);fr=o(Ql,"Trainer"),Ql.forEach(s),vr=o(et," fonctionnera sur plusieurs GPUs ou TPUs et fournit beaucoup d\u2019options, comme l\u2019entra\xEEnement en pr\xE9cision mixte (utilisez "),hs=r(et,"CODE",{});var Zl=l(hs);hr=o(Zl,"fp16 = True"),Zl.forEach(s),_r=o(et," dans vos arguments d\u2019entra\xEEnement). Nous passerons en revue tout ce qu\u2019il supporte dans le chapitre 10."),et.forEach(s),sa=d(e),X=r(e,"P",{});var be=l(X);Er=o(be,"Ceci conclut l\u2019introduction au "),_s=r(be,"EM",{});var ei=l(_s);qr=o(ei,"fine-tuning"),ei.forEach(s),$r=o(be," en utilisant l\u2019API "),Es=r(be,"CODE",{});var ti=l(Es);br=o(ti,"Trainer"),ti.forEach(s),gr=o(be,". Un exemple d\u2019utilisation pour les t\xE2ches de NLP les plus communes es donn\xE9 dans le "),Xe=r(be,"A",{href:!0});var si=l(Xe);Cr=o(si,"chapitre 7"),si.forEach(s),kr=o(be,", mais pour l\u2019instant regardons comment faire la m\xEAme chose en PyTorch pur."),be.forEach(s),aa=d(e),E(_e.$$.fragment,e),this.h()},h(){m(p,"name","hf:doc:metadata"),m(p,"content",JSON.stringify(vi)),m(C,"id","ifinetuneri-un-modle-avec-lapi-trainer"),m(C,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),m(C,"href","#ifinetuneri-un-modle-avec-lapi-trainer"),m(T,"class","relative group"),m(je,"href","https://colab.research.google.com/"),m(je,"rel","nofollow"),m(ce,"id","entranement"),m(ce,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),m(ce,"href","#entranement"),m(re,"class","relative group"),m(We,"href","/course/fr/chapter2"),m(He,"href","/course/fr/chapter2"),m(ve,"id","evaluation"),m(ve,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),m(ve,"href","#evaluation"),m(ie,"class","relative group"),m(Ye,"href","/course/fr/chapter2"),m(Se,"href","https://github.com/huggingface/evaluate/"),m(Se,"rel","nofollow"),m(Fe,"href","https://arxiv.org/pdf/1810.04805.pdf"),m(Fe,"rel","nofollow"),m(Xe,"href","/course/fr/chapter7")},m(e,i){t(document.head,p),u(e,S,i),q(v,e,i),u(e,M,i),u(e,T,i),t(T,C),t(C,G),q(A,G,null),t(T,L),t(T,j),t(j,W),t(W,R),t(j,Ce),u(e,ue,i),q(B,e,i),u(e,P,i),q(te,e,i),u(e,ke,i),u(e,h,i),t(h,Be),t(h,tt),t(tt,da),t(h,pa),t(h,st),t(st,ma),t(h,fa),t(h,at),t(at,va),t(h,ha),t(h,ot),t(ot,_a),t(h,Ea),t(h,nt),t(nt,qa),t(h,$a),t(h,je),t(je,ba),t(h,ga),u(e,bs,i),u(e,Ve,i),t(Ve,Ca),u(e,gs,i),q(ze,e,i),u(e,Cs,i),u(e,re,i),t(re,ce),t(ce,rt),q(Te,rt,null),t(re,ka),t(re,lt),t(lt,ja),u(e,ks,i),u(e,x,i),t(x,za),t(x,it),t(it,Ta),t(x,Pa),t(x,ut),t(ut,wa),t(x,xa),t(x,ct),t(ct,Da),t(x,Oa),t(x,dt),t(dt,ya),t(x,Aa),t(x,pt),t(pt,La),t(x,Sa),u(e,js,i),q(Pe,e,i),u(e,zs,i),q(de,e,i),u(e,Ts,i),u(e,se,i),t(se,Ma),t(se,We),t(We,Ua),t(se,Fa),t(se,mt),t(mt,Na),t(se,Ia),u(e,Ps,i),q(we,e,i),u(e,ws,i),u(e,pe,i),t(pe,Ga),t(pe,He),t(He,Ra),t(pe,Ba),u(e,xs,i),u(e,D,i),t(D,Va),t(D,ft),t(ft,Wa),t(D,Ha),t(D,vt),t(vt,Ya),t(D,Ja),t(D,ht),t(ht,Xa),t(D,Ka),t(D,_t),t(_t,Qa),t(D,Za),t(D,Et),t(Et,eo),t(D,to),u(e,Ds,i),q(xe,e,i),u(e,Os,i),u(e,O,i),t(O,so),t(O,qt),t(qt,ao),t(O,oo),t(O,$t),t($t,no),t(O,ro),t(O,bt),t(bt,lo),t(O,io),t(O,gt),t(gt,uo),t(O,co),t(O,Ct),t(Ct,po),t(O,mo),u(e,ys,i),u(e,H,i),t(H,fo),t(H,kt),t(kt,vo),t(H,ho),t(H,jt),t(jt,_o),t(H,Eo),t(H,zt),t(zt,qo),t(H,$o),u(e,As,i),q(De,e,i),u(e,Ls,i),u(e,me,i),t(me,bo),t(me,Tt),t(Tt,go),t(me,Co),u(e,Ss,i),u(e,fe,i),t(fe,w),t(w,ko),t(w,Pt),t(Pt,jo),t(w,zo),t(w,wt),t(wt,To),t(w,Po),t(w,xt),t(xt,wo),t(w,xo),t(w,Dt),t(Dt,Do),t(w,Oo),t(w,Ot),t(Ot,yo),t(w,Ao),t(w,yt),t(yt,Lo),t(w,So),t(fe,Mo),t(fe,le),t(le,Uo),t(le,At),t(At,Fo),t(le,No),t(le,Lt),t(Lt,Io),t(le,Go),u(e,Ms,i),u(e,ie,i),t(ie,ve),t(ve,St),q(Oe,St,null),t(ie,Ro),t(ie,Mt),t(Mt,Bo),u(e,Us,i),u(e,z,i),t(z,Vo),t(z,Ut),t(Ut,Wo),t(z,Ho),t(z,Ft),t(Ft,Yo),t(z,Jo),t(z,Nt),t(Nt,Xo),t(z,Ko),t(z,It),t(It,Qo),t(z,Zo),t(z,Gt),t(Gt,en),t(z,tn),t(z,Rt),t(Rt,sn),t(z,an),u(e,Fs,i),q(ye,e,i),u(e,Ns,i),q(Ae,e,i),u(e,Is,i),u(e,f,i),t(f,on),t(f,Bt),t(Bt,nn),t(f,rn),t(f,Vt),t(Vt,ln),t(f,un),t(f,Wt),t(Wt,cn),t(f,dn),t(f,Ht),t(Ht,pn),t(f,mn),t(f,Yt),t(Yt,fn),t(f,vn),t(f,Jt),t(Jt,hn),t(f,_n),t(f,Xt),t(Xt,En),t(f,qn),t(f,Kt),t(Kt,$n),t(f,bn),t(f,Qt),t(Qt,gn),t(f,Cn),u(e,Gs,i),u(e,U,i),t(U,kn),t(U,Zt),t(Zt,jn),t(U,zn),t(U,es),t(es,Tn),t(U,Pn),t(U,Ye),t(Ye,wn),t(U,xn),t(U,ts),t(ts,Dn),t(U,On),u(e,Rs,i),q(Le,e,i),u(e,Bs,i),u(e,y,i),t(y,yn),t(y,ss),t(ss,An),t(y,Ln),t(y,as),t(as,Sn),t(y,Mn),t(y,Se),t(Se,os),t(os,Un),t(y,Fn),t(y,ns),t(ns,Nn),t(y,In),t(y,rs),t(rs,Gn),t(y,Rn),u(e,Vs,i),q(Me,e,i),u(e,Ws,i),q(Ue,e,i),u(e,Hs,i),u(e,Y,i),t(Y,Bn),t(Y,Fe),t(Fe,Vn),t(Y,Wn),t(Y,ls),t(ls,Hn),t(Y,Yn),t(Y,is),t(is,Jn),t(Y,Xn),u(e,Ys,i),u(e,he,i),t(he,Kn),t(he,us),t(us,Qn),t(he,Zn),u(e,Js,i),q(Ne,e,i),u(e,Xs,i),u(e,ae,i),t(ae,er),t(ae,cs),t(cs,tr),t(ae,sr),t(ae,ds),t(ds,ar),t(ae,or),u(e,Ks,i),q(Ie,e,i),u(e,Qs,i),u(e,J,i),t(J,nr),t(J,ps),t(ps,rr),t(J,lr),t(J,ms),t(ms,ir),t(J,ur),t(J,fs),t(fs,cr),t(J,dr),u(e,Zs,i),q(Ge,e,i),u(e,ea,i),u(e,Je,i),t(Je,pr),u(e,ta,i),u(e,oe,i),t(oe,mr),t(oe,vs),t(vs,fr),t(oe,vr),t(oe,hs),t(hs,hr),t(oe,_r),u(e,sa,i),u(e,X,i),t(X,Er),t(X,_s),t(_s,qr),t(X,$r),t(X,Es),t(Es,br),t(X,gr),t(X,Xe),t(Xe,Cr),t(X,kr),u(e,aa,i),q(_e,e,i),oa=!0},p(e,[i]){const Re={};i&1&&(Re.fw=e[0]),v.$set(Re);const qs={};i&2&&(qs.$$scope={dirty:i,ctx:e}),de.$set(qs);const $s={};i&2&&($s.$$scope={dirty:i,ctx:e}),_e.$set($s)},i(e){oa||($(v.$$.fragment,e),$(A.$$.fragment,e),$(B.$$.fragment,e),$(te.$$.fragment,e),$(ze.$$.fragment,e),$(Te.$$.fragment,e),$(Pe.$$.fragment,e),$(de.$$.fragment,e),$(we.$$.fragment,e),$(xe.$$.fragment,e),$(De.$$.fragment,e),$(Oe.$$.fragment,e),$(ye.$$.fragment,e),$(Ae.$$.fragment,e),$(Le.$$.fragment,e),$(Me.$$.fragment,e),$(Ue.$$.fragment,e),$(Ne.$$.fragment,e),$(Ie.$$.fragment,e),$(Ge.$$.fragment,e),$(_e.$$.fragment,e),oa=!0)},o(e){b(v.$$.fragment,e),b(A.$$.fragment,e),b(B.$$.fragment,e),b(te.$$.fragment,e),b(ze.$$.fragment,e),b(Te.$$.fragment,e),b(Pe.$$.fragment,e),b(de.$$.fragment,e),b(we.$$.fragment,e),b(xe.$$.fragment,e),b(De.$$.fragment,e),b(Oe.$$.fragment,e),b(ye.$$.fragment,e),b(Ae.$$.fragment,e),b(Le.$$.fragment,e),b(Me.$$.fragment,e),b(Ue.$$.fragment,e),b(Ne.$$.fragment,e),b(Ie.$$.fragment,e),b(Ge.$$.fragment,e),b(_e.$$.fragment,e),oa=!1},d(e){s(p),e&&s(S),g(v,e),e&&s(M),e&&s(T),g(A),e&&s(ue),g(B,e),e&&s(P),g(te,e),e&&s(ke),e&&s(h),e&&s(bs),e&&s(Ve),e&&s(gs),g(ze,e),e&&s(Cs),e&&s(re),g(Te),e&&s(ks),e&&s(x),e&&s(js),g(Pe,e),e&&s(zs),g(de,e),e&&s(Ts),e&&s(se),e&&s(Ps),g(we,e),e&&s(ws),e&&s(pe),e&&s(xs),e&&s(D),e&&s(Ds),g(xe,e),e&&s(Os),e&&s(O),e&&s(ys),e&&s(H),e&&s(As),g(De,e),e&&s(Ls),e&&s(me),e&&s(Ss),e&&s(fe),e&&s(Ms),e&&s(ie),g(Oe),e&&s(Us),e&&s(z),e&&s(Fs),g(ye,e),e&&s(Ns),g(Ae,e),e&&s(Is),e&&s(f),e&&s(Gs),e&&s(U),e&&s(Rs),g(Le,e),e&&s(Bs),e&&s(y),e&&s(Vs),g(Me,e),e&&s(Ws),g(Ue,e),e&&s(Hs),e&&s(Y),e&&s(Ys),e&&s(he),e&&s(Js),g(Ne,e),e&&s(Xs),e&&s(ae),e&&s(Ks),g(Ie,e),e&&s(Qs),e&&s(J),e&&s(Zs),g(Ge,e),e&&s(ea),e&&s(Je),e&&s(ta),e&&s(oe),e&&s(sa),e&&s(X),e&&s(aa),g(_e,e)}}}const vi={local:"ifinetuneri-un-modle-avec-lapi-trainer",sections:[{local:"entranement",title:"Entra\xEEnement"},{local:"evaluation",title:"Evaluation"}],title:"<i>Finetuner</i> un mod\xE8le avec l'API Trainer"};function hi(ge,p,S){let v="pt";return ii(()=>{const M=new URLSearchParams(window.location.search);S(0,v=M.get("fw")||"pt")}),[v]}class ki extends oi{constructor(p){super();ni(this,p,hi,fi,ri,{})}}export{ki as default,vi as metadata};
