V c  yxa p g»  ya Ó  Y x u º c y VVac  y   y `dfgqi`¢|Ôq|qi`d´v¤33dÑh`idc¤ CvvdbCx`bqÒg¿Vb¢hhgÑ 3`33Vg¡¢hY V  i e Y y  XYa y  YcxYac y y Vx gVa p y cx V YaV gV   Ð D Ï ÊBÎ ÊÍB EÌ Ë Ê E DB ÊB 8 É P I È v3h{gb3CqgseBFDÂËvCq&3he¨$ÂICCA¨R$W Ç  e 33V  ia X a ÄY e i c gV pi VaY VaV c V ycx Ya X y gaV V i qhi&!iCdÃcqjbfdCdjxd¢h`gT3h3!& Cq`gqbd¤`d¦thdCqvq3|b$¤ Y yaY e V uac V c ic V aV gix i Y y VcY C&e c'qVdh$Hqid&ybTghdqf4¢q3ÆpCcfey y V V c g  y i X y g ycY Y y aY e cxY V   y YcY   y  V c &`4qdgy ic V aV gix y d'hdCqvq3h¤ {g3vvfe Vi cxVaaix Y gV y  Å  y  V  gV pi y xY ia X XY y  ¢dq3R3hh¿V  cTuÄCt3dÃcq¢qhqj'¬  Vc u X e ix ic V u y e  ya i  Y g y dfq|T'cqhq¡qidc bCyq`ghdqh`CdCVvgg93'¨9qi3dcvvy3hfy Y Y y aY e Y g Vx gVa p y y g gV  ¬  g yaV yax  i i V »q`qidcv`hÂxÁjev&4`gd`u Y g y y  g i º e u y Y e V c  y g yc u ya y hivdcv V e i  y fh|Àdc¤ VcY y ia X XY ic V  i e Y y  XYa dbfevrd`bRd'Cvvftq3xbq¿Y p aVcV eYa X V c ic y e  ia X y c ic xY ia X X bijCd3qqY`dfc  d¾CV`q¢qd`bY Y X c ¼ aicxV  V Vax y  g gV  y  V ei  gY g y b3xyv½d q¢Chdc3d3dv¹9Cvfqd¡`bhg qidc  u y y  » g i g f g º uac V e i a vdacv$¤&vu¢Vdfh|fqip b`gqbe Y yaY Vc yaY y g u VcY y ia X X ic Y i V c  gY g VaV i &Ydqrdbfevrd`bYd!yhbqd`q¹q3d`q'y aicxV V ei g x gVa p y  g yc u ya y  Y yaY qdChfqdWqV3`33Vg¸g3Tqidvd|cvb`gqbe pi Vx gVa y  gY y gaY V  gaVx gix aV XY X y  bµ`CdCVpvg·Tb¶gbCVµ`dc¢`33`q31CTq`´'¬ ¯ |$WW¤v h®  °³   ² ± °  ¯  Y y aY e Vc y Va X pi xYa uxxY V  Cq`ghdq4dxvd`Ab3qCqc Va u YV e f ya V c VaV  g f ya Y y y X eV pi g y C|hCfdsdC¤$ddbq3xdaf3vb¦hic Y y y y e cxV y  Y y y c cY c y Vi g yY &fegf¢davd¨¨`d&`Ac3q&`jgbe V  ¬  g yc y Va X Y yaY e Vc yaY y g u cY V '¡9qidxvd`sb`gqb&Ydqr&jC3x ia X Vx gVa p y V c pi ¤« ª© ¨¥§ ¥¤ £ V c pi  eaV be`CdCVvghq!h&¢&¦3edvb9f3c g¢¢dav4`qvCdj¡g`dqC9 3Tqid&ey y cxV y  V gi  gV c y  y gaYV   g ycY  ia X XY  aV gV VV p   V y X y g g ycx g p V vrqhdC3d3aCad`gv9qid`ufh  gix Y pi g ycY y y y e V c V  ic V V   vq3jAqqidbCfegf`dTdCg  v!|ca  !C3vT33Vvgdv3$b`'gehd&ey y Vx ia X Vx gVa p y V c gaV XY X y c   VcY  ia X XY y V  i e V c a i Vx ia X Vx gVa p y V  vrqth3vvf`dshC3vd`CdCVvgc aV  yV gV    y  ux y  aV  u x Y ia X X Y y  3cCC¤CVdcv¦3hv|ihhq¦c g3h3!&3Tqidvd|vvbTghdqf$b'T33Vvgy aV V i   g yc u yac y  Y y aY e pi Vx gVa p xd|ybTqAhiqhvd¦hfhWtdqv`y3hfy yc y Y ia X a p i ic g i e e ix Y VaY  i i V e u y Y e  y u V yYac V  i e Y y  XY ev&gd`gbdCvvbCx`ba    ~ $evqdH}
p q (xi |y) q (x|y) p(xi |y) q (x|y) p(x|y) q (xi |y) p(x|y) x

 gY  Y YVa V c y y  ¬  g ycx g p    yxV X aV u b&vqbdfd'j9hi¢`uWhi¡CV  Td|C|`4Y pi  eaVc y  yc gY u Ö V  gYx V Y V uac  gY  g yc y bf3ÑgV  b`j$¡bCCub&¦dTb`hi¢xv Va X gVV cV  c gV eVVaY V cgaViVai e  gY gV uac y y  3d`C3!$¨3fC3qb¤CCq&3qf`bhqd¨`dc cY c c ui  ga uc   YcY   y yYac  y   g yc y Va X VV  b`dtvqt`dtÆcbjggbddc¤s`hi¢xvCWdC`dc g Y ic V  ÄY V   ui pi aVcV eYaY X V c cY  qyb¿¢CcTurqT¢q3x b¦3fbbTj&Tdc f y c ic Ya ucY g y yg  y X XY e Y  Y pi c  ui  ¬  p V gdddhb&`ec&Tg`b¨h$q¨q`q'3Â3Vy3$ ic    yaY VaV i ei p  y X XY e y  X y gY gY  dCVbYb&iq3d`q×qaÑg`bjcxy`e¢bRbTdc Vai e  y ci g y y qfRgbc'g aVi Vgix 3q&1qvhy `gvw Vx y  ÔÂ3Vy3$shh¢ÔbTghdqfhv`C|`|Ó p V Ó a i g Y y a Y e i  uV X  Yx  p i cV V c aV i V  g ix V  c u q3viqdj'3q&4qvhj$W|`je g hi&&dC|Tqi g ycYaV  gY aiÕ vb¦q`j g ycx g p V ei pi aVcV eYaY hi¢`ujfqd!bWCd3qq`X V c  y gaY  cV   u aV XY X y c g  Y yxV X w  V  `dÑgbCVd|Chqdj3$bTdAqq3x  TvÑcT¦y g yc y Va X Y yaY e cY è褫§¥ £ ¤« ª¤¥¤¦ Ú ¤ Û § ¤« ª© hi¢xvChb`gqb¤&dh$3d3Cêjç¦$&¨ 楧 ¥¤ £ V c cY c x u g ycx g p cY c pi aVcV eYaY X V  ¢b¦``dd&`¡`d¿qid`ud&`ebWCdfqq``dc  y pi  y g ix gV c XVc  y ga Y  V  ¬  g ycx g p V `g|cc  becd`q3fCdfCd|¦g`dqCV¤'e9qid`u3q  g ix Y pi g ycY y y y e »  Ycx Yac V e uVa º Y V  i q¿b´hi&Cfe`gf¦rV`bqd `|dÂXT¿dc XV  Vx gVa p y V c  y g  g  V g i  y y  ¬ V u Cd|c`CdCVvg¡gv  ca  qvhvj'¡CCd |q&$b'bRdqT&qiyCfbv33djCTq`'¬ y Vi Y V c pi ci  VcYa V eY ic  fVV aV XY X y  Vx gVa p y cx Y V  y e uY gV q3`33Vvg¤¢hv3fgfdqÑ3qCV gCq`gqbd¢xvd¤|C$`dCqq'&Tdhivdc  Y y aY e Vc y Va X cV  V c V y  cY c g yc u ya våhda¦33hvj'Ñ9qidv`d|dc y  V c e i p c gVaV y  y y  ¬  g yc u yac y  V ua V c ic Vx gV aV y   ã e u y y e  y  g yc u yac y `dW3`3hdCqvÆ9¦ä`jegf¡c¤Ñqidd|v VbhC|Vd`3dhdCqvq3¨¤g`dqCV¡v`y3hfy  Yc g Va XVa ic V aV gix y   y gaY   i i V e u y Y e cY c VYx y c y g i g f y    Yc gV jev&b`ddqC¡g¡¤&`Æc¤qVq3d Va XVa ci g y g yc u yac y  V uac V c Vx y g aVc 3d`3ibÒqidd|vdR`d¢TgdÔ3d3V  eYaY X V ua Ó V c ic V aV gix Û§ ª ª©« aVcV eYaY bbTdcdÑjhdCqvq3b$T&Cdfqq`X V c  gYV e y  ¬ cx paV X y y a icx p Y u y y `d`qCfÑ`'âá»CCVd3$feÑhd¢hÂYb`vv  y pi g ycY yacV eYaY X V c ai g V uac cxY V ci vgfbàqidbCdfbb`R`dÑq¦hdÀdqiqg VaY  XYa  V c   VcaV Y  yx gV  gV XV  y Y g y b`bq¡¢C|C|qV3`3vT3$3v`g'b`hic v`hqd`dT3W&T'¬CCdhÑ¢hv3Wb`Wy y  g ix pi cV V c g y cY  º cxVaa ix cx Y V ci g V  i e V c g V ycx Ya X y  Y u   @B Î ß S G Ë S Ý I Ü  3vvf`d$q3x¢qig¡q`|dhCqv{SvvAÞ¶¤vk Vx gVa p y Û© ÚÙ§¥ ££© aV  g qT33VvgƤbfèh3$qj3vTu gC|cC$4bc|dpbV3`fceqVdqVp V  V c VaY   uVa V c y aY x g u y y g  y Y gdqCVdq'p¿Cqs» bf`CdCVvg¿C¤ y  y gaY  cxY V y gV Ø ci g y Vx gVa p y gV  gV V g  Ycx Yac  Y u u y V  i e VcxV y  Y p i  3h3TqVb¢qd4q`|TACvvÑdCaveqgy  gaY   i i V  e u y Y º   YcxYac y V  i  dqCV¿vvyCqfy×jev&iF¿hVqqdgT¡dqY ¤`gbV`qT33VvgdbC$3a`hd'cqh y   y gaY  gVx gVa p y VcYV XVa V y u ÖVa  e  yai b1g`dqCVÀv`y3hfyÁ`jevb3¤C3vvfe Y  y gaY   i i V  e u y Y e VaV   g V  i VcxV y  g u a i Õ  e  yai Y VcY y ia X XY pi V d¢dav``4hCdcqqb¿d&evrd`bqd`u
F yF F {br (xr )} F (y, {br (xr )}) {br (xr )}

z o ty o q y x w u t s qp hh|t$q{zv`vvTrvo knmlk g U  g faY  V i &b$jihbedq3Vqtr  g  aY  pi yaV y g TbYbqcdCq Vx g yx w aVc u X e i r pi c gV ecaY XV 3`3VvWCdv`htsq¤hCfddb`CWU SQ PI G DB@ 8 TR$4HFECCA97 65 £ §©  ¥ £ 0 %  ¡ ( § ¡ ¥ ¡% § " ¡  §    §© § ¥ £ ¡ 343¨21)!¤¨'&$#!¨¦¤¢ 

y


# ¡sù35ô  hùhd6qq¤ ¤ùC5ô  ùh4áh1ÿ   ÿ õ þö ü ô÷  þ ö ÷ û ö ý 0 û ý ü   ÿ þ ö ü ô ÷  þ ö ø ¢ ÷ õ ô ó ö ¢ ¢÷ ô û ¢ ÿ " û ú ø÷ 0 ¢ ÿ÷ ø þ  þ 0 ÿ õ ¤ þö 0 ô ( þ  ÿ  ¤ ÿ % # óö ÷ û " þ õ þ  3|b¡3&ù¦¡ù2¦11ù¡h )$¡'q&$áþ  ¨v!¤ ¢ ÿ÷ ø þ  ¢ ¡C÷   ÿ õ þö ü ô÷  ¨ùhCô  Âb¤ þ ú û © ¦ ¢ ô ¡ÿCþ¢÷ ¡¨þhCô÷ô  ¢ ÷ø   ÿ õ öü  þ © ûÿ ¢þ ¦ ¢ ¤ ¢ ûôûÿ ¢  ÿ õ ý üô ûú õ ô ó húÂûþCh¨h¦ §¡ô ¥¡ùÿ÷3|Ch£¡dþ3bCùø÷öÞòñ
x r x xr yr y y

ðVa qbY c yYa  gix V c V y  y Y u y y  y  g V u x Va gqc`hg xv`g9bTvvv`g4TbY Öy¦bY  g y Va V c y Y  Y   c gV y g ix  Yx Ó V  ic V yYa `hih3WfgqhqÞÆpA¢Ô3cd`q3q3vi|!$jCgbd|c  gix V  y  p V  V c gaV XY X y c  c yYa  g i q´$¤iÂVyCTRdCCTq`¡dïgä3hgbd|c`hx V e i ic cx Ä  u V y y y e V  ic  VV g g ycx g p y  fqdÑdWCVv`|¿C3fe`gfT4dCChi¢``u'¬ » qFkº
{b (xr )} = arg min F (y, {br (xr )}) r C
{br (xr )}

  ¢Ôhi   Y u ÖÓ  gY   Ó Vc yaY y g u V c Va Y y c yc gY u vq`dÑTbÔdiÆbhi|jdbYb&fdqjdpb`Ö ic  Y  i  ¬ pi V i c Ô xcY e ic  gV p i g ycY y dAvr!!Þ b'|d!vbd`3cÓ qhi&fe gf¡v¿`vb`gqb&Tdqfy q! y y e V c   Vx u  ia X Y yaY e V c cY c V   ui V  g  y fYV X  Y ia B tv``gvbTdqh!S g yc u ya y  » g i g f g hivdcv!T¤&v`uº V uac V ei ei p g Ya dfqd qa¡¤rv   X eY pi cV Y VfY CVfbtbdqb¨¬ Cq`gqbdxvd`dtb`qfqid3$¡pb`Ö Y yaY e Vc y Va X V c pi Vx gY ea paV X V c yc gY u ic  yxV X V  ic  VV g g ycx g p   Y g i ê  y iV  C$dTÑdd`C3` hi¢``uWhiÞ¦&f gdc |c  qWc|yTq4g`dqCV$C`v'¦ 3d3fbb`h|¿qi p i   g ix  y ga Y  g u  ¬ aVcV eYaY X V e i g  gV XV  ic V e u Y Va Y  g ycx g p  yc  yV  V  T3$3v dRf|qdqg Tqid¢TuigdhCt'¬ Q R¯ ³ ¯  P í I  bd3h`bY bi pi ac gV V g i  g p ia V g i  yccV      gY  V  gYx » 9  g Y g n g 7  Ö &djq`g|d¡vÑCVv`bTj$¡b3WqH`q$TT`GCtغ c yYa  g ix aYV  VVa c V c pi xYV cY c VV ic YV y hgbd|c`hbC`gys3vb¦q¨b`ds3dddqCAAÆc  Ç Ttghi&Yjqi$q`ghq¦`djgdCVC¤  Ö Ø y g yc  u ea p Y y yai V c V c  yaa pVa gV  » a hi º Vx p i gig y  gE  Ö Ø ¢3qÂYvq$ÆvqV¤!F$Àgy g yc  u ea p V c ic  yaa pVa gV   V u V   Y Y y qidbY`jqi¦dgdCV¡3¤Cd`$'vr!b¨¤ » a º Vx p  i  g g y p g ix y iY i ¬  g ycYa hi hÂYvhT¨9hid`uvh¢hqrAÑ3`hi&u q  h`qs`hih3Tb!qip gix  gY  g yVa Y a c yV  pi aicxV hCt9qq¢q V c c g Va XV dAC|VdCda g a y y w  g ycYa u gix  g qdqYfevs Tqid&h  q3TbY  g yVa Y a `qiqCdeb¦hip Â3Vy3$eq`ggbq¦hd¢qY p V  Y  y yYc gix a icxV Vci gV  ic »Vx p  i  º V uVa  i  e  V c g VaV bCvidrhÂYvhT¢gyHCd`Cd¦y hTd9hdC cY c x u &`T|
b = arg min
b

 g3ey yy  y e   gV y  VaY p V  V c g ycYaV  i V e i gV vgfdvdCqqebAÂVyCTtdg qidb&dC|`hefqd3qy   g ycx g p  yc  yV C`qid`ugdq3! VV c  yc ic   g i XVaaix V  i e V c  y y Õ p dC`di`g|c  `hTdCq'3vf4dg|cc¨i bi a y Y V  V c V y eaVcV hivr`CTdjg3v Tqid¢Tudbgdq3!'¬  g ycx g p Ô yc  yV Ó V   î C3x`g¹q`vvv`gb¤dd4`qY V y  y Y u y y  y pi cV V c  g V u x pi cV V c p i g y g u V c V  c  y e  g y Va V c CÖy3¨b3|`dÞqÑqi¦T¤qftTqiq3¦4gy p i V y  y p i p i cV g  X e Y V a i Õ  g y Va p i c  Y qC3xvTg`qTq¨3|qhV`qq`Þ3Tqiq3Tq¨3|Vdey  V u V  Y ¹Cd`¦$re YaVc b&3hgy V c aVi V g ix y cY c g ycx g p  gY g  yx ya X y gaV  `dsCq&qvh'!&`hi¢`uvbvqVX`ggh3h3V '&W» i    º g ycx g p  Xiac gV V ycY V hV {y¢qid`ufvqdCh&hCg V c  gY g ycx g p yc gV y V c V   u i   X eY V Y `dRTb1hi¢``u¢chCv`d4TRhtV`q!b3xy  X c ¼  p V  Yx  pi  g ycx g p V g ix pi cV Y vv½3Â3Vy3$Aq3visb`qid`uqvhbdddy »Çº
F F (0, 1) F= f
F R

» h8Eº ea p V c ic e  ia X V  ea  gYac i qigy CV`q¦dc dhip`qdc V|yh$¤c&`3dd4q`b`¤ch`5VtCC3Vg   i X y y cY c VV ic aY  ci g y y g  D ya B c g y V  g ix V  y  g ycYc gVVa XVa cx Yac  Y Va i e Y gaV X Y 3qvq34$!¤ hi&hC|d`3¢qd|`qdhfieCCTq`X Ñgv3h3!&Cdcdhqb¦&g|qThbd|Þb¦d`u y c y gaV V i   e  ya i Y Ô y Y X V YV eÓ pi V V   u ia c y c V   e  ia X V i ic Y y X c y `dc qhd`d¡qfyfCV`qÑqqdd¤q3xvÆc  e  ia Ñ3VqX g ycY y yc Xi V g ix Y y y c g V gix i Y VaY c yYac hi&Cfevq4qvhdv¹3qvq3|b¦bhgbd|  g ix V c Vx y w » V yYac g ix V  c i g VV vq3¿3`gv¢`gbd|`q3 $4qÀCCg g ycx g p a YV  V c a p c  yV  V  º  V y y i X Va hi¢`uqCgy`dqihhCtf'F¬hqdc|TbY  g ycx g p  yc  yV  V c cY c V y ia X gV  i Y y `qid`u`ghhCtfb`diCvv&d`¹q$dqs¤ g V  gix V  ic V e u Y ¹hvq´$Hd¸Cfddh¡y gàhi¢`uàq¢`gvw y g ycx g p xYV Vx y
c  C , xc , i  I , xi , F f bc (xc )  0 b i (x i )  0 wf (y)T f (b)
i

» n g ycxV w VV ¢vhi¢v3dº  g ycY y ia X XY  aV gV VV p   VcY yci  g ycx g `hi&evrq4hdC3Cda4v¡C&&dbfe `qid`up V gix pi  x Y  y y y y e g i VY  y aV XY X y  3qvq3WbjdhY3¿`gCfegf´h¢Cdq`j3$bTj'¬ í  Þí  h® ¯ íì ¯
F

» b{mº »h8Aº » q@9º » nº » 87º

h|h3Ag9c|ddvvqehhdq3qd`b9d¹|cChqd V Yx y c y   uVa  i i  V y  g Yx x Y ia X XY y c V   u cgV yaV X V  gY g e  ia X  gY e a p V VV g VaY cY  3fe3$v`b¹CfCV`q¡vbhiivCCjb¦&Tdc gy qidc qdqb`gqb¡d¢xvdT3CV3`dd3qCd Y VaY Y yaY e Vc y Va X g V caVV ê  u ya y  Y g y y  gix V c  ycY y ia X XY ic c g Y y u Ö vdcvb`hicvTqgdbevrbÑdd3Vb&CV ci g y xYia X XY V  ¬  V gaY  y é Ú ££© ¨ Y  gi cY  qd¡hhqf`'¹CbVdivê$h¡q¦&Tdc `CCd`q3493h3!&f9qid`udhifd¡v¿CV  y y Vx gV u ÖV gix Y gaV V i   g ycx g p   V c    xV X  Y g g yc y Va X Y yaY e  i i V y ic cxV y ¢C$dthvC`hi¢xvC`q`gqbvvqqqd!c  ¢dav VaY aVcV eYaY X V c g  y gaY  y Å x Y ia X XY y c pi VY b!Cd3qq`dh``gbVgvhhb'dAbdqqc
p(x|y)

r

C

R

F

r

x

r

y

wf (xr , yr )f (br (xr ))

wf

F = {b, b log b}

I

I

x

F wf f (b) = b

A



c  C , i  c, xi ,

F

c  C ,

i  I ,

xr wf (xr , yr )

b



d

^^ {(x, y)} p(x, y) wf
F

x

x

x

c\i

c

b  0.

Ab = d

b r (x r ) wf (y)

b c (x c ) = 1

bi (xi ) = 1

bc (xc ) = bi (xi )

b r (x r )

p

b

w f (x r , y r ) wf (y)

r

ë


» vn Ç º
 (p(xi |y) - bi (xi |y, F ))2

Cgbd|c`q3Wds3v|Tqqsvvtc¤|`q3Th3Â3Vy3$¹bi c yYa  g ix V c aV y g ix c i g V i  y V u YxV  g p V  p V ycY yaV  V c cV ic VcY u ÖV Y V y u Ö ci g y  uVa y  qdbr3vW`ds3q'd&ThvqdctbscdCs'¬  d'¢TdCa ic cxV XV  y  Y pi c gV e V V c pi V ycY yaV  pi a icxV V  c¤Tqhg bs3f3V3Wd$beqdbr3v¹behd¢q`dc Vci gV Cdq3 g Y y Õ pi c gV e V V c ic cxV X qq`gA bCCVCfd4d¢Td 3dàdc¤ Va  y pi V ycY yaV   ycaY X pi aicxV  V  qqd&&dCvbYddb`qq¢Ch¿`dc Vci gV Cdq3 g a y y w pi c gV e V V c ic cxV XV qdqYfev½ behCf3V3¤de¢TdCa  y pi V ycY yaV   ycaY X  g ixV p i yacY e V c Vc i c¤ bÞCh&&3hbYddbTTq|`qdd&td9Cdqg v V VaV   eVaiV  ¬ g ycx g u Õ y  X  »Vc yaY 3Ñ3qC'Rqid`jcxyfeWrdbYb& ce`d!b3f3&cdÑbYd3dd¦y ebY'¬ y  u º V c pi c gV eVcY Va Y  yc gVV y x y 
 2 F (b ( ), ) -1  2 F (b ( ), )  b ( ) =- .  j  b bT  b j j b b  F / j  b / j b
2F  b  j 2F  b bT

» l Ç º

 qi 3fbbTdfh|d'C$|dÑdc¤ p¡ p aVcV eYaY X V e i ic cxV XVa  y  pb¢h&&3´d¿dbY3xq3¸¸b`¡q¡ic9gb¼ i V ycY yaV  V c Vc  u Yx ic aY  ci g y y g yY  U YcY  VaV i V c g bq3d`q¦`d4qi  gV XV  ci g V i   Ö Ø y eaVc  g ixV V c cY c V yc i T3$3vb¨CvvA Ç $jg½dCdTq|'Ab`dtxdqê
ywv @x!u
^^ (x,y)}

Ô f ya  Y y y X eVÓ V c V y y y e  g Y g ya V uac V  ¢h|dhq3xdaf3|WdCfeg`qh|fdd`dc pi VcY ycV aY rVc g i  Y c X eVccY gYx V g i g  YV  b4dbfed|Cib!|hh¡vf3|bbChe¹qd|c`g ¹CCfeg$b`bC¿ddÑ|¢`q¨Þ¤&vu V y y y e V  ci g gYx f ya V uac V c i  g Y g g i g f g y qdq3¨Wc 3`3vv3Ñqi g3egfv V`bY gVa uix p b Vx gV y V g  y y y y e    b&WhiÑC`gqvhsVyCTdWCbCv yaY a p V yYc  i p V  V c Vci gV g VaV hdC » 8aº Ôqdd|Wdcf`gCfegyfv dhvdqfy4`q!d! f yaÓ V   y y y e  V i i x ic V   u i  V g3`v'¬¨9qidbCyedqqvgh'dv¦V`vvdh`d¦TbY  u   g ycY yc Xi V ix V c    x u  ia X V i c  g g Y ya e V uac c gVV c  V gVa y   ã VcxV X  Cq`gqbYdjVdÑC3!V$'CxT3q3VhÆ9¦¡CdC$vV p e u V c V y y e ic V   u  cY c  i X X u bi |i`d3fegyf¢dqfy1qi!4V!&Td|VT`vw U @@ Ë` Y TFI3¥I X 8WVT
F F  = arg min i b (xi |y, F ) i
F

» h9 Ç º

 f ya Y y y $dd¹q3xdaX  eV gY  y  VcY y ia X XY V  gYx f ya V uac y cg yY  Cqdc¤d&evrd`b$q3jdd'ds&9gb¼

y

p(y)

i

x

p(xi |y) log

p(xi |y)  (x |y, F ) . bi i

F  = arg min F y i x

i

» A Ç º

F  = arg min -

F

y

y

p(y)

i

F

x

i

i

x

i

p(xi |y) log b (xi |y, F ) i

y

p

L

L  j

arg min F { i

x - L ^ 2bi (xi |y, F ) + ^^ b  (x i | y , F ) 2 i

- 2p(xi , y)b (xi |y, F ) + p(y)b (xi |y, F )2 i i

-  b (xi |y, F ) i^^  j x ^  b (xi |y, F ) ^ b (xi |y, F ) i + i  j

» qm Ç º

p(xi , y) log b (xi |y, F ) i

 p¡

= arg min -

F

i

»hk Ç º Ç » qÇ º
T

 arg min

F

{

^^ (x,y)}

-

i

log b (xi |y, F ) i^^

L

VV g  U g gV ¬ 9C'e cY c x u &`T|  gjghT¢v  ÖÑh`b`dc g bhi&Tdc y c yiX V Vu ygu Y Y cY Y a p cY cV  39ð W FPÂÊÈ DË x  g ycx g p  ui u yc gix Y V T|u qid¢Tu`qvgdq34$  y x i c   Y V ic a YVxV g c y y g eV  CeqY3t4|ybcfdqdC3C¤|a  cÑ3`dc Vc u Yx i ¬ pi g ycY y y y e V c    y  X y  g &YxbCjÞe bhi&fegfdvdcxyfe`qi V eaVcV VaY p V  V c cY c gV y g u y i ci g Va gyf3v¦bÂ3Vy3$¤&`Cqqv3TqivhbbY V yc yaV  V  ¬ a icxV  V e i   V yaVcV e Ya Y qdbYr3vÑV|'·á» hd¢q4h|´vR3dCd3qq`X Va bY hhCVtjd¤cb`d¹bCC¤@ b!3d3fbb``dc c  y  V c Y c YxV º pi aVcV eYaY X V  ic cxV X Va  y p   V c pi V ycY yaV  V c Vc  u Y ¢C$dCRdc¤¦ÂVyCVT`d!bfqdbr3vd&Y3xq3x i   X y y Y  V e u Y g y ux y  V i Y V  ciV|yhi$ÑcÑc&`cf|q¸hid`q&$b¢'¬ U Æ@vÂSFDR$vTv&G TV ß ËS  ßI @S DBÊ DÍS
F (b,  ) F b ( ) F
 F (b ( ),) b
i

  Y y a Y e VcY ycV V c  gY Y y aY Cq`ghdq4dbfed|C¦`d`b'b`gqbe V uac V c gVV cV  Vx gVaV y  VaY u Ö VcxV X V V c V y `df33!$3`33hdq`dCdC$vW`d¤Cfe gf·d¶dà$`q!qidCdcd3µqdb`dCdcbä¼ y y e ic ac ic V   ui  g yaV yax V ycY gaV Y g U @@ Ë` Ý Ê C$ÂIt`A8 s rqVT  Vx gVa p y cxY V pi VYx V  h`CdCVvg'q¨bdq3`dc a p  i cV e g ycY y yc Xi gY  gY i ic c g Y y u Ö hi¸vf¸hi&CfevqµbµTbg ph g 3Vb&CV YdCdcd3´gdqCV´¸`vdgqqb{kº {bÑivh&b¦ã yaV yax  y gaY  Y Vx u  iac y »k ll Y cV V  YfY   V  VVa   ¦&iCTCdddv`qY V y $¹¤ Vc  u Yx ic i  pi V u y V  dbY3xq3fdÀ&`Abddd'¬ i )h g » 7 Ç º  bi 3fba p aVcV eY Y X V ei ic cxV XVa  y i pi V ycY yaV  V c aV y b`fqd¢TdC´dc¤ )h g bh&&dCv4Cvd  g i r pi aVcV eYaY X V e i ic cxV XVa  y   y y yc X qt bh3fbbTeh|¹¢TdC¦dc¤¤g3edqi    g u p y  Ö Ø e u y y e V c YaV gV y g i vi`hik Ç $¿gy jegf$FgqC3hg¹¦&ê  y c Va   Y ci g y  aV XY X y c gaV V i 3dtCvhWb¹¤W3$b`'d3h3!& Ç  Ö Ø pi cY c ic y  YcY  V y y V c y VaV g i  qÇ Ttsbb`ddcfey&`dcg  gdig'q3qvhx k Ç Tt v¢d3dC3RqidbevrbÑ´x¤Cv  Ö Ø   Vc gVVa XVa g ycY y ia X XY V c  y   aV  g u  g y y  g ix V c  y  uc a iV c  y gaY  Y y ycYc vTqidcv`q34¦VvTd| qCdÑgbVtb3xd|cd&w
f @e d

F  = arg min i F

i  b (xi |y, F )/ j L i^^ =-  j b (xi |y, F ) i^^

F

L

y

p(y)

L

i

x

i

 b (xi |y, F )/ j i^^

F

=2

i

^ { x}



i

=0

F

j

F

wf

F

b


g  y i i x pi c y gix g ycY y ia X XY V cV B V  gdhvsbW|d`q3hi&evrq!g`dc g  Y yxV X w  V ycxV XVa g   yaY  g Y V u x x YV a qq3x  TvhCqdC$|dvhVqYb&`q`hÖy¡q¤qip gV i   g 3dh`x `bY ÔCTvgdhddbYhd`bqip aV  e u g  yc g u ixÓ Vc ya X ia X XY a »9 h{kº
+ i
I C

aV ci Y pi c gV  gV XV  y y   yaY x YV VaV    g Cdqqbb¨3v`CTCv`g9eV`bYdqrhCs3¤rg TbY V`bYdqr!3h&4hivdcvdfqdd3`dd|VT`vw   yaY aV i g yc u ya y  V uac V ei y VaV c  i X X u ¯ |v¨h!hW² £Q  W¡Þí ¤}  °³    ³     í ¯  í   » TdC3¦$c`4x¤g d'C$|XdÑdc¤ iaV V   u e  y   ic cxV Va  y cg y Ya V c  fYc  g »Ek  Ö CVvhh¡gyvbR`bYjhR$غ  yxa p g gqi3V g y gYa   V c  ea p  V   Y V y y  º bYqqhbYAd'`gyfqid|ybc99'¬ g c CVdg p4&Tdc &|1d1|hCy y cY  i  ic  YV c¤a3$b`4ydÀgHCVd`u `ghi¢``uiq` y g V XY X c y    ycx g p V c ai Õ c yYac g ix V  aV y g x c g y g y ux y  V i  Y V  gbd|`q3dcd3d`qi3jbi v¢qi|`vh&Tq'¬ aicxV 3q¢q V ycY yaV  V c   g Cqdb&3vd|iiTbY aY y  gVaY X Va dq`g``qdb`djbY
 wf (xc , yc ) =  (f = f , xc = xc , yc = yc ),  (f ,xc ,yc ) y Ab = d b  wf (y)/ j F b = arg minb f (b, )

g V yacV eYaY X c gV  gV XV  ¹3dfbbTd3vT3$3v`gy  gY  p y  g ycx g p  yc  yV  V c pi x YV VaV    Y `quet`qid`ugdq3!W`d¹bfhC3¤W|Vh3x gi e eix V c   V yacV eYaY X Va qffq3¤dg9¹3dfbb`tdqY  g ycx g `qid`up  yc  yV  V c  y   y Y  V c gi   gV XV  g a u ix p gdhCt`dx`¤¡gr'¦Ñq¤T3$3v`h|Vhebi gqij¢q3' ea p cxY V V  ¬   cxV y  V y v¢¢Cav´C`gfe d3vbY aVcV  Va V ycY yaV   ycaY X V c g Y y Cqdb&3vAbYddb``dhbTg¨Õ »a Ç Vc  u Yx ic YV i Y y y  r eaVc   V  q&YxbCdfdqdb¤jk eqYtgy 3d'|cqY¦'¬  ac gV x YV  ycaV  y pi  y g i hd3hCfgdd3hgAq'|cd`hx h`qqYvdAy gdd3hgrFgq`qhbYvgCTqt`ddav  g i  gY  y yac  ycaV  y Y gi  y   yV  pi V uc y   cY c V yci v4&Tdi3xbWê  qiqdbr3v¸Tq| dCbCv p i V ycY yaV   g ixV V c Vci gV  gY g g ycY  y  u e V y c gV e V Vci gV g VaV Tbe9qidb3xy`Xc|¤Æ|3f3V3jCbCv hdC
F )=D=  b bT
2

» hE Ç º

y qY

EÖØ `6Ttgy bqidbY`je pi g yc  u a V c V gaV XY y c y c aVc y p i g ycx g p V c a i dqipd¦d`u3$bTXdÑgW|CV3dg¨qiqid`u¦`d¤hÕ á» c&Td!hgbad|`hc'qi¸&i3$¦3vFwº Y c c yY c g ix V  a p  V  VV    aY pi c   p V c i VqYyb&dbVdWuÑd c Ç eqYtgv`bY y r  y XX gV c gY Cdj`qbg cY c xa p gV i a   u V  gYaY &TdtVqivCcÞ3VyXyc`jeshbqqÞ pi a icxV Y  y    yaY i cV V   yc g e  Y pi  y b¨q¢qc¤ACVbYb&Tpq¨3|¤cgd3Vfhubhb¨|cd  ix pi ia V cg  yc gV Ø y  gV X X V c y p ia X gqÞqvdXdqhbYd3de¹vT3$bYddgty9qivd༠VaV  dC¤
2F  b ( ) = (D-1 AT (AD-1 AT )-1 AD-1 - D-1 )  j  b j
 D = (  bF T ). b

 y g llk Y cV caV Y º Ô  y hV {v¢» Ç qqTgFqWd3h&ÞFvCV¨Õ ei  gY  Y g y y  gi rÓ Y Y gVc ya  V  gYx g yc u ya y qv`q&b`hicvTqt!q4Cddc¤W$bC4hivdcv q`qidcv`h¡&`&ihiÆc´9qh´vvq$hCg Y g y y  gix V c cY c    p    XYa  i i ai  yV V c `d1gy Öy¤bq3|¡3h&)dÑd4dC¤ V u x Y p i cV V c aV i y e u V c VaV  »b{kº l   Vc gVVa XVa V  gY vd3dC3¦$4q3x g yc u ya y  c y Ä V c g eVa iV  a i  r  aV e eY hivdcvgqid¤ÑCdh3c h$yt¸3VdCfqW V c   g gV  ¬ ai   yV g pi cV V ei gV y g   yaY `div¨93`'fCq$hC'bdfqd Cqq9CCVqYb&
p(x, y) = c 1 exp( E (xc , yc )), Z c

g93V`'s hi¢``uqvh¦fqdqip g  ¬ g ycx g p V g ix V ei a c u &Y`c¿xT|g V VU g  Wð q FPÂÊÈ DË  Vx Y X a p V X X ia  hh`|hiT`qv¤y pi c gV e u aY V c g y x  y   p V c b¦3fhdqd9ebY¡g¤&ihifd g  i dc
b ( )= arg minb F (b, )  F (b ( ), )

Ab = d

F

2

c p(x, y) 1 E (xc , yc )), = exp( p(y) Z (y)

» Ç {kº

Ab = d

{b, }

 g `bY g yc u ya y  V ei gVV cV  Vx gV aV y hivdcv¤fqdC3!$t3`3hdCqv   ã V c V y y y e ic y xY ia X XY V g b aVi Vx u  9¦¦dd3fe`gffd!qd`b¦S 3q&4C3`v`gy g yc u ya y   Y g y y  g ix V c y VcVaVc y VaY V   g hivdcvtq`qidcv`hÑd´gRd|C3hgbtRTbY g¹q3d`qy q¢qfqvqT33Vvg3d`q3e¦&ê VaV i aicxV V ei w Vx gVa p y aV y gix g i  Ç t$Ø qaThdTbC43`dc k  Ö ei p V X X ia  V  gYx V  g g!VqYb&h4gbhhWb`d'Öy4qdb3`dc y    yaY  g i yYc g ix cY c V u x  gY VaY VaV  p&Td3xb¿ y cY c V yci ê VaV  dC¤
p(x|y) = Z (y) = x x exp( c E (xc , yc )) b(x) y p(x|y) y



(



F

(

f

wf (y)

b0

f

(

b))

f

b(x) p(x|y)

»7 hFkº »k hq{kº

f  wf (y) F =  b j  j

f D

f

»n bFkº
x b(x) log Z (y)

wf (xc , yc )

cY c V   u i  g ycY y ia X X b`d$ht4qid&evrd`bY x u V g b »9 llk Y cV y y V º g ycY y ia X XY y x u y `df¢q§qq{b¨3YvvCsefhi&evrqhTfã a i V cV B Y  y   X iac gV V c VcY y ia X XY ic gV c  g h¦d3!dic¤vhdhC¦ddbevrb3TbY g g yc u ya y  Y yaY e Yx   g i c gVVa XVa ic y  u 3`hivdcvhb`gqbhbCviht3dC3fdtc`x  y  y c pi c ui Y  Y y X c V  ¬  Va  pi g y gV vs$qsvqjr!vq3xv''AhqbYey bfqid`3fe 3¤V`ddTfeW$T¤ y  V c gV    y i X y V  y g yc u yac y  aYa qidvd|vfbdc bqj3dC3R3h3eCqÂYRg¿qdq4dvfhx y aY gY c gVVa XVa ic gV V gcx p   cxY V Vc u X e i ic V  gV X V i ic YaV gV y g Xiac gV V c Y g i g Ñq|yT3$v3´vdRb3Cq'qvqdCidqÀ¤&vf g eaVc  V c gaV V i  cxY V Vc u X eix V  gY 34|ca  `d¤3h3!& qdqµCvfq3 $µq3x g aV gV VYaVY V c  Yx g nk  Ö Ø y eaVc  g ixV V  hq3CqqCqr¦CVb3vT&$g3`hCd¦'¬
- x cx
b
c

x

b > 0

b0

 wf (y)/ j  wf (xc , yc )/ j

º

b (x) = arg min

x

= arg min

= arg min

b(x) log b(x) 

-

x

b

b

c

b(x)

x

x

x

b(x)E (xc , yc ) +

b(xc )E (xc , yc )

b(x) log b(x)

b(x) log b(x)

b(x) log

c

nc

ni

x

x

i

c

b(xi ) log b(xi ),

b(xc ) log b(xc )

nc

ni

nc = 1


a hip

khl l l `â'l `l l 7 l k l A  7 Ç v¬n Ç v#§n Tn 7 Ç Tn 9 k a   l 9 nn A 7 k  ql v¬&«9`'E `ªhk Tn k l 9 l n l A  hl â'l #ql `â'E Tn » Ç g Ç º¸hl g Ç À» Ç Fl¸l `Âlº » º gº »g V yi dqg g `bY
wb log b (xc , yc )

»m qh{kº g Vi Y Vx u  iac a p ea p V c y   uV hq&$bCTvvdhgy qiqig'cdCa 'CÂVyCT!d`b¨`qid`udhhdqc`dq¨Cvd`hx y  ¬  p V  V c pi  g ycx g p V  g ix aYa y aY aV y g i g a  y   eaVc  y fYc  Ä gY c aV cYag  gixV qi c¤dCdgvbtcTub`e3&q¹Tqvw Cq`gqb¦d¨bqid&evrd`b¦db33hdqff¦V`bY Y yaY e V c pi g ycY y ia X XY VcYa uxx Y Vai e Y    gV g Yx y V   u  V  c gV yaV X V V c c u  g g ycY v3¡q3ccqh|½&i3$hCfe3$vj`dW`9hi&e vrd`bÑq3Cj3a`dvÑCd|Chqddq`'d y ia X XY  aV gV VV p V c   VcV   u c i g y y  ¬ g `qY q `CTCvidiC!&ibjb`dq3!Ñ¡gvqc gi  gV XV  ic V  Y y cY c c  yV  Y  y fY g g yVa xYV a p a º aV  e u g  yc g uix c gY  g ix Þqiq3qCqi¨» qi WCTv¦gdq3b|c`h¦Y  y fYc gY c aV cYag   V YaV gV y y cgaV XY X y c gvbjq`d¨3`d&bhC3yb3Cq&3$b`dg
{b } = arg min r {b } = arg min r c nc ni x
c

ö û # ÿ" ¦ ¢ ô   õ¢ ¥ ¤ %¢ ý ø¢ ý ¦ # ¦   ¢ô # ¡ ¡ ¡ ¦§0&ú '5þ5e@¡û¡ÿ&¦'1£'ÿ3£qþ 3xÿ'|Æûõ ££x  gC&YxbCd$bCbYddsûbTqqqYÂuhhV`bYdc y Vc  u Yx V  gYx g yV  Y gi y º  p V c g   y  gVaV y  V y c Va  g ycx g p V c Vx y w V y yc X v33hv3x¤bY `hi¢``u`d`gv 3edqi ic V u Y    i cV e a yaVc y Y u Y ya X b r U  V  4Cd`'q'¦vf¤qidCdg¹b`vbe¦¦'¬  yacV e e  V  ic V yYac g ix ci g VaV  c  yV  V  bxdffv|$fdCgbd|`hb3!!q3!¦'¬ C`qiqCd¨bCx|Cq¡Tbbh3dhhiÑCd`dCtq3!  g y Va Y ycaV   gY Yc g i ya i  a p V u VaV  c  yV V eY V  ¬  g ycYx  V eY V c cY i Y gV  i g  yai fbÑ' C`hi&3vifbÑd&¿dbsCCvv¿gq$   yV g pi  yY X  gY g g ycYx  V eY V c c  g p q3¤bab` `qA9hi&3vifbd¦bY `bY bi V  i g  Y u y y  y pi  yc y g ix  g y Va V u V  i e V  Cvv¹q`vv`gbfgd|d`q3'`qiqCd'|`Þ3vvf¦'¬  q¢qÑ3v`¦`du aicxV gV  y  V c X V fY e VY y Y y yai V c y   a icxV VaV i V  hb¨CqqevbTghq¤!V¤g hd¢q¦q3d`q¤`dc X u VfY e VY y  yi g V  ¬   e i  gYa V g y Y  yV qqWqbe¡|q`'hfhv`biqddhg3$ pi Vx gY  r Y Y  V y X x YV cY c  gYV e V y i g r b3`b`x §l Ç q`Þ3v`4hCWb`d'TbCfdh·l Ç ghV`qhÑqdh!q¦hfb¦`hib&¡d dCVvd  X eY V a i Õ V y i g pi c g u i eY  u yaY ic Vcx Ä  u gV c Y  V Y y V c pi x Y Ø cVYcY   y Vc  g Cdq'Chbe¦b¸h¶Cdq&1gcdHTbY  y yYac a p Vcx V  ei  gYa VaV   y y  V c p ggbdqi¢dCV3d fqv`q4dCtia Ç chvѤbi V  Y y gV ¬  V Y  YcY  ¬ w ê  V  e i p  y y  gVc ya qqfeÑ3Asqdq`qbÒv|i`dc hda¤cqv¡3ddc¤   gY  pi VY y aY y  ÔV yi gV Ó ic gaY  ic V v`bT4b¢qqfe¶b`g1|q`3vdµddqCVÒdCd`u  Y e  ya i Y V c g x Y ia X X Y y c pi cVc y Y  Y  h! dcdhqbis9hhqddb|Cxdq`¢W¼  ¯ ³ í    Þí xT ¦  V ycY V g V  gYx aV  e u g  yc g u i qh&3¦$4q3¤3$jvfgdhx V¤¹hqdc|Tf$4¡C`gqc`hdqY dCdc y   g V y y i X V  ic V y Ya  g ix Va eaV V c a p c  yV  V c cY c V gV V c y g g ycY y ia `dqi4hCt¢4b`d¿|T3d¢`dàgC`hi&evrX  XY  aV gV VV p Y ea i g gY c YaV gV   i Y y y  b¿hdC3CdasbdhRbTdb3`3qjdV¡db'¬
   #      #  ¡5 @¡$)¨¡   #    #      #  1 @l¡1¨5¡   #  #    # 1¡ 
L L

~} !¨x| { !z y

   #     #  ¡ @11¡ 11   #  # 1  #ÿ ¥¡  )ùù¨ò   þ÷ö þ    #     #  ¡1¡ @11¡ 1¡1   #  # ¡  ¦ö þ÷  ¢ ô hi¢þ s    #     #  ¡¡1 @¡ 1¡1   #  # 111  #  S' 'qõ  # ò #ÿ¦ýþ    #    { ¡ y #  !)p | @!z 1 ¡11  ~}   #  # 11   # s  'qõ  # #ÿ¦ýþ # õ õ þ  ø þ w #  ÷ õ õ ôö ¨¡x@3¨v ¡!2¡§þ s ÿ ut ¦ ÿ úû »Cv¤CTAW¼¤qdqg bHdc¤thd3|CAevV`b¨¬ V y X aV X  º  V y i r l9  y  a iaaV cV ¬ ð k  Y ¡¡1 @¡¡ #   #        #     ¡¡1 @¡¡1 #    #  #    # 1   #  
L L L L

~} !¨x| { !z y

»A h{kº   gV y VaY Y yaY v3hhb'b`gqbe Vc y Va X V c i g ycYaV  i V  e i p  y X XY e V  d¢xvddc qidb&dC|`h`dc qa`g`b`dc VaV    g Y V  Y 3¤Þg `bY qe3!dqÞg  yc V  u gddc  |cChqd q!f`'HCCV3v3vvfRvbh'3!fq!q$qhq$X  ui  y  ¬ cx pV  V  i e  gY Y V  Y gV Xic i Y y aY e V c ic g ycY  Va V c pi c   y g n© Ú ¥© q`ghdq`d¿dRhi&&Y3Ñdqhygt¢áè$êqFé&¨ o ¤Û «Ú o ¤ ¥ £ c  V  V  c V y  i c  a V c V e Y a Y X V  c )3Â&¨d$!|C$`dqqde3fbbTd`d!c  q3d`qi  u i x V g ghvqd3`d¤dTbhqÞpÂyº  Xiac gV V uac V c  gY g»  gY V uac V c VcY dWd¤&e vrd`b¿igdCdd&1q`dj3&p& qajCdc y ia X XY ic  yc X eVccY gY c aV cY   YcY ei p aV 3qq`fdgdqCVdCdb&bfhiddTvq&$bf'¬ V eYaY X V c  y gaY  VcY yci e g y ux y  Vi Y V   g yc y Va X VcYa uxxY  C`hi¢xvCdd&33q¤CV gjgdcdCv9qidv`d|dvbq`d'3`3hdCqv¹¦ã y  y  uVa g g yc u yac y  V uac  gY gY c Vx gV aV y   VcY ycV aV   Y V Y  cY c Y y a Y e c gV y g ix y p d&ed|CCt&ihr`b`d'bTghdqfhCd|cd`h`gebi cV Y c y V Y u u y  VaV  ¬ d|v3bT|`Þ¤dC' `qidd|cvÑ8oùÚ$© m  g yc u ya y  n aV i y g ycY y y y e V c cY c V e u Y V i Y gV y  g y Cq&¨qidbCegf!`d¨&`Þf|qtq&$bCqqqidc Y y  Ä Vx gV aV y   ã V c Vx y e  ia X Y V  gY &3x  c`u3`3hdCqvÆ9¦¿¡Tgd CV`q´ TÀq3x 'j» Þbqfd¢`d|3djÞb|h3dg!¢q3WbY y  ¬   XYa  Va ucx uac VVac Y pi V Yx V c y cx Y V Va c yYac g ix x gVc y g ix Yx  V  º c y Ya  g ix V c p hgbd|`h¡`Cd|d`hebCvi'¬f3gqc`hfdbi cV  u Y  yxa p gV  g i VcY yci e  y   g V a  aV  3|T|`g3hiv34h¤C&&dbf¡x¤vqhdqY4dCq¤y c yYac g ix pi aV  e u g V c g c y VVac  y   y    XYa hgbd|`h9bt3$jvW`dh9dv¤3Cdfqdc¤e``bq a p gaVV i »7llk gY aik  gY c ya  yY º V Xi hiW3h3!& h'qbÒbqhl`bh¤vgq 8j¸Thdc   i X Y  y  y gc yYac g ix aYV  p i aV  e u g Y V i X q$¦gCVvbCgbd|`q3sbC`gyTqs3$jvddh$ey c u e V g i g y V g yc u yac y  Y    Y cY c VVc gYaY u |`qA3cv¢qidv`d|sb`hihÑ&`jCdbbTq ic aV ai  »9 llk Y cV y y V º  eV c  ycY f3vqÀgÀq§qb'FqRYvvCsejbY 3fCV  d& cY &`c g yc u ya y  Y   i g hivdcvbTqiqR'g  g yc u ya Tqidvdc v'b`gqb¤bCvidbd¢Y Cqqs{gb3Cq gHThdc y  Y yaY e Yx  pi cV gV y YaV gV  ÔV X i   i X Y y aY eÓ V c p i g ycY  Va V  g ix Y YaV gV q$¦b`gqb|¿qµqidb&Y3µhhÀ¦{gb3Cq g9qbdqmbi3vÂØ¿´hi¢CvRgCqqdgbd|c`q3'¬ y gVaY » 7  Ö º k g ycxV w y gV y c yYa  gix V   Y yaY e VcY y V VcYa uxx Cq`gqbCdbec&CqY » c gYca i X y Va i º a i  X iac gV V c ic g ycY y ia X X db|hTfeqfeq hd3`di qid&evrd`bY  i i  Y y  uVa y  aV  e u g  yc g u ix pi V y i x cY  vvq¡g¤c|d¹¤'CTv`gh`qbxq`¤b`¤ aY x  Y Y ci g y yg  XYa YaV gV ai Õ cxY V y g y qCVevr'qtbtch3``bqvb3`3qtq`¨¢q3sqidc bfevrd`bÑd3!h`de9`bqRd¢hxhq`gd¿hÕ Y y ia X XY V cV B V c g  XYa VcxV g g i   y Y a i aV  e u g  yc g uix c gVaV y CCTv`gh`qWCdC$v  gY  g yVa c gVaV y  aV y gix  g ycY y ia X XY VcY y `qTqiq3hCdC$v¦3d`q3W`hi&evrq¿db3xdc  y  Xi Vai  |`qdqi  y g V yYc gix hV {v¹gqq3y V  i g  y   y V u x pi aV  e u g V c  u y v`x`¤gtC`hÖy9b!3$jvd`vgfe y TbY g
1 {br (xr )}
{br }

   #      #  $¡ @11¨¨1   #  # ¡11  #ÿ ¥¡  )ùù¨ò   þ÷ö þ    #      #  $ @F¡   #  # 1¡1  ¦ö þ÷  ¢ ô hi¢þ s   #    #  1¨ @1$ 1¡   #  # 1¡  #  S' 'qõ  # ò #ÿ¦ýþ    #    { ¡ y #  ¡!)p | @F!z ¡ $¡¡  ~}   #  # 1¡   # s  'qõ  # #ÿ¦ýþ # õ õ þ  ø þ w #  ÷ õ õ ôö ¨¡x@3¨v ¡!2¡§þ s ÿ ut ¦ ÿ úû »Cv¤CTAW¼¤qdqg qqdc¤thd3|CAeð Ç V`b¨¬ V y X aV X  º  V y i r l 7  y  a iaaV cV ¬  Y
L L

xc

i

bc (xc ) log bc (xc ) +

E (xc , yc )

E (xc , yc )

cx

ni = 1 - |{c : i  c}|

b(x)

c

-bc (xc )E (xc , yc ) +

nc

i

ni

ni

nc y

x

i

bi (xi ) log b(xi ).

ni

b(x)

yc

f = b log b

x

F

y

y

x

wb log b (xi , yi )

f

L

 )

» Çg Ç º » l g Ç º » Ç `Âlº g » g© l `Âlº r l 9  cy bHd¤ ð7 Y `¨Vb¨¬

b

b log b

xc yc

Ç 7 l 7  'l `¶l l k l m  l `Òvn `n © l Çl

{br }

f

F R

r

F

x

r

wf (xr , yr )f (b(xr )).

xi y i


  X y Õ  r V c  yY Y VaY X eix VaY V  i e V  VfeÒcicTgqhbRdq`fq34bCvv4|V'¬  Vx gVaV  g ix Via X y cY  V ei ic  eVV y ya uV h`Cq3hhq&fe¤b`¤3fqdd!C3ddxd|cdC 'ÒCq3!WbhiH3hbÑb`qidbCdc¢ql Ç 3bi y  ¬ c  yV  Y a p gV fYc VaY  g ycYaV y l aV c  gY gV c  gY g V gi ic gV i b1Cd´`bshq d´33hdap c yV  V c  y hhCt´dc¤ gÞ3qqdq`qidbCdcql Ç C|a¨jq3h¢TdC¹g Ç `bl gV f Yc Va Y  g ycYaV y l gc y Õ  V ycxV XVa  gY ic V  y y y VaY  eaV d3yqYcg¤bs3dc  g V c a p c  yV   `qY dqiq3!`¼  g ycY y yc X i aVc ui V c a p V u Y  » Õ º  i cV 9hi&fedvh¤3dq¦'qiCd`'q'!w  '@B vfe g ic V y Y u Ö Y g gV  ¬  V ycYaV g ix aV  cV VaV q'3WÆê|h`¢!9C'Hq3qdb&dC|`h3hdÑ3! aVi g ycY y yc X i V c g i Vx gYa ic V c g y c Vx u V Cq&hi&fedvhhsC3`b3VqW`dvC3`vCa i ¬  g ycY y yc X i YaVi V c y y Y  y V uYx gY A9hi&fedvhsqCq&d´g¢cybcTgd`q3q3x Xi  aV g y V c y  g ycY ucx u D Y yaV e u g Y e g Y qvi4CgiÀg`qidb`d``Gb3x3fvWbdqqc  gV y V X   f ya Y y y X eV V c V y y y e ic g ycY v3fedaCTveØ h|jbCxaf3´´Cfegf¸Òqidbc  u X ei VV c V u gYx g ycY y yc Xi Ô Xi aVc u Ó g fqx´dC`d¢d`Òb3½hi&CfevqvqviÆd3dq|iµ¼  c3Vvhhfc`qY g y Ya  y  g |fd'q3x ya Y afCdVvfq3cWV|h$!'chq&$bY bhi&fe y y X eV c u X e ix i  y i X y y g V i  pi g ycY y vqvqvi{d3`g|Ad`bÉhi¢v`b9c`|uds`d¤gdW yc X i Ô X i aV g yÓ V c  gY 7 g ycxV w pi   Va V c  y  V yacV eYaY ¹CCd3qq`X u¿dq¡`gqid`u1gqy3! `'¬   p VaY  ycx g p yc  V  V  ycx g p pi V V c  y u   Y i  g ycx g `gqid`uqcdÑdgd`sg ) `gqg )h g `qid`up  ci   y g V u   Va    a  i cV e V  hib$c¤¹Cd`¿qY'3VÒV|idXvd31'¬  ea p V  ÑqiCdhix
{F
^^ (x,y)}

h)|hVi gq`vqc¤tChbe$q`gqd6¦&da qddb!f`gbCV yi g c ui  y  V Y y Y y ya b ð i eicci B   y gaY  y  Vx gVa p y V g ix e i p p V B ð i  ca u i dc¤f`CdCVvgiqvh×hdadÂ3Vy3!¦&¤ÈddhÕ  Xia  p V B ei p   uV  ð i  y  ¬   B  i  uV 9qsVyCtqafcdC¤q¦&a a' ÇÆ``3d e i p   uV  ð i   g ixV w cV cVc V c e i qa¡cdC¦&¤ÅTqvÁd |Cddâqap !a Ç  y y  V c pi V Y y c u X y  y i g gV i x  e i  g Y cqv¸d4b Chbevg¶dhC|fqv`q ð ia X i ¬ V y i r l9  y    uVa  X eY  Ø ð k Va u y ¦&hÞqdhg §qpc¤dcdCfV`qefh¨Õ
L

# ¢ ÿ÷ û ôö ý 0  ÿ  û " ý ¦ ÿ  31ù3§¡£§q'   0 ýõ þ ú û ÿ û õ  þ  þ §if)) ¢ ÿ÷ û ô ø ô ÿ    þ÷ö þ ü © ¤ õ þ õ ô " öö ô Ô 1ù3C1'Ç)ùùvF¦¨C¢RùC¢ )Ó ö û "¢  w v¢ ô  ÿ%¢Òóú ý 0Ñ¢ô #" ü #õ # ¡ ¡ ¡ ¦§0bú @#! )tS15þ5e@¡û¡b1'&§'§$¢" 1£hý ¨" ££pÐ V  c u Xc ui V c VaV   c u Xc ui  X eY V V y  k Va u y $vvqdjdC¤vvqjVfqv3¤Chhh¨Õ TgdqCVHCdq`HvvyCqfyhv`C|`X qid3$dvh¸dÀgy  y ga Y  V Y   i i V  i  uV ea paV Xc u i ga uc  y   g g ycY Y X ia X p V   y  Vx gVa p y  gY  y gaY x¤`Þqid&b`hd`VyCT¿dc¤j3`33Vvg¡`qgbCV ea aV Xc ui c gY y g y VV c YaV gV    g i  dhi|pCTvqhq3x  hddC{gb3Cq¦gdá»3hi¤&9cy  y y y y e p i  Ä a V c c V   c     Y ¡V i   x Y i V h g   u i  `gCfegfsqiqit3|$ÑqydpdCvviq)iq`qÃcº bYfe|y!dc½dhi|CTbqC3hjgy   `qY |hi a y  V y u Ö ea paV X YaV gV  g V V c V y y y e ic  y gaY  gVaV  V y i g r l9 a p aiaa `dCfegf¡4`gbVAq3WqdhäbghiWq3V V c pi g ycYc gVVa XVa Y y  XYa  Y V y Va u y Õ  V y i `deb¡hi&hC|d`39bCx`bqqq Ç d`qAdqdhg rl9 g §bÏTbY qÎhCdddqq´`qY Ç Cb¨¬ r l 7 a ip  V   i c  V c V  c V y  k  g  V  Y è Úͩͧ¥ £ n© Ú ¥© ¨ pi Vx gVaV y  VaY u Ö V  ¢¢Â¤{ÚÃÛùÚ³n3dhv$êqFé&tq¦`CdC$vdq`d`dc Va uYV e ic  ya  Y  e i p c gVaV y  y y  dqCf'CVdc ) qhg p¡ hda33hvW`dc cY c V yci ê b`d3xbf Vx gVaV y  VaY uÖ C3`33hCbTh pi e  V c y a iaaV V  ¬ V Y VcxV X V  yc y Va X c b`|u¦hd3d'eCCub&dC$v3`g¢xvC'&Y V  i e V c pi Vx gY ea paV X V c Va u YV e a iaaV g yVa 3vvf¦d¨bdTbdhi|CT¦`d!Cdq!q3hidCq V  cxVaaix y VaY cY c  g yc y Va X pi g ycxY p V c ¤Ì¢dq3`gdq&Td¦Tqid¢xvdq´qidqay a iaaV g ycY y x V  ¬  y Y  ia X Y y aY e Vc u hd3Rhi&3x  ddhY34'» hcyb`hd`bTghdqfCvX  e ix V  y  V c  y  V Y V c  y i i x   V g i  h|cC`qRdc¤`uqr4dÑ`gdhvRvhvy 'F¬¤FCvfqhi¤vqTe3e» Ç hÂlihi¢xv y  º V y X xYV a p V Y e V  ic  VV g ai º g yc y Va X    Y cY c V Yx V c y Vx g Y ea paV X V c Va u YV 3d`Vqg|yb`d|h3'djg`qfqid3$!d9C|hCfe a iaaV g ycY y  r  a iaa g yVa V Ó V c  gY gÔa i hd3Hqidb3x  ddhYt¢Ôhd3V qidddh3aÑdHTb¤|qa aV g ycY y xÓ V c   g i V  V c ð y d3 qidb3x  ddhY3|`dAg p¡ `bY )h g |hi¦3Cxa |f'33hv'hidc¤d&TuqrCWbsqd`b'¬ cV e c gVaV y  a u p  y  VcY YV VaY V xY ia X XY V  c yi hgq$X cY c cY V X X ic  Y  y g g ycYaV y l l g aV pY V aV b`dfb1Thd|fq'csC`hi&3dcihql l Ç 3dÃcb4hdCq  gix ic  y p  i cV e Vx gVa p y V c   g ycY y yc X q¢dCVbÂYv`df`CdCVvg`dWÆp9qidbCedqi a p V u Y   i cV e Õ B V  ¬  Vx gVa p y a p yY  hi¿Cd`dq'¢v`dfw  'i'h`CdCVvg¦hiigbbY gV c  gY  y gaY  a p Y y aY e VcY y ia X XY ic  e  y Cdj`bdgdqCVqiÞq`ghdqdbevrbd¨ca  i Y V i c  y u gË g ycY Y X ia p V   gY   g YV qqbdh¡g|T¨&3qid&b`hd`{XÃ3Vy3$¢`bR3V  vqCfe  gY g Vx gVa p y g ycY Y X ia X p V  ai  gYV e  y `qth`CdCVvgqid&b`hd`d3Vy3$q1CV  bCfHdc¤  y gaY   i i V i  uV  ð VaV y gix VaV  V x Y ia gbV1v`y3hfyqvT3dѹC3vd`q3Ñ3!ChhX  X Õ  r a ui Õ  g ycYx  V eY V c cY V y X  yi g V  bY cdh'3`hi&Cvi¦fbj¤&W3vdq`dc pi  g ycYa u g ix  y i X a u p V c pi x YV ic  y  g i X bs`qidbh  hV|h$'qiWdÞbhCjgv`hTd Vaa ix Va ucY p a Y y   Y V   Y gc g Yc g ix Y a y y 3dq3jC&CVdq`ght3!qCq|`q3i¿ÅqYfed VaY Va ucY p V V V  ¬ dqÞC&CVqv'¨ g3$bTj&`'b¢qidbb`¿g9hi&3vifbdj&Y aV XY X cY c pi g ycYci g V c   g ycYx  V eY V c c pi V  Y  y i X V c  Y ic  y  g i XVaa ix    yaY b!uq&V|h$`d$qd¦gv`hTdCq!CVqYb& aY y   gY gc gY  gix Y VaV  V  i g Y u y y  y a p Va u dq`g``bCbcTqW3!sCv`Tq`vv`g!qied`dc Y p V  ¬ » All º Y cV gY c gY   y Ä p Ê g ycYc gV bCV'i¢qqFk´{bf¢b`b'dWRbi 3qidb3fe

V yi r l9  y  g  i cV e VaY X e ix y V c a p xYa uxxY pi Va uYV e  u yaY Ä Va u y qdqg bHdc¤Cvd3fCbThÑdd'hiq33qeb!ddqf'`qidqsfð Ç d`qAÕ
0 0.02 0.04 0.06 0.08 0.1 0 0.02 0.04 0.06 0.08 0.1 0 0.2 0.4 0.6 -0.9 -0.85 -0.8

»½ ®® º f !z £@e d
L L

À

»

ywv ç!u f » Ãe d ¾Âz Á ¡!r· 8¹ ¯ y ¹ ¯¿ ´ »  y ¹ 16!~ ¹ ¾ ¥§¨)} ¹ ® ¾ À ¼z ¾ ¾ ½ ¼z ¿ 6¥§¨)} ¹ ® ®® º ywv r!z S@§!u
L

·z·· µ ´ ¯® · ¹ !r$S!z rr® ¹ !{ §¸

·z·· µ ´ ¯²~± ¯®® !rr$¶!z ³85° r!~ y 

L F = {b, b log b}

L

wb log b b L

b log b

{

^^ (x,y)}

 L/ 

F

hi = [1,  (yi = -1),  (yi = +1)]

L

L

L

^ (xi - b (xi = 1|y))2 ^ L L L
L L

yi


Vx ia X Vx gVa p 3C3vd3`33Vvgy V`dhbeTqid¢xvdvq`gqbjTbeb`gqb¤d¤`dc c pi  g yc y Va X Y yaY e V c  gY Y yaY e V uac V  gC3!$43`33hd`|hCf¢|d3¤ehda VV cV  Vx gVaV y  V c Va u YV e f ya V c VaV   g f y  y y X eV pi g ycY y y y e cxV y  Y   uia c Y yaY qY3xdaf3!b¿qid&feg¦CavhqdWb`gqbe a p y ic  y ga Y  a p x Y ia X X Y gY c gVVa X aV XY X y  3VvggdqCVhiqhqbdC|dd3$bTW'¬ VYc Vx gVa p V  hqq|ï3`33VvgyÒdc gy Cd|v|½ibà`qfqid3$X eVc  V c pi Vx g Y ea paV V  ei Vci eVa V cYa  i i V  V c   º Vaix `dc qap¿dbfCda3&»Tvvy3qfy `dT hV Cq  y y yc X   V ga   u u a Y V  i e Y y  XYa `gCfedvhiàvïCbYVàbYT|`Vdq3vvf¦bCx`bq g VaV  g i  f ya Y y X e i Vc V    g y hC|3hhtr $dd4b3xyafCV¶dc d&Y3a C|Vi3x qidc x g p   Y y y y y e  V g Y V pi VaY a   ¢`uedij`gCfegfvjdaqCVg3Ãcb¤be3V  |yqYtr ¯ °vvW¹v|³ Ý Ü ³ ²

 Allkgl Å7 ð Ak äè¤ ö n Û ª `qqhha Ç r9 Ç `TgW2ä³n¤`¢á ä ÚÛ ¥ ê ä õ   Vy  a V g V V V ap y  x u fy f  g Y V  c V  V  c p i g iy 5¦ {¢¥£6CCq3CW3T`vvTbd3Td9qqdc Y y y y e c g yx V a p c gV e u aY y V gi r VfV  &Cfe`gfÞ3V3Þqi93fhdqWcv3qvqtv3qdCr¬  m llk gôó ò ò ñ í éá ï è ¨ Ûèî í é Úè褫§¥ é ª vvqbh&)''§¨Sp³ìð¤¢r¥iꢢd!hb§FÚÛ æ© ¨¥§¦ªá n©¥ ç¤ ì Ú è¤« ª o ê   xYa uxxY V y V bf¢bC¢$dvjÈê¢h&© m ëg4hq33q4|¤CT  e u y Y e a p   ei  gYa Y g y y  gix  y yYa bY ev&tqie`CV  hv`b`q`qidcv`hggbÞ¬ 9hihqCd&'£hTbTWehv|v&qqd`¤f¶3ha  hw u   icY B  w  gY g i U  r g  f i f Y u   b g i   m llk gé Ú ¨ ¨©¥é§¥ é Úé§ è Û« ço ªá ª vqq$qêbdqdd'Ç«qdA¤ m {Ú`æå&§ ä ¦ ª § ã n © ª §ÚÛ © ª ¥ ¤Û ª á g   a Y V  g Vc c  V g V c a ip  e V 5&s¦$$bÂFb$¢3ÆT¢âW3bqiCdd3j`dqWfC  ia X gV ¬ ð  y gaY  V y xY e Va ucx uac w  i y ei U  q3AATgdqCVgqd`d¢Td93qgfq ¯ íì í  í  Þí  9H× cgV e ei CCfhx  p V  a p aV  y Va  ui e  gi gY V c  gY aYfa u XYaY uvX3¦hiCtCVv3d`qfvvqqd¿`qdq&d`bb¦ã X  ¼ Y V  Ygi gi y  ¼ y g g y egai y Y  e f y c qYWAhv3!AqbChheqiqYd¡qdq¦j`g¹ í à Û ¯  Aí  Q ± |Ø V° ¯ } ß   y ga Y    Y gV y   7 g ycxV w e i p   uVa V  Tg`dqCVdVq`39¤j7 qqidCväqa!c|d¦`dc gC`hvghhTb¦qvhy &TddCv&sA qid`up  u i u yc g ix  gY V g ix cY c V y ia  g ycx g V c  y YaV gV aV y gix  uix fai  Va uc p g Y y `d´`gCyb3Cq3vd`q3¸`qÀq!¢dvuhbTg¨Õ  e  ya i Y  y Y X V  YV e Y  y yaV    c g yx  Ñdcdhqbfg|q`dqqdCfffg3vv4hCV3V Vai V y y y e ic  y i X V  Y e yg  p  Y giYV qfe 3egfsVdh$$drc&chÂYbTqdqCa ¦3|V`Ñvfqid&fedvhx3`3q¦`dqh'¬ y VaV    u  i cV e g ycY y yc X i yaV gV V c  u i   XV  Vx gVa p y  gY  y gaY 93c¦3`33Vvg`bfgbCV V c y ci  g» El lk g  if fY Y k  gY Yc gi º x gVc y g i `digb$`hhbT`YhqvbhhÌ`bqqvFwR`Cd|d`hx Yx  gY c V Xic i X Y y aY e V c g i   g ui  aVc  y q3vi¸b`¡$qdq$bTghdqfdHh``q$3qdc V i X y ic V   u i  c gV eVia X y  y i X aV ci g dh$feàd1TÒhtCCq&fe1V`ddT 3`db`¼ » Al lk gVfV º VaV  V g i  Y Y yaY e  ¢hb`CCqdCWÂ3hv¤q'b`gqb¹bY g Y c aV cYag  Y y a Y e c gVc y g ix Yx  p i cV V c aV  q`dÞ3&3Cq`ghdqÞ3d||`hbCviqAdt`d¹Cq&i V  g ix V  i  y yYac g ix  g i   y y V D Va i 3qvq34$c `ggbd|`h¢h¢ cyv3`xqfe cV   i X  u ix V g b V  i e V c pi y y V D V  3q´|yh$1h¡Þ{3vvf¡db´cyv`h`dc  eaY  eaVc V y y i X V  i dq`å3dqdcdh$$Ñdc V c a p c yV dqiq3! V c  y yYac g ix  y   ic VVa V  V c aY x c i g y `d¢ggbd|`q3¸x¤dÑ3qCvbV3qÆc CCVqYb&3`hq¤`C|d`dgvd3`qrqY    yaY gV  y  p i Vx gVVa X V c y   i cV e Vx g Y  Vai e V y u ÖVa V  i e Y y  XYa pi  y gaY   i i V qfdCa`hd3vf¨bCx`bqtq4`gbV¿vvy3hfy e u y Y e Vx y g V Yc g Y  Y c gY y g y Y  yc gVci X jev&¦Tgd`qhbhq&vqWbCx  q|bYdCdb$y )' CCVbpYi h dgy q&¨¤ m 3tCq&43qqd$`edq3x y  ¬    a Y  o ¥ ¤ è Í § V  c a V  i g V f Y c V   X y  g Y  a qi gCVqYb&dW3q&i dfdT¹ChdC|Tqi y    yaY V c aV  e u V c g V aV  c i g VaY cY  V e i Va Y VaV c     yaY gV  y  p q¦bdb`dc h|dqjdCdeÆp'CCVbYb&i3`sbi Vx gVVa X V c y V u V   uix e  yai Y  y gaY  V eY 3`3dCW`dgCd`Tfq3cqhqjgbCVfb V c  yc gVV cY c y x Y ia X XY y c pi V Yc g Y  Y V g `dfqYhC|C¤b`dtqd`b¤dAbWhbhq&vqb  VaV hdC   u    V c gY c Vc ya Xia X XY Va i e V   uix »m l l |V`'|VhiÑb`dd&YqqdhjTq3tqhbk g{b'ha  dqdCqidb3x  ddhY3d¢d¤3$bY|¦`gcdCa Y cV  i º a iaaV g ycY y x ÔV y V  Ó  y  uV V c V Y gV X cY c g ycx g p   Y g V Yx Y x u     `dtCCyb`CT'&Tdhi¢``ushivqdqCT|g¨hV`bY b&iqhiub&ÑcybTqX jev&`dd¢xvCX yaY xYV a p V Y y Y ia e u y Y e V c c y Va ic  g i V u V  y  p V   Y y aY e V cgV Yx V e i ¦qCd`¤$v¤eÂVy3$q`gqb¤drCCdqC¤h|fg  xaYVVa Va uc p a 9b|d¦du'qip  YVaY  y y e ia X  gY g g y V u Ö gV X i YaV V Va Y VaV  hCbjgdfqTbv3`hic3$q`b3qC|dqWdC'¬
F f = b log b F F xi L F L

  y gaY  y Vx ia TgdqCVÑg!CvX Vx gVa p y V c  yaV y g ix p i Vx g Yca i X y V c V y Y  X e 3`33Vgdg3v|Tq9q`qdq$fed¤CdqTf3V  g Y V u y VV c pi y Y gY gY V y ia X » E l l º Y yVaV `qC`|j|db'dvbTbibv&thhb{k¡a33  g Y Y  u ã   ic  ux y   y Y eVa VcY y V  ¼ `q|Vf¹`g  ¦c`dTgqfCddbecïWi V c  XYa YaV gV Y y V u y Y g ycYc u X eix g i  ux `d`bqhb3CqÑgÅdd¹b`hi&vfq3h'`vip ci g V i  Y u u  y gaY  Va ucx uac w   i i V  V  qCvv´q`d`gbV1Cd`d19vvy3qfy`dc  Y x u Va u YV e cxV y  y gY g Y c aV cYa V  i e V c p hT|d`|hCf¤¢Cav`gb¡q`dt3&{g3vvfdAbi Y y Y e V c V c pi  eaV y cxV y  gV y  V y evb¡dÑWqff3c g´dCa13hhfy 3ey  Y e V ycx Ä i V c cx pV  V  i e gi V ux p y  g vbfqd¢VvqdÅCV3v!CvvfRq¢Cd`3vi¢TbY g9hi&yb`gqb½q`d3&q3`33Vvgy Wiib' g ycY Y yaY e gY c aV cYa gVx gVa p  ¼   aY ic Vc g yai y y  ¬ » nl lk Y cV aYfY º Ô y gaYV qd¢d3Vq'¿bhbeg{bb&dq¨Â¬&gb9 Va ucx uac wÓ  Y g i g f y fai  pi YVaY Vc Va aV ci g C¢`dhѤ&`q!bCbÑC&Y33`db`¼ aVc 33V bbTdfq`ddcdhqbddfq`d3dd$qid3$X eYaY X V uac gi g ua e  ya i Y V c gY c aVccV  ea paV g Yx  i i V  VcY  iaa u V c e i p  y  uVa aVcV eY q3vvyCqfy4dbhq|i`d)hda gdcdC3fba b`ic qHa dcqqbi3`33Vgdbfevrd`b`dc Y X V  gi g u e  yai Y Vx gVa p y VcY y ia X XY V  Å VVa V  V e i ic aV ci x YV Vx g Yx g Yx  Vx ia X i Cdh3vh|dW3b¡qÞC`q3q3|VC3v!c V c pi a iaaV V c cY c Y  Y x u y Vx gVa p y  gY  `db!qdCdW&`r!ÑT|ig¦`CdCVvgÑ`bgy dqCV b$qi¿|`dbhq|fbj'hhd3V ga Y  ci  a p V u y VcY  iaa u V eY y  ¬   X iac g V c ic VcY  iaa u  YcxYac Y VcYVax aV XY X y  ¬ Vx g `d4ddbhhddVb¢qddbC3$b`d'¦qT3V a p y VcY y ia X X Y pi c Vc g ix V c y a icY y V c gV y |CVvg¦&evrqbd3dq3igWhd&ed|cCdhCd|cd qTgÀq¦qiub&iHqh'qqFkqd¤vgb¢iv`ux gix y gY pi V Y V c gi » A ll º c  ya  yY j V     yx ya X y c  ycYac g i eV  fa i  Vc Va yxV X vgyV`X3`gddg&d|`qfCvq!¡d&Y3x  3C$vw aYV gVc c V g V c pi  e  ia CqCqÑCd¤v¦`dÞq'3VqX  e   ia X c gYc i X y c e V c p i V g i  Y ÔVx gVa p   g CVhd`tb|ahTfe!|hifW`d9qWhh¢T33VvgTbY  y g YV  p i g y Y y  e r XVV UÓ VcV   u » m l l º  i gab9tqqidcb`gjhitRC3|Cd|ChqdqhbFkfq  y e i V yc YaV V V V   u gVV   Y  y c p vgfhWU#CCfeb3qC|Ccqq`|·3CT¢h`Rd4bi c gY y gi V   u i  V ia  y gaY  V c g V u V b`qq3xµ$h|dxvd`Xï`gbVàd¹Cd`¸$ c|`3`33VpvgW&evrqYgC¤¤&`vWx|yh`'¬  u e Vx gVa y VcY y ia X X V  cY c YV y Y  V  ° Ú  Ø sÁC± í ¨ Ùí × Ö
Û 

{uvX3¦èicyv`¦¤&`jgd|cChqd  p V  Ú y y V D y c cY c  y V u gC`qidb`q  hd3q&¦bYb&qdqC`uqr`dc  g ycYa u g ix V c aVi c g yaY   y  VaY V Y V  gC|qCV¦&dq3¦qY3x|q`¦d¿gfqdhäbÎqi¿``qip c Y  cY V Yx a  u yca Y X y c   V y i g r l9 a p  g u V Y V c  i  7  Y ¬  g yc y Va X V ia X y »aV ub&4`d¦&`|¿ÕV`b¨¿C`qidxvd`Ch&d`e¦¢3$  e g  yc g u ix c gY  g ix Y ic V i X X i  º  g ycYa u `ugq3bc`hi d¢|T`qhÂY4`qidbh  qx¿d3h&´b&Rdc dCdRvqdCidfhiHqid`up gi V c aV i aY i eaVc  Xiac gV V c a p g ycx g  yc  y  V c  y   Y y y g ycV u Ö  y VaVc y g gdhCVt¢g¤&iqfpïqid|CHgd|cC3dgÒ¼  y gVc y Yx Va  Y  y  V Y y  VaY p qcd`3hgdVq3vCdhÑc¤4CCybT|uvbÂ3V y 


cY c g ycYaV  i V  e i p    y x V  &TdHqidb&dC|`h¢dc qa&iqip ebY¢'¬
X = D-1 - D-1 AT (AD-1 AT )-1 AD-1 . X

»m q@7º

eV   V c V y y  ¬  g    yaY 3cvddtqq''s TbY CVqYb& ic cxV XVa  y g ycx g p V c i y  r  X XY g i '¢C$dC4c¤ qid`uddc Ç eqYt4q¦&ê »E hFkº CgyqacTqi`dgqip c Y  g x V c  yxa v3VAg9gbYyqgqahbYA¿Yc&Vd3xgC|ay¨Õ ¥¦q ÂPD`ÂÊÈTIß$9&¤ g Y VYa c Ë ß IIÍ VaV  dC¤
2F  b () = (D-1 AT (AD-1 AT )-1 AD-1 - D-1 ) ,  j  b j
 D = (  bF T ). b

V y a p A7 gY 97 Ö Ø  y i qq qih`qj§63vfgvhvw »A h@7º »9 q'@7º VaY n dqb7  Ö Ø ei p cxV y    p cY c  y yc gV y a u p V c pi i  TtqadCa1&ihis&`CVdcdCvqi'hbtA¬
X, Y , Z D AT 0 X U Y U = I 0. I

»n vb@7º

g9g3`'¬s hic¢`g`upqvhi¦Vfqdqip V g y x V g x ei a VU g  VWð q FPÂÊÈ DË c u &Y`c¿xT|g ì '¿£ } °°
b ( )= arg minb F (b, )  F

 ycY y g y y V     g CV  &WcÑhicg  vvg `qY VaY  yac g dq¤CVd3V  y   yacY e V i Y V c pi VaV  y V c aV y g ix g i c!Æphd&q&$bbdCqvgfd3v|TqA¦&ê aVc CCd|qÂYp hq3x  hdT¿b3&iCTCq3våqi`3h3!& c gY y g y V  gYx  V  V yaV  ea p V c gaV V i  g ycY u ÖV y c ei p cxV y Þqid&Th¨ïqadCa Cq&ddVddTAÆc aVixVa ic  y i X y eVc  V c   y  y c Y  yc u y   u Cd|v|!3V¹bgdvccTvw
2L 2F =  b j  b j 2L =0   j b  j   j = D AT 0 -1 2F  b  j .

»7 @7º »k qh@7º

 Vc  u  Yx ic  YV i Y VaY V ycY yaV  c V  hdbY3xq3d|hC|b¦b'Ch&&3¤|a  '¬
2L )=A  b T 2L )=0   T

» Ç @7º

c g Yc g ix Va Y V yacY e i c aV c i V  hq|`q3¦dq¤Cxd&t'Cdq¦'¬  eVc  V y Ya  g ix g u V c a p V i c  Y V eY Ñ3d|v|C`gqc`h``¦d'hidh`d!q¦fb V c y V ycY yaV   yca Y X  g ixV p i yacY e  u c V  `deeqd&&dCv`qY|q``q3Cd¹qd&dt|a  '¬ »a {k
b  j   j = -
2L  b bT 2 (  b L T 

2L 2F  )=( )=D  b bT  b bT

»l hq@7º

n 

 9llkg 7k ÅkEk ð» 9 g¤ ç   ª Û© ¨¥§¦ª v§qqqvk Ç hqák¢q{mº Ç æ&b`h¢b§FÚbf¢bC¢á ª§ è ª Û«©è ª©¥   ÿ ÿ ÿá  e  ya i Y g ycY Y Xia X p bb§FÚ3q3`&d¡¶6pGCdcdhqbÑqidbhbTqsVy V  V YaV gV  gY  g ycY y ia X XY  aV g VV p  $ÑC3yb3Cq¡`q`hi&evrqhdC3ÆVCdagy cx uac g i r  yV j  e  g Y g gY eVVa Õ  j g y y V e  d¢`d|`ht¶CC¿cþ`q9bC3'½YvCs6Tk 7llkgé Ûç£ ¨§ ã oª© ª Û© 'qbhbvêFÚv&bsqæb b§FÚb« Ãæ`vd&sG«ýdF¥T&süb5&sübƧ¢3¤³nâgshThdhTX Ú ª ç ¨ ¨§ ã n§ Û ª§ ã ª§ 䦪§ ã ª Û¥ n ê   V X ic  i Y y aY e V c e i  y  V  ¬ ð V  i e Y y  XYa q`ghdq¡d)hdap 3VvÑ'i33vf!bCx`bqHgy Vx gVa p y Y g yc yaY Ä  gY ai k    gY c  ya  yY j  3`33VgAb`hi&YdqsÇÞbqh2R`qdq¤gb¢&R  Allkg a9 Åak ð m äè¤ ö ä ª¥©¤ è ä ç«© ÷ ä hbh`§E Ç &E Ç v$gW2æ¢bÞV3hÙõ `gddd4dcey{vhi&vfq3`d4g'c  C!6FðCvve  yccV V y  g ycYc u X eix V c y  V gV B V  i  Y y  XYa  û  g ia û V c  ycY yc c  ya  y Y j  q3xbqæ`q¤¢FÀgdbfed|Ø hh¤vgq R  Allk gé Ú ª¥©¤ è ¤ Úç«© ÷ ª§ 䦪§ ã n© ª Û© ª¥ Û ª hbTqêT¢&AhêvqHbs5Cbs6$h&§{Ú&$¢3¤`¢á g!3`v`df3Vvhhxd|qTvc¿dc¤¤3V  qv`qa    i cV e c g y  Ya  yc Y x i   y    e i  g Y Y g y y  g ix pi  y yYac VcYa Vxx ¼    Xa u   ã  g q`qidcv`hAq`ggbdCdbCVCC¤¨h`divf4`bY gCvfvTRÞXhv`qT9q`db`b'v|W3`hw c y e x w   g   i  uYa x w  ê g gY cY gY  y Ä  ê  Ä   nllk gôúò ò ñ í éá ï è ¨ Ûèî í é Úè褫§¥ é ª `qqbh&'§¨Sp³ìð¤¢r¥iꢢd!hb§FÚÛ æ© ¨¥§¦ªá n©¥ ç¤ ì Ú è¤« ª o ê   fai cV g i faY bf¢bC¢tdv5Ìê$b© m GÏgCvq!`4&hdqfe ghdq{ev&¿3VhWe´`bt9gd|C`u  tb&dq¨¨dB y a Y  Y  a  i ã  U  gY g yacV  r gaYf Y ¬   E llk g ù ò ò ñ í éá ï è ¨ Ûèî í é Úè褫§¥ é ª 'qbh&§ô£'§¨Sp³ìð¤¢r¥iꢢd!hb§FÚÛ æ© ¨¥§¦ªá n©¥ ç¤ ì Ú è¤« ª o ê   V X ic i X Y y aY bf¢bC¢£$v5Õêh&© m hg9hThdq$`bTghdqfe V c g i   g u i  aVc u i V ê  i f fYY k  ¬  gY Yc gi w  `dh'`hT'Cdvhµ3W9Yqhqq£4`qqqv`U  Ç qqTqê`¢bÞ$êvhH&§ llk gé Ú ª¥©¤ è ¤ Ú ç«© ÷ ª ä ¦ ª § ã n © ª §ÚÛ © ª ¥ ¤Û ª á g  Y c Y  V x g V u Ö V   gy V  Y  g 5&s¦$$bÂFb$¢3ÆT¢âd&`CCd43$b¡`bY  yc gV e V a p V  i e yc y Y  ia  ð  ei  gY gdCh3d¦qiWCvvxd|y`b`hds3`CV  qv`qa q`qidcv`htÞaCdC¨!`qÑuq!ivjhqd3h&ATk Y g y y  g i r  Y yVaV   Õ  gY g e Y rx   ¼ g caV Y    Ellk g ù òò ñ í éá ï è ¨ Ûèî í é Úè褫§¥ é ª Û© ¨¥§ `qq$&§ôâS)Gìd3Ƥ¢r¥iê¢d!H&§{Ú&¢&¦ æ`fdv5Ïê¢h&© m øg qT33VvgdbevrbY ªá n©¥ ç¤ ì Ú è¤« ª o ê  Vx gVa p y VcY y ia X X  y   y gaY  Va ucx uac w  Y yVaV   Õ  gY Y   u ã  c¤ÑgbCV Cd`d`a339!¢`bÑ|VA¼  kllk gé Ú ª¥©¤ è ¤ Úç«© ÷ ª§ ¦ª§ hhbTqêT¢&ÞÉhêvqqbjCbeã © ª Û© ª¥ Û ªá    g y ifaY e a p g ycx g p V y $&§{Ú&h¢¤`¨gCCV  bYv&qbhihi¢``uqdc x Ä  i VcY gaV Y g ¼  yV i  w  gY g V ¬  eg V YfY ã CVvh'd&TdCdcbT33!&¤h`qh9CÞ$hvq&q¦qhw

Ab = d

b

L(b,  ) = F (b,  ) + T (Ab - d).

2



L

-X  F j . b
2

(

A

(

D X + AT Z

-

(

A

b  j

Z

) )

AX

 (  bLT )T  2 (  LT ) 

(

= 0.

= I,

2

0

0

-1

2L  b j 2L   j

b  j

º

=