A kétlábas, kreatív és technikás középpályás az U10-es korosztály óta az akadémián van. A 2010/11-es szezonban 19 alkalommal játszott az ifik között, majd a rákövetkezőben 22-szer. A büntetőknél általában rá számítanak, öt találatából négyet így szerzett.
Még a profi szerződése előtt, amit 2012 nyarán írt alá, szerepelt a tartalékok között is, egyszer kezdőként és háromszor csereként. A 2012/13-as szezonban már rendszeresen játszott, és egy idő után kapitányként számoltak vele. Ugyancsak szerepelt a fiatalok FA-Kupájában, valamint a NextGen sorozatban is, fontos gólokat szerezve a középpályáról, ám a végős siker elmaradt. Azonban egyéni sikerként elkönyvelhette a torna játékosa címet.
A 2013/14-es szezonban a Swindon felett aratott ligakupa-győzelmünk során már a padon ült a nagyok között, ám a debütálásra csak négy hónappal később került sor, a Derby felett aratott 4-0-s FA-Kupa győzelem alkalmával. Az U19-es és U20-as korosztályban nyújtott teljesítménye alapján őt választották az év fiatal Chelsea-játékosának, valamint ugyancsak az övé a legszebb Chelsea-gól is a szezonban, amit a szurkolók ítéltek oda neki (az Arsenal ellen sarokkal talált be a kapuba az Emirates-ben egy U21-es meccsen).
2014 augusztusában aláírt egy ötéves szerződést, majd Mourinho benevezte őt a 2014/15-ös keretbe. Egy fél évvel később kölcsönadtuk a Sheffield Wed-nek, majd visszatérte után az MK Dons csapatának a szezon végéig. Az utóbbi csapatnál jól teljesített, nyolcszor kezdett, emellett tizenkétszer csereként számítottak rá, ez alatt három gólt szerzett. 2015 nyarán egy egész szezonra a Vitesse csapatához került.
Mielőtt behívták az U20-as angol keretbe, Baker végigjárta az U16-os, U17-es és U19-es csapatokat is. Egy a románok felett aratott 6-0-s meccs alkalmával kapitányként maga is betalált, ő szerezte a negyedik gólt, büntetőből. 2014 októberében behívták az U21-es keretbe is, ám mérkőzést nem játszott. 2015 nyarán tagja volt az U20-as csapatnak, amely a negyedik helyen végzett a touloni tornán. Itt, amelyik mérkőzésen játszott, azt kapitányként tette.
