rudiak eta testua uztartzeko prozesu neuronalak bistaratzea eta aztertzea

Irudiak eta testua uztartzeko hainbat ataza interesgarri daude: irudiak testuz deskribatzea, testu batetik irudiak sortzea, irudiei buruzko galderak erantzutea... Gaur egun, ataza horietan transformer multimodalak erabiltzen dira gehienbat. Lan honetan proposatzen dugu transformer multimodal horiek ikasten dituzten errepresentazioak bistaratzea eta aztertzea (adibide bat, testurako: https://github.com/jessevig/bertviz). Proiektuaren zehar ikasleak deep-learningeko ezagutza bereganatuko du. Ikasle bat eurreikusten da.