AI ei suuda endiselt käsitsi kirjutatud numbrituvastust (ja kuidas seda parandada)

Deep Learning on kiidetud lahendamaks kõike alates isesõitvatest autodest kuni maailmakliima ilmumiseni. Ja veel, sügavad närvivõrgud (sügava õppimise tööhobune) ei suuda rahuldavalt lahendada isegi kõige igapäevaseid ülesandeid: jõuline käsitsi kirjutatud numbrituvastus. Vaatleme järgmisi näiteid:

Tavalised pildid on klassifitseeritud suurepäraselt, kuid…

Iga numbri all olev arv näitab võrgu ennustust. See klassifitseerib kõik need proovid õigesti. Mis siis probleem on? Noh, kaaluge järgmisi pilte:

… Väikesed muudatused võivad võrguotsustest täielikult kõrvale minna.

Muutsime pilte pisut, kuid nüüd klassifitseerib närvivõrk neid kõiki valesti. Selliseid “võistlevaid” sisendeid on tuntud juba aastaid. Need mõjutavad põhimõtteliselt kõiki süvaõppe rakendusi alates objektide tuvastamisest, semantilise pildi segmenteerimisest, kõnetuvastusest kuni rämpsposti filtreerimiseni. Peaaegu iga üksik praegu kasutatav närvivõrk on mõjutatud ja seda saab rünnata (sealhulgas näiteks Siri või Amazon Echo).

Kuid see läheb veelgi hullemaks: kaaluge järgmisi pildikomplekte:

Neid pilte klassifitseeritakse närvivõrgu poolt suure tõenäosusega nullidena.

Kas tunnete ära isegi käsitsi kirjutatud numbri vihje? Ei? Neuraalvõrk on äärmiselt kindel, et need kõik on nullid. Need niinimetatud äratundmatud pildid tõstavad esile veel ühe tänapäeva närvivõrkude probleemi: nad käituvad täiesti ebakorrektselt, kui sisendid asuvad liiga tavalistest andmetest kaugel (antud juhul numbrite asemel müra).

Paljud on seda robustsusprobleemi tunnistanud kui peamist süvaõppe kasutuselevõttu. Mitte ainult turvakaalutlustel, vaid ka seetõttu, et need tõrked rõhutavad, et meil pole aimugi, kuidas närvivõrgud tegelikult töötavad ja milliseid pildifunktsioone nad klassifitseerimiseks kasutavad. Selle probleemi lahendamiseks üritatavate dokumentide arv on viimase kahe aasta jooksul tugevalt kasvanud, kuid siiani tulemusteta. Tegelikult peetakse närvivõrku, mida kasutasime ülalkirjeldatud käsikirjaliste numbrite klassifitseerimiseks, praegu kõige kindlamaks mudeliks (Madry jt). See asjaolu näitab, kui kaugel oleme jõulistest äratundmismudelitest - isegi lihtsate käsitsi kirjutatud numbrite puhul.

Oma hiljutises artiklis tutvustame piltide robustseks klassifitseerimiseks uut kontseptsiooni. Idee on väga lihtne: kui pilt klassifitseeritakse seitsmeks, peaks see sisaldama umbes kahte joont - üks lühem, teine ​​pikem -, mis ühes otsas puudutavad. See on generatiivne viis numbrite väljamõtlemiseks, mis on inimestele üsna loomulik ja võimaldab meil signaali (jooni) hõlpsalt märgata isegi suure hulga müra ja häiringute keskel. Sellise mudeli olemasolu peaks hõlbustama ülaltoodud võistlevate näidete liigitamist õigesse klassi. Numbrite generatiivse mudeli (nt nullide) õppimine on üsna lihtne (kasutades variatsioonilist automaatkooderit) ja töötab lühidalt järgmiselt: alustame ebameeldivuste muutujate varjatud ruumist (mis võib hõlmata selliseid asju nagu numbri paksus või kalle) ja õpitakse nendest andmetest) ja genereerib pildi närvivõrgu abil. Seejärel näitame käsitsi kirjutatud nullide näiteid ja koolitame võrku sarnaste tootmiseks. Koolituse lõpus on võrgustik õppinud käsitsi kirjutatud nullide loomulike variatsioonide kohta:

Nullide generatiivne mudel õpib käsitsi kirjutatud numbrite tüüpilisi variatsioone (paremal).

Õpime sellise generatiivse mudeli iga numbri jaoks. Seejärel, kui kaasas on uus sisend, kontrollime, milline numbrimudel suudab uue sisendi kõige paremini ühtlustada. Seda protseduuri nimetatakse tavaliselt sünteesi analüüsiks, kuna analüüsime pildi sisu vastavalt mudelile, mis suudab seda kõige paremini sünteesida. Standardsetel edasisuunamisvõrkudel seevastu puuduvad tagasisidemehhanismid, et kontrollida, kas sisendpilt sarnaneb tõepoolest järeldatud klassiga:

Tagasisidevõrgud lähevad otse pildilt klassile ja neil pole võimalust kontrollida, kas klassifikatsioon on mõttekas. Meie sünteesi analüüsimudel kontrollib olemasolevaid kujutise omadusi ja liigitab vastavalt sellele, milline klass on kõige mõistlikum.

See on tõesti peamine erinevus: edasisuunamisvõrkudel pole võimalust ennustusi kontrollida, peate neid usaldama. Teisest küljest uurib meie sünteesi analüüsimudel, kas teatud pildifunktsioonid on sisendis tõesti olemas, enne kui järeldusele jõutakse.

Selle protseduuri toimimiseks ei ole meil vaja ideaalset generatiivset mudelit. Meie käsitsi kirjutatud numbrimudel pole kindlasti täiuslik: vaadake uduseid servi. Sellegipoolest saab meie mudel liigitada käsitsi kirjutatud numbreid suure täpsusega (99,0%) ja selle otsused on inimestele palju mõtet. Näiteks annab mudel mürapiltide puhul alati madala signaali, kuna need ei näe välja nagu ükski varem nähtud numbrit. Mürale kõige lähemal olevad pildid, mida sünteesi analüüsimudel klassifitseerib endiselt suure tõenäosusega numbriteks, on inimesele palju mõtet:

Proovisime sünteesida tundmatuid pilte, mis on endiselt nullideks klassifitseeritud ja millel on suur usaldus meie analüüsi-sünteesi mudeli abil. See on parim, mis me saime.

Madry jt praeguses tipptasemel mudelis. leidsime, et puhaste numbrimärkide minimaalsetest häiringutest piisab sageli mudeli klassifikatsiooni rööbastelt mahasõiduks. Sama analüüsimeetodi mudeli abil saate hämmastavalt erinevaid tulemusi:

Analüüsisünteesi mudeli vastandlikud näited. Kas te oskate arvata, mis algne number oli?

Pange tähele, et häired on inimestel palju mõtet ja mõnikord on keeruline otsustada, millisesse klassi pilt tuleks klassifitseerida. Täpselt nii võime oodata tugeva klassifitseerimismudeli korral.

Meie mudelil on mitmeid muid tähelepanuväärseid omadusi. Näiteks on sünteesi analüüsi mudeli otsuseid palju lihtsam tõlgendada, kuna on otse näha, millised omadused mõjutavad mudelit konkreetse otsuse suunas. Lisaks võime selle robustsusest tuletada isegi mõned madalamad piirid.

Sünteesianalüüs ei vasta veel täpselt inimese ettekujutusele ja selleks on veel pikk tee minna (täielikku analüüsi leiate meie käsikirjas). Sellegipoolest usume, et need tulemused on äärmiselt julgustavad ja loodame, et meie töö sillutab teed uue klassifikatsioonimudelite klassi, mis on täpne, jõuline ja tõlgendatav, poole. Nende uute mudelite osas peame veel palju õppima, kõige vähem, kuidas järeldusi efektiivsemaks muuta ja kuidas neid skaleerida keerukamatesse andmekogumitesse (näiteks CIFAR või ImageNet). Töötame kõvasti nendele küsimustele vastamise nimel ja loodame tulevikus teiega rohkem tulemusi jagada.

MNIST-i esimese vastandlikult robustse närvivõrgu mudeli poole

Lukas Schott, Jonas Rauber, Matthias Bethge, Wieland Brendel
arXiv: 1805.09190