https://frosthead.com

Teie joonistustele fotodega vastav otsingumootor pole liiga kaugel

Mõni nädal tagasi olin kaubanduskeskuses, kui märkasin naist, kes kandis köietaolise rihmaga suurt käekotti. Kuna olen uue toominga turul, mõtlesin küsida temalt, kust ta selle sai. Kuid enne, kui ma oma sammu teha sain, kadus ta nurga tagant. Koju jõudes proovisin kotti Google'i abil üles leida. Kuid ma ei ole fashionista ja leidsin, et mul pole sõnavara kirjeldamaks, mida ma oleksin näinud. “Nahast pingutusrihmaga käekott” polnud õige. Samuti polnud “köie käepidemega rahakott” ega “nööriga rihmaga kott”. Lõpuks loobusin.

Nüüd on uue tehnoloogia eesmärk aidata inimestel otsida asju, mida nad ei pruugi tingimata sõnadega kirjeldada.

Georgia tehnoloogiainstituudi arvutiteadlane James Hays on loonud arvutiprogrammi, mis võimaldab käsitsi joonistatud pilte fotodele sobitada. See võib lõpuks viia programmini, mis võib kammida Interneti-pildi otsinguteenuseid, näiteks Google Images, ja leida fotosid, mis vastavad täpselt kasutajate joonistele.

"Eesmärk on suuta seostada või sobitada fotosid ja visandeid mõlemas suunas, täpselt nagu inimene suudab, " ütleb Hays. “Inimene näeb halvasti joonistatud visandit ja saab aru, millisele fotole see sobib. Me tahame, et meil oleks arvutuslikult sama võime. “

Programmi loomiseks palkas Hays ligi 700 töötajat Amazon Mechanical Turkist - hulgimüügiturult, mis sobitab töötajad inimestega, kes vajavad tehtud ülesandeid. Tema meeskond näitas töötajatele fotosid tavalistest objektidest ja loomadest, nagu oravad, teekannud ja banaanid, võimaldades neil pilti kaks sekundit vaadata. Seejärel joonistab töötaja objekti mälust. Meeskond kogus lõpuks üle 75 000 visandi 12 500 objektist. Nad nimetasid seda “visandlikuks andmebaasiks”.

Seejärel analüüsis programm visandeid ja sobitas need fotoga, mis neile kõige sarnasem oli. Tehnoloogia tuvastas õige foto 37 protsenti ajast. Inimestel oli umbes 54 protsenti ajast õigesti. Ehkki 37 protsenti ei pruugi tunduda muljetavaldav, on see tegelikult arvutite jaoks üsna suur hüpe.

"Inimesed on juba nii vapustavalt head, et tunneme pilte vaevata ära, " sõnab Hays. "See on arvutuslikult üllatavalt keeruline."

Programmi täiustamisel on üks peamisi väljakutseid see, et enamik inimesi on üsna koledad kunstnikud. Nagu Hays ja tema meeskond selleteemalises artiklis kirjutasid: “Kujundid ja skaalad on moonutatud. Objekti osad on karikatuuritud (elevandil suured kõrvad), antropomorfiseeritud (naeratav suu ämblikul) või lihtsustatud (tikkudega jäsemed). ”

Ajalooliselt on arvutid visandite äratundmiseks saamise uuringud keskendunud näiteks joonte joonte jaotusele, sellele, millises suunas jooned lähevad või kuhu joonise piirid jäävad. Kuid kuna inimesed joonistavad ainult seda, mis inimestele silma paistab (näiteks silmad on visanditel alati kaasas, isegi kui need on suhteliselt väikesed), on oluline, et arvuti õpiks ära, kuidas visandid kipuvad olema sarnased ja kuidas nad kipuvad erineda fotodest. Selleks kasutab programm kahte eraldiseisvat võrku, millest üks hindab visandeid, ühte - fotosid. Pideva suure andmestiku analüüsi abil saab programm pidevalt „õppida“.

Hays ja tema meeskond plaanivad programmi täiustamist andmete lisamisega jätkata. Arvutiõppe edusammud peaksid aitama parandada ka vastete määra. Praeguse seisuga on programm visandite võrdlemisel Interneti-fotode andmebaasidega, sealhulgas Flickriga, üsna kõrge vasteprotsent, ehkki seda on keeruline kvantifitseerida, väidab Hays.

Lisaks käekotist piltide otsimisele, mida mul nii väga vaja on, on programmis mitmeid potentsiaalseid kasutusvõimalusi. Politsei võiks skaneerida kahtlased visandid ja võrrelda neid kriminaalfotode andmebaasiga. Programmi saavad kasutada inimesed, kes räägivad ja kirjutavad mis tahes keeles või ei oska üldse kirjutada.

"Visandite mõistmise üks eesmärk on, et need oleksid mõnevõrra universaalsed keeled, " ütleb Hays. „See pole seotud kindla kirjakeelega ega ole üldse kirjaoskusega seotud. [Selline programm võiks anda] juurdepääsu teabele ilma kirjakeeleta. ”

Programmi võiks kasutada ka kunstiliselt, visanditest fotorealistlike stseenide loomiseks. Kas olete alati mõelnud kuuses lossis elamisest? Joonistage see ja programm võiks ühel päeval luua teile fotopilti, õmmeldes kokku teiste piltide tükid.

Haysi ja tema meeskonna kogutud teave võib aidata lahendada ka neuroteaduste ja psühholoogiaga seotud küsimusi, väidab Hays.

"Need visandifotode paarid räägivad midagi inimese tajumise kohta, selle kohta, mis on meie arvates silmatorkav, milliste piltide osad meie tähelepanu köidavad, " räägib Hays. “Mõnes mõttes kodeerib see andmebaas seda üsna hästi. Sellest võiks midagi välja tõmmata, kui soovite midagi öelda inimeste endi kohta. ”

Teie joonistustele fotodega vastav otsingumootor pole liiga kaugel