Igas taskus oleva kaamera ja meie nutitelefonidesse ja sotsiaalsetesse võrkudesse sisseehitatud näotuvastustarkvaraga on vahel lihtne unustada, et fotode tegemine ja neis nägude tuvastamine polnud alati nii lihtne. Kas kadunud, kahjustatud või lihtsalt sildita, võib vanade fotode inimeste tuvastamine olla tüütu. Kuid nagu avastas Virginia Tehnika arvutiteaduse dotsent Kurt Luther, võib kogemus olla ka üsna liikuv.
Luther oli 2013. aastal Pittsburghi senaatori John Heinzi ajalookeskuses näitusel "Pennsylvania kodusõda", kui ta komistas oma suure-suure-onu Oliver Croxtoni foto juurde. Ta on kirjeldanud fotot, mis oli vanim perefoto, mida ta näinud oli, kui aegade rändamist.
Juba ajaloohuviline, kellel oli huvi Ameerika kodusõja vastu, takerdus hetk Lutheri juurde ja ta hakkas mõtlema, kuidas sama kogemust tuhandetele teistele ajaloohuvilistele tuua.
"Ma hakkasin rohkem õppima kodusõja fotograafiast, " räägib Luther, "ja kuidas tuvastada [inimesi] erinevate visuaalsete vihjete abil, näiteks vormiriietus, sümboolika või fotograafi stuudio teave. Vahepeal tegin infotehnoloogiaprofessorina palju uuringuid rahvahulga allhanke valdkonnas ja mõtlesin, et ehk on võimalus need kaks asja kokku viia. ”
Luther komistas fotole oma suur-suur-onust Oliver Croxtonist. (Ken Turneri kollektsiooni viisakalt) Tulemuseks on tasuta veebitarkvara nimega Civil War Photo Sleuth, mis kasutab rahvahulga otsimist ja näotuvastust, et aidata kasutajatel tuvastada kodusõja ajastul tehtud fotodel tundmatuid subjekte. Vahetult enne selle ametlikku väljaandmist 2018. aastal võitis tehnoloogia Microsofti näotuvastustarkvara kasutamise eest Microsofti Cloud AI Research Challenge'is 25 000-dollarise peaauhinna ja konverentsil Human Computation and Crowdsourcing 2018 parima demonstratsiooni auhinna. Sel nädalal esineb Luther Los Angelese konverentsil Arvutimasinate intelligentsete kasutajaliideste assotsiatsioon.
Kujundatud Virginia Tech doktorantide ja bakalaureuseõppe tudengite, sealhulgas projekti juhi Vikram Mohanty abiga, ja koostöös Virginia Techi ajalooosakonnaga kasutab Photo Sleuth kõige täpsemate tuvastamiste pakkumiseks mitmeharulist lähenemisviisi.
Protsessi esimene oluline samm oli juba tuvastatud fotode suure andmebaasi ehitamine. Praeguseks on Photo Sleuthil umbes 17 000 tuvastatud fotot, mis pärinevad nii rahvusarhiividest nagu USA sõjaajaloo instituut kui ka erakogudest, mis hõlmavad lisaks kodusõja sõduritele ka tsiviilelanikke ja muud ajastu sõjaväelasi.
Lutheri sõnul oli neil õnne, et neile fotodele juurdepääsuga oli juba kaasahaarav kodusõjaajaloolaste kogukond, sest ilma juba tuvastatud fotode kindla aluseta oleks tarkvara olnud peaaegu võimatu.
"See pole nii nagu Unistuste väljal, " ütleb Luther. "Kui me oleksime selle saidi ilma piltideta käivitanud ja lihtsalt lootnud, et kasutajad lisavad need kõik, seisame silmitsi külmkäivituse probleemiga, kus teil lihtsalt pole sisu. ”
Tuvastatud fotode andmebaas on oluline roll, aidates kasutajatel tuvastada fotosid, mille nad ise üles laadivad. Kasutajad sildistavad käsitsi spetsiaalseid visuaalseid jooni, näiteks karvkatte värvi, näokarva või sõjaväe auastme sümboolikat. Foto läbib näotuvastuse algoritmi, et analüüsida ja logida ainulaadseid näo suhteid, näiteks vahemaa näo orientiiride vahel nagu nina ja silmad. Photo Sleuth võrdleb tundmatu foto visuaalseid andmeid andmebaasis juba tuvastatud fotodega ja tutvustab kasutajale tema arvates näo sarnasuse ja muudest metaandmetest tuleneva teabe põhjal parimaid vasteid, näiteks sõdureid, kes näivad olevat sama üksus, mis põhineb nende vormiriietuse sümboolikal. Ehkki tarkvara astub teadliku sammu teel, et piirata võltsitud tuvastamise võimalust, on Lutheri sõnul päeva lõpuks tarkvara kasutaja parimate arvamiste esitamisel lõplik tuvastamine, mille kasutaja teeb.
"Olime väga mures vale tuvastamise takistamise pärast, " ütleb Luther, "sest kui räägite Internetist, kui olete vale vale teabe välja pannud, on sellest väga raske lahti saada või seda muuta."
Veendumaks, et nende tarkvara pakkus kasutajatele parimat võimalikku soovitatud tuvastamist, viis Luther läbi tarkvara esimesel kuul pakutud identifitseerimise analüüsi, kasutades veergudes kirjeldatud meetodeid, millest ta on kajastanud kodusõja ajaloo ajakirjas Military Images . Hinnake identifitseerimisi kategooriatelt „kindlasti mitte vaste”, „ilmselt mitte vaste”, „ilmselt vaste” ja „kindlasti vaste”, analüüs leidis, et 85 protsenti kavandatud identifikatsioonidest olid tõenäoliselt või kindlasti vasted. Selle nädala konverentsil kavatseb Luther välja tuua meeskonna värskeima foto Sleuthi uurimistöö järeldused, sealhulgas New Hampshire'i kodusõja piltide koguja Dave Morini avastuse tundmatu liidu teise leitnandi portree kohta . Foto Sleuth soovitas, et portree mees oleks New Yorgi esimese inseneri William H. Baldwin. Morin, kes kinnitas, et Baldwin oli New Hampshirei põliselanik, väidab, et ta poleks kunagi Photo Sleuthi abita kõnealust Graniitriigi inseneri leidnud.
Kurt Luther on Virginia Tech arvutiteaduse abiprofessor. (Amy Loeffler) Uurimistöös rõhutatakse ka inimiajaloolaste ja tarkvara enda täiendavaid tugevusi. Vaatamata nende parimatele pingutustele saab Lutheri sõnul õigete vastete tuvastamisel tarkvara nii kaugele minna ja ta toetub kasutajatele nägude algoritmi pimealades olevate vihjete tuvastamiseks.
"[Algoritm] on välja õpetatud üldiseks näotuvastuseks [enamasti] moodsate piltide jaoks, " ütleb Luther. “AI-l on raske aeg, kui nägu pööratakse küljele [profiilis]. See on omamoodi tänapäeva standardite järgi ebaharilik portree, kuid 19. sajandi keskel oli see tavaline. ”
Samuti leidis meeskond, et kasutajad olid teiste unikaalsete tegijate, näiteks habemete ja armide tuvastamisel palju edukamad kui ainult algoritm.
Kodusõjaajaloolane ning Kentucky ajalooseltsi teaduslike ressursside ja publikatsioonide tegevtoimetaja Patrick Lewis, kes pole olnud osa Photo Sleuthi arengust, väidab, et kodusõja foto Sleuth on suurepärane vahend nende unustatud lugude mitte ainult viimiseks elu, kuid aidata jätkata kogu riigis kodusõjaajaloolaste koostöövõrgustiku ülesehitamist.
"Mulle meeldib sisse minna ja vaadata uusi Kentucky sildiga fotosid, " ütleb Lewis. „Ja küsige, kes on need inimesed, kes seal koguvad? Kas ma peaksin olema teadlik nende isiklikest kollektsionääridest ja peaksin nendega ühendust võtma, et teada saada, kas neil on muid materjale, mis võiksid uurimistöö vastu huvi pakkuda? ”
Ehkki tal pole veel Photo Sleuthi kaudu ühendust üksikute kollektsionääridega, ütles Lewis, et Kentucky ajalooselts on ise töötanud teadaolevate veebiarhiivide arhiivide loomisel ja selline tarkvara nagu Photo Sleuth parandab dramaatiliselt nende võimet seda tööd jätkata.
Edasi liikudes väidab Luther, et nad soovivad tarkvara "inimlikke tugevusi" kahekordistada, sealhulgas lisada valiku "Teine arvamus", mis võimaldab mitmetel kasutajatel teha koostööd foto lõpliku tuvastamise ja töötamise osas. laiendades füüsilist teavitustööd ja kogukonna haldamist, et laiendada Photo Sleuthi kasutajabaasi. Tarkvara näeb ka mõnda näotõstmist, sealhulgas uut funktsiooni, mis võimaldab kasutajatel grupifotol inimesi üles laadida ja tuvastada.
"Meie lõppeesmärk on tuvastada kõik tundmatud kodusõjafotod, " ütleb Luther, "ja muutke [Photo Sleuth] suuremaks ja paremaks, sest 25 000 pilti on vaid tilk ämbrisse."
