Svarta lådor är svarta.

Maskininlärningspionjären Geoffrey Hinton kom på ett underbart dilemma:

“Suppose you have cancer and you have to choose between a black box AI surgeon that cannot explain how it works but has a 90% cure rate and a human surgeon with an 80% cure rate. Do you want the AI surgeon to be illegal?”

Men Data praktikern Vicki Boykis besvarade det med en egen rynka på tapeten:

“Suppose you have to choose between a black box AI surgeon that runs on TensorFlow 1.0 on an EC2 instance that hasn’t been upgraded to Python 3 but has a 80% cure rate and a black box AI surgeon with an 80% cure rate that runs on Excel vlookups. Do you want to live on this planet?”

Nu snackar inte alla lika mycket nörd som jag gör, men vad Boykis föreslår är att valet mest troligt kommer att handla om en typ av kasst implementerad teknisk lösning vs. en annan väldigt kass typ av teknisk lösning. Båda dolda bakom en svart låda av opacitet.

Peter Wang, vd för bolaget Anaconda, sprängde hela premissen av frågan genom att notera att:

“[i]f the question is purely around “black boxes”, then we already have those: medicine. Every time you swallow a pill, you are making the trade about likelihood-of-cure vs likelihood-of-complications.”

Wang säger alltså att varken den mänskliga kroppen eller medicinen som manipulerar kroppens funktioner är helt kända. Sannolikhet härskar över interaktionen inuti individuella patienter. Om en tar ett steg tillbaka, så kan jag påstå att begreppet “svart låda” från engelskans “black box” gör mer skada än gott. Därför att, om du tänker på det så är alla svarta lådor, svarta. En svart låda är ett bekvämt sätt för oss att separera oss från den värld vi interagerar med och är en gåva till sättet som ignorans dominerar vår erfarenhet av den världen oavhängt våra enorma framsteg inom vetenskap och teknik.

Varför? Etymologi. Samtidigt som det hänvisar till specifika artifakter och koncept associerade med dem, men även artifakter med helt separata funktioner. Flygplan har svarta lådor, men det är inte samma sak som begreppets innebörd för elektronik ingenjörer och ingendera är nödvändigtvis samma sak som det generella eller övergripande begreppet i sin helhet. Begreppet används ofta för att beskriva något som exekverar en funktion men bara återger delar eller som bäst information om strukturen som genererar funktionens utdata. Men den här definitionen är i konflikt med den aktuella historian som svarta lådor har som små kreatur av sekretess, som skapats för att återge en specifik funktionalitet utan att avslöja dess komponenter för militära eller industriella konkurrenter. De här två definitionerna kollapsar in i varandra med hög frekvens.

Det som gör situationen värre är sättet som konceptet i sig har breddats över tid att betyda något som genererar ett beteende men avskräcker eller begränsar undersökning av dess härkomst eller mekanik. Något som tas för givet, som ett solidifierat vetenskapligt koncept antaget för att vara helt naturligt och oberoende från mänskligt skapande. Visst det finns något till den iden men kanske än mindre än det som vanligtvis tas för givet. Hur kommer det sig? Nå, blackboxing. Glanville, en filosof och ingenjör som hängav en stor del av sitt liv till att teorisera om svarta lådor, kom fram till att en svart låda var bara en bekväm abstraktion som används till att markera en gräns mellan oss själva och en okänd värld.

When we are faced with something new, we do not know what the new thing is (this is what new means). Thus, we are faced with something we do >not know about. That is exactly what a black box is. It is also the situation faced all the time (as far as we can tell - Piaget, 1955) by a >newborn child - and hence by all of us, sometime ago. If it was the child’s situation, then all our knowledge is based on functional >descriptions made of black boxes. A more philosophical reason is that which is implied in the assumption of the constructivist mantle (which >is what the black box implies). Behind this assumption is the notion that, for instance, our experience of our perception of the world is in >images, and not in electrical impulses - that is, that our experience is an active interaction with the (presumed) reality “out >there,” (e.g., von Foerster, 1973, von Glasersfeld, 1974, Gregory, 1973). This argument is clearly founded in psychology, but similar ones >abound.

Säg att du har ett något som kan ta emot input och spotta ut output. Du har bara möjlighet att observera och förstå en liten del av hur den fungerar. För att förstå hur den verkligen fungerar, så måste du veta alla svar för all möjlig interaktion mellan objektet och dess direkta miljö. Det här är såklart extremt komplicerat och inte att föredra för triviala småsaker. Men i synnerhet för att även identiska ting, kan uppföra sig otroligt olika beroende på deras historia av tillstånd. Det är sant för både biologiska och teknologiska artifakter. Vad du däremot kan göra är att mata den med input och ta emot output, och därigenom dra slutsatser utifrån mönstren från input och output. Men. Notera att något annat händer när du gör detta.

Objektets output är i sin tur din input och hur du bestämmer dig för att agera med objektet efter den här input:en är din output. Och från objektets perspektiv är det du som är den svarta lådan som den inte ser helt inuti. Det här är varför blekandet av lådan hänger ihop med observatören; Det är möjligt att det som avslöjas inte överensstämmer med vad en annan observatör observerar, eller ens densamme. Så därför är vår uppfattning om input och output, förklarar Glanville, en relation mellan dem men i syvende och sist en som är bekväm för oss psykologiskt snarare än det som faktiskt är sant. En funktionell beskrivning baserad på vad som har fungerat förr. Och en som helt är beroende på vår interaktion med artifakten och vår relation till den. ironiskt nog verkar vi acceptera ignorans för att nå förutsägbarhet och kontroll över något vi finner intressant.

Glanvilles tes här liknar en som Denett beskriver i “Intentional Stance”, det är godkänt att tillskriva intentionella egenskaper till något som saknar dem för att kunna förutsäga dess beteende om vi inte kangöra det från en lägre nivå av deskriptivitet. Och det kan ofta medföra viss fara. Mycket om forskningen runt kontroll, generellt sett, tillskriver sådana egenskaper till minne och inlärning för att beskriva specifika beteendemönster. Det här är återigen nödvändigt för att förstå ett beteende i avsaknad av fullständig kunskap om alla kända tillstånds-strömningar. Men det finns alltid möjligheten att en är fel, att det är något som ser ut som konsekvensen av tidigare tillstånd, men egentligen bara är bestämt av samtiden. Ett system behöver inte ha förmågan för föregående tillstånd för att påverka eller influera nuvarande beteende om tillståndet bara spelar roll när det är det tillståndet den är i.

Mycket av osäkerheten när man hanterar olika individer handlar om precis det här dilemmat. Är deras beteende en produkt av situationen de är i? eller är det något mer permanent? är det något de lärt sig, planerat för eller anpassat sig till över tid för att göra ett visst något, elöler är det bara att man skrider till handling vid övertag eller direkt tillfälle? över tid, när du observerar mer och mer data så kan du bli mer säker på de egenskaper du tillskriver. Vid ett tillfälle kan något trovärdigt bli avskrivet som ett misstag. Men när det börjar se mer och mer ut som egenskaper du kan tillskriva personen desto oftare tillfället upprepar sig. Men även då, så är man inte helt på det gröna. För att som Glanville tidigare noterade, Du har en funktionell beskrivning som fungerade förr. menden kanske inte är möjlig att använda i framtiden och den är inte lika trovärdig för någon med mer information om personen än det du har.

Och givetvis, du är den svarta lådan personen interager med, så de går i sin tur igenom en variation på samma process som du gör. Det här kan vara början på en förklaring om problemet med datorer och data-diskriminering eftersom målen för den här diskrimineringen är svarta lådor för datorerna. Problemet är inte bara att datorn är en svart låda för dem, den kan inte se deras själar, den förstår inte omständigheterna som skapat det observerade beteendet. Den har bara det data den matats med, från vilket den kan peka på mönster som på något sätt är en garant för att förutsäga framtida beteende. Det här är sant i mörkret i den svarta lådan: Svarta lådor är överallt, men relationen mellan dem är cirkulär per dess natur. Det är i sig ett makalöst påstående om permanensen av ignorans även inom vetenskapliga och teknologiska prestationer.

Denna ignorans är i spotlight till den graden att folk pratar inte om datorer utan att hänge sig åt att kalla på animalistiska egenskaper eller genom att tillskriva egna begär och mål. Därför att den visar något så otroligt märkligt med världen och hur vi uppfattar den. Substansen med vilket den primära intentionen är inte nödvändig för att skapa beteendet. Men, beteendet kan skapa det subjektiva skenet av att den härstammade från just den primära substansen. Det är inte ett nytt problem på något sätt. Och det representerar det icke-optimala svaret från forskare och filosofer till ett svar mellan två saker ingen önskar sig: antingen tillskriver vi inre vilja och driftighet till allt eller drar om den verkliga världen existerar externt från observatören. Så den svarta lådan är ett kognitivit hack som tillåter oss att skjuta fram det här valet, kanske till något bättre ankommer som förlöser oss från nödvändigheten i att bestämma oss för två dåliga ting. Rimligt, vi måste vara pragmatiska.

Mitt problem här är att det här tas på allvar som en bra lösning för dilemmat. Enorma mängder av tid och energi har hängivits till att öppna lådan, men som Glanville argumenterar så kommer alla sådana öppningar att alltid vara lokala och tillfälliga. Det här mantrat används även för att undvika att lösa problem, visst maskiner kommer alltid att ha någon grad av okända faktorer och osäkerhet. Men vad är människans ansvar? Vi hanterar och kurerar informationen som går in i maskinerna, vi bestämmer hur maskiner interagerar med varandra och världen på utsidan. Mycket i hur maskinerna fungerar är en produkt av omständigheter vi valt att sätta dem i, kalla det kontext om du så vill. De hanteras av stora, ofta helt opersonliga byråkratier som är designade längsefter byråkratiska antaganden. Så varför skulle de inte vara råa och opersonliga som byråkratier tenderar att ofta vara?

Jag anser inte att vi behöver investera oss i att packa upp lager på lager av techno-mysticism för att förstå konsekvenserna av våra val, även om att ställa dem tillrätta innebär svårigheter för att det finns ett mått av osäkerhet som ringar in våra verksamheter. Men för att det ska hända behöver vi sluta tillskriva dem den vikten. Gör dem till teknologiska artifakter likt 1700-talets automatoner, ta deras relevans ifrån dem till den nivå de var på innan semantiken tog över. Men det här är bara en observation baserad på vad historien borde ha lärt oss, baserat på bevisen jag interagerat med. Världen är en svart låda, så vem vet?