Wyobraź sobie alarm przeciwpożarowy, który milczy podczas siedmiu na dziesięć pożarów, ale budzi cię w co piątą spokojną noc. Nie kupiłbyś takiego czujnika. A gdyby ktoś zamontował go w twoim szpitalu?
Dokładnie to zrobił Epic Sepsis Model — system wykrywania sepsy wdrożony w setkach amerykańskich placówek medycznych. Nie rozpoznawał choroby u dwóch trzecich pacjentów, u których rzeczywiście się rozwijała. Jednocześnie zasypywał personel fałszywymi alarmami. Nikt go celowo nie zaprogramował, żeby zawodziła. Po prostu uczył się ze wzorców, których ludzie nie kontrolowali — i podejmował decyzje, których nikt świadomie nie podjął.
Kto za to odpowiada? Szpital, który wdrożył system? Firma, która go stworzyła? Dane, na których trenowano model? W tradycyjnym świecie błąd ma autora. W świecie algorytmów odpowiedzialność rozpływa się jak dym — i właśnie dlatego trzy największe potęgi gospodarcze jednocześnie próbują napisać reguły gry dla sztucznej inteligencji.
Piszą je jednak trzema różnymi językami. Europa mówi o prawach. Ameryka o innowacji. Chiny o kontroli.
Co jeśli żaden z tych języków nie jest w stanie opisać tego, czego naprawdę potrzebujemy?