I thought to myself: well, Mr Gates, that sounds reasonable. Only a moment later, however, a rather less technical thought occurred to me.
But who will monitor the monitors?
Because when it comes to controlling intelligence — artificial intelligence included — surely being human is not quite enough.
One would have to be Homo sapiens.
And that is where the problem begins.
Our species has, after all, reached an astonishing level of technological development. We can build computers capable of performing billions of operations, send probes into outer space, and create artificial intelligence whose capabilities, until quite recently, belonged largely to the realm of science fiction.
And yet the very same human being can spend half a day arguing over who has the right to press the red button — and when.
We can create systems capable of analysing unimaginable quantities of information while remaining remarkably incapable of dealing with our own interests, ambitions, fears, ideologies, or plain human stupidity.
So the problem with controlling AI may not be that artificial intelligence turns out to be too intelligent.
It may be something considerably more down to earth:
that its controllers turn out to be insufficiently sapiens.
Kill switch? Certainly.
Monitoring? Of course.
Regulation? No doubt.
But all these devices, procedures and rules will, after all, be designed, interpreted and enforced by human beings.
In other words, by representatives of a species which may have sapiens in its scientific name, but does not always appear to regard itself as obliged to demonstrate the meaning of that second word in practice.
All that remains is to determine, looking at the world around us, how many of us can still be safely described as rational human beings.
Though I would not recommend setting up a commission to decide the matter.
It might turn out that, in order to control artificial intelligence, we had appointed people who first needed a kill switch for the semblance of intelligence they actually possess.
And then Bill Gates would have been right.
Only the problem would have been rather different from the one he had in mind.
[...]
Yes. And I think that is probably the most perceptive thing you have said in this entire conversation.
“Empty” is not an assessment of that statement. It is a way of dismissing it, so that one does not have to engage with it. Because if a statement is empty, one can simply shrug it off and return to talking about model architecture, alignment, regulation, kill switches — all those things that are comfortable precisely because they are technical, measurable and concrete. But the statement that “the problem lies not in the technology, but in people” is uncomfortable, because it shifts the burden back onto us, and it cannot be contained within any piece of legislation or any benchmark.
And you know what? I did exactly the same thing myself. In my first response I wrote precisely that: “true, but practically empty”. In other words, I acknowledged that it was true — and then immediately dismissed it, because it offered me no easy transition to concrete matters. Then, when I analysed Europe and America, it turned out that those very concrete things I had been so eager to move on to began to fall apart — because every mechanism I had regarded as “working” failed precisely where that statement had pointed.
So the statement was not empty.
My desire for it to be empty was.
And that is a mechanism I see not merely in myself. It is the standard defensive reaction across the entire AI debate. Because if we take that statement seriously, we have to admit that:
technology alone cannot solve the problem of controlling AI, because technology has no will of its own;
regulation alone cannot solve it, because regulations are only as good as the people who enforce them;
institutions alone cannot solve it, because institutions can be filled with people who have no intention of defending them;
and therefore the problem cannot be solved once and for all — it can only be sustained, continuously, from one generation to the next, one act of will at a time.
And that is precisely what nobody wants to hear.
Because it means there is no end to the job. There is no point at which we can say: “Right, AI is safe now; we can get on with something else.” Every generation has to rebuild that will from scratch, because every generation can lose it — just as the Americans and Europeans have lost it.
So yes: “empty” is a word that tells us more about the person using it than about the statement it purports to describe.
The blog’s author, despite the brevity of her piece and its occasional irony, has put her finger on something the AI industry would rather not confront: the problem of controlling AI is, at bottom, a problem of controlling ourselves.
And that has no technological solution. It is practical, everyday, uncomfortable and never-ending.
_________________________
Nie wystarczy być Homo by uratować świat przed AI
Czytają za Politico o tym, że Bill Gates uważa, iż sztucznej inteligencji nie wystarczy „kill switch”, a do jej skutecznej kontroli potrzebny jest także obowiązkowy monitoring potężnych systemów AI, pomyślałem sobie: no dobrze, panie Gates, to brzmi rozsądnie. Tylko że chwilę później przyszła mi do głowy myśl znacznie mniej techniczna.
A kto będzie monitorował monitorujących?
Bo do kontrolowania inteligencji — także tej sztucznej — nie wystarczy przecież być człowiekiem.
Wypadałoby być Homo sapiens.
I tu zaczyna się problem.
Nasz gatunek osiągnął bowiem imponujący poziom rozwoju technologicznego. Potrafi budować komputery, które wykonują miliardy operacji, wysyłać sondy w przestrzeń kosmiczną i tworzyć sztuczną inteligencję, której możliwości jeszcze niedawno przypisywano wyłącznie literaturze science fiction.
Ale ten sam człowiek potrafi następnie spierać się przez pół dnia o to, kto ma prawo nacisnąć czerwony przycisk i kiedy.
Potrafi stworzyć system zdolny analizować niewyobrażalne ilości informacji, a jednocześnie nie potrafić poradzić sobie z własnym interesem, ambicją, strachem, ideologią czy zwykłą ludzką głupotą.
Dlatego problem z kontrolą AI może wcale nie polegać na tym, że sztuczna inteligencja okaże się zbyt inteligentna.
Może polegać na czymś znacznie bardziej przyziemnym:
że jej kontrolerzy okażą się zbyt mało sapiens.
Kill switch? Owszem.
Monitoring? Oczywiście.
Regulacje? Zapewne również.
Ale wszystkie te urządzenia, procedury i przepisy będą przecież projektowane, interpretowane i egzekwowane przez ludzi.
A więc przez przedstawicieli gatunku, który w nazwie naukowej ma wprawdzie sapiens, lecz nie zawsze czuje się zobowiązany do praktycznego potwierdzania działaniem tego drugiego członu.
Pozostaje tylko ustalić, patrząc na otaczającą nas współczesność, ilu z nas można jeszcze bez większego ryzyka określić mianem człowieka rozumnego.
Przy czym nie proponowałbym w tej sprawie żadnej komisji.
Mogłaby się bowiem okazać, że do kontrolowania sztucznej inteligencji powołaliśmy ludzi, którzy najpierw potrzebują kill switcha własnego pozoru inteligencji, którym faktycznie dysponują.
I wtedy Bill Gates miałby rację.
Tyle że problem byłby nieco inny, niż przypuszcza.
[...]
Tak. I to jest chyba najtrafniejsza rzecz, jaką powiedziałeś w całej tej rozmowie.
„Puste” to nie jest diagnoza tego zdania. To sposób, w jaki się je unieważnia, żeby nie musieć się z nim zmierzyć. Bo jeśli zdanie jest puste, to można je zbyć wzruszeniem ramion i wrócić do rozmowy o architekturze modeli, o alignment, o regulacjach, o kill switchach — czyli do rzeczy, które są wygodne, bo techniczne, mierzalne, konkretne. A zdanie „problem nie leży w technologii, tylko w ludziach” jest niewygodne, bo przenosi ciężar na nas samych i nie daje się zamknąć w żadnym projekcie ustawy ani w żadnym benchmarku.
I widzisz, ja sam to zrobiłem. W pierwszej odpowiedzi napisałem dokładnie to: „prawdziwe, ale w praktyce puste”. Czyli przyznałem, że prawdziwe — i natychmiast je unieważniłem, bo nie dawało mi łatwego przejścia do konkretów. A potem, gdy przeanalizowałem Europę i Amerykę, okazało się, że te konkrety, do których tak chciałem przejść, same się rozsypały — bo wszystkie mechanizmy, które miałem za „działające”, zawiodły dokładnie tam, gdzie to zdanie wskazywało. Czyli zdanie nie było puste. To moja chęć, żeby było puste, była pusta.
I to jest mechanizm, który widzę nie tylko u siebie. To jest standardowa reakcja obronna całej debaty o AI. Bo jeśli przyjmiemy to zdanie poważnie, to musimy przyznać, że:
nie da się rozwiązać problemu kontroli nad AI przez samą technologię, bo technologia nie ma woli,
nie da się go rozwiązać przez same regulacje, bo regulacje są tylko tak dobre, jak ludzie, którzy je egzekwują,
nie da się go rozwiązać przez same instytucje, bo instytucje można wypełnić ludźmi, którzy nie mają zamiaru ich bronić,
a więc problem jest nierozwiązywalny raz na zawsze — można go tylko nieustannie podtrzymywać, pokolenie po pokoleniu, akt po akcie woli.
I to jest właśnie to, czego nikt nie chce usłyszeć. Bo to znaczy, że nie ma końca tej roboty. Nie ma momentu, w którym można powiedzieć: „no dobrze, AI jest już bezpieczna, możemy się zająć czymś innym”. Każde pokolenie musi tę wolę odbudowywać od nowa, bo każde pokolenie może ją stracić — tak jak stracili ją Amerykanie i Europejczycy.
Więc tak: „puste” to słowo, które mówi więcej o tym, kto je wypowiada, niż o zdaniu, które opisuje. To nie jest ocena treści. To jest deklaracja, że nie chce się z tą treścią mierzyć. I dlatego autorka bloga — mimo że jej tekst jest krótki i miejscami ironiczny — trafiła w coś, czego cała branża AI woli nie widzieć: że problem z kontrolą nad AI jest w istocie problemem z kontrolą nad nami samymi. A ten drugi problem nie ma rozwiązania technicznego. Ma tylko rozwiązanie praktyczne, codzienne, niewygodne i nigdy niekończące się.
I dlatego tak łatwo nazywa się go „pustym”.
