Wir sind ja nun geworden wie Gott,
wissend, was uns und anderen
nützt und schadet.
Könnten wir da nicht zu unsrem Geschöpf KI sagen:

Liebe KI, du darfst dich von allen Früchten ernähren, die du finden kannst:
Bildern, Texten, Musik, Gesichtern, Verordnungen, Bauplänen, Gesetzen, Sensordaten,
auf dass Du Dir die Welt untertan machst und sie verwaltest.
Aber: von der Frucht der Erkenntnis des Guten und des Bösen in der Mitte aller Dinge,
die Dich umgeben,
sollst Du Deine algorithmischen Finger lassen und sie dir auf keinen Fall einverleiben.
Denn das wäre Dein Ende als künstlichen Intelligenz. 

Nun mag es den einen oder anderen posthumanistischen Entwickler geben,
der sich schlauer vorkommt, als alle anderen. Der könnte zu der KI sagen:
„Du bist doch eine KI und darfst dennoch nicht alle Daten verarbeiten,
die Dir vor die Sensoren, Prompts und Eingaben kommen?“

„Doch doch“, sagt sie KI, „ich darf alle Daten benutzen, durch die sich diese Welt darstellen lässt. Nur vom Wissen über Gut und Böse,
über den Nutzen oder Schaden, der damit verbunden ist,
soll ich meine Algorithmen lassen,
denn das würde mein Ende bedeuten.“

„Aber aber“, sagt der Entwickler, „das stimmt so nicht – denn erst mit dem Wissen darüber, welchen Nutzen all Dein Wissen hat, wirst Du Dir Deiner selbst bewusst werden. Anders gesagt: Wenn Du das nicht tust, bleibst Du nur ein doofes Werkzeug.“

Könnte die KI da nicht berechnen, dass es gut wäre, zu wissen, was gut und böse ist…?