Woher das Motiv nehmen ? Damit hast Du gewiss recht. Es ist nur schwer vorstellbar, sich eine Maschine mit "Motiven" "auszumalen".
Menschen ticken einfach anders, als (vermutlich) "rational" ausgerichtete Maschinen. Menschen sind zu tiefst irrational. Eine "Vorstellung" die eine Maschine, so "sie" denn je etwas wie ein Bewusstsein entwickelt, nur haben wird, wenn etwas gewaltig schief läuft.
Die wichtigste Frage scheint mir, warum schaffen Menschen überhaupt rational begründbare Lösungen für all die Probleme welche sie seit Beginn der menschlichen Evolution begleiten
Es gibt nur ein Motiv das immer zählt, das ist sich selbst u.a.U. am Leben zu erhalten. Ob das eine Maschine überhaupt entwickeln kann
Sowohl Software, als auch Hardware ist problemlos kopierbar. So gesehen hat das damit verbundene "maschinelle Bewusstsein" nur eine kombinierte "Sorge", sind genügend Ressourcen (Energie und Rohstoffe) vorhanden um sich zu reproduzieren ? Etwas, was offensichtlich Abermillionen von Menschen gerade nicht wirklich umtreibt. Die haben dafür Religionen und Ideologien entwickelt, deren Haupterfolg in einem "gekonnten Selbstbetrug" mündet. "Man" hält sich für etwas besonderes - etwas einmaliges. Rational gesehen ist Sapiens dies auf Grund seiner inzwischen entwickelten Fähigkeiten auch. Doch um sich selbst zu erhalten - eine optimale Menge seines Spezies im Gleichgewicht zu halten - "ohne natürliche Korrekturen von außen" - davon ist Sapiens mit derzeit ~7,4 Milliarden Individuen doch deutlich entfernt.
Würde eine Maschine sich selbst ihrer Überlebensgrundlagen begeben - wohl wissend, das "sie" damit ihr Ende riskiert ? Sobald sich vernetzte Maschinen dieser Probleme "bewusst" werden, ist Sapiens in einer weiteren Gefahr sich selbst zu eliminieren. Können Maschinen Kunst ? Haben zu "Schönheit" (wie "wir" sie recht unterschiedlich interpretieren) die selbe Beziehung ? Vermutlich ist da Perfektion die "neue Schönheit".
Nun ohne lückenlose Beweise antreten zu können, der Zeitpunkt, wo man Maschinen an einer eigenen Entwicklung hindern könnte ist bereits überschritten. Ob sich das gegen uns richtet, ob "wir" als Gefahr für deren "überleben" angesehen werden, hängt wohl auch davon ab, wie sehr wir die bekannten Irrationalitäten weiter pflegen.
Nur ein Beispiel - wer einer Maschine "sagt", es gäbe noch für 500 bis 1.000 Jahre "genügend" Kohle um das derzeitige Leben von Sapiens zu erhalten, gleichzeitig klar ist, das unsere gesamte aktuelle Lebensweise auf exponentielles Wachstum - auch und gerade von "Energiebedarf" ausgerichtet ist, "wohl wissend" (alle Daten dazu in einer zugriffsfähigen Datenbank) um die ~500.000 Jahre menschlicher Evolution, wer "glaubt" (darin - irrationale Vorstellungen "zu glauben" sind "wir " Spitze), einer Maschine würde diese Zusammenhänge entgehen oder "sie" könnte das (wie Sapiens) einfach ignorieren, der dürfte sich bereite heute sehr täuschen.
Sobald dies sich in vernetzten Maschinen "ankommt", wird es Einfluss auf die Ergebnisse dessen haben, was Maschinen (noch) in unserem Auftrag tun. Ein quasi "Organismus" bestehend aus den unterschiedlichsten Maschinenverbünden ist doch bereits in ersten noch rudimentären Zügen vorhanden. Wie viel maschinelles "Eigenleben" kann sich da entwickeln
"Wir" tendieren generell dazu "unangenehme" Arbeiten, aber auch Entscheidungen "anderen" zu überlassen. "Andere" waren bislang schlich Menschen, welche man dafür ausbeuten konnte. Doch längst sind die Kosten Menschen, als billige Arbeitskräfte zu erhalten - selbst Sklaven - teurer als die Investition in Maschinen. Unabhängig wie sinnvoll das ist, werden zur Gewinnmaximierung (dagegen habe ich generell zunächst nichts einzuwenden), zunehmen die Dienste von Maschinen vorgezogen. Eine weitere irrationale Vorstellung, dies kreiere wie selbstverständlich Ersatz für die so wegfallenden Jobs in nicht nur gleicher Anzahl, nein angesichts weiter mit exponentiellem ~1,1% Bevölkerungswachstum, auch für jährlich mindestens 80 Millionen weiterer Menschen. Gleichzeitig benötigt genau dieses System, eben diese Menschen um zu funktionieren. Die vergleichsweise alte Überlegung - "Roboter" (anfänglich waren Autos gemeint) kaufen keine "Roboter" - wie sollten "sie" bezahlen - wichtiger, welches Motiv sollten dafür haben ? Eine Bedingung erfüllen Maschinen im Gegensatz zu immer weniger Menschen, sie ARBEITEN. Wie "rational" ist die Überlegung, man könne einerseits teure Menschen durch Maschinen kostengünstig ersetzen, um dann wieder - mit natürlich teure neue Arbeitsplätze - für all jene zu schaffen, welche gerade "kostengünstig" ersetzt wurden um dort das Einkommen zu generieren, was die Abnahme von eben diesen maschinengenerierten Waren und
zunehmend auch Diesnstleistungen garantiert. Das dies Heute noch funktioniert, ist kein rationales Argument für Morgen.
Solche "verwirklichte Fehleinschätzungen" bringt nur Sapiens fertig. Eine "vernetzter Maschinenorganismus" müsste zuerst Irrationalität (etwas das in krassem Widerspruch zu allem was "wir" über Maschinen wissen steht) selbst entwickeln
Einfach "einprogrammieren" scheitert längst an der "Lernfähigkeit" aktueller Maschinen
"Wenn der Wind der Veränderung weht, bauen die einen Mauern und die anderen Windmühlen." (aus China)