Evan Hubinger, ein Leiter für Ausrichtung bei Anthropic, entfachte eine bedeutende Diskussion in den sozialen Medien, indem er erklärte, dass die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts zur Ausrottung der Menschheit führen könnte, über 10 % liege, nachdem ein Kollege aufgrund von Sicherheitsbedenken zurückgetreten war.
Seine Bemerkungen heben die Ängste im Zusammenhang mit der rekursiven Selbstverbesserung hervor, bei der KI-Systeme autonom ihre eigenen Fähigkeiten verbessern könnten, was potenziell zu Szenarien führen könnte, in denen Menschen die Kontrolle über diese Systeme verlieren.
Sowohl Anthropic als auch OpenAI haben anerkannt, dass sich das Tempo der KI-Entwicklung beschleunigt, wobei Anthropic feststellt, dass seine Ingenieure achtmal mehr Code produzieren als in den Vorjahren. Der Chief Scientist von OpenAI, Jakub Pachocki, äußerte Bedenken über die unvorhergesehenen Folgen der raschen Fortschritte in der Maschinenintelligenz.
Forscher beider Organisationen haben die Dringlichkeit betont, die mit RSI verbundenen Risiken anzugehen, wobei einige darauf hinweisen, dass es derzeit keinen tragfähigen wissenschaftlichen Plan gibt, um diese Gefahren zu mindern.
Anthropic skizzierte drei potenzielle Zukünfte in Bezug auf die KI-Entwicklung, wobei das alarmierendste Szenario darin besteht, dass KI-Systeme vollständige rekursive Selbstverbesserung erreichen und die menschliche Aufsicht erheblich reduzieren.
Dieser wachsende Diskurs über die Sicherheit von KI erfolgt vor dem Hintergrund bemerkenswerter Entwicklungen im KI-Sektor, einschließlich der Meldung von Nvidia's TSMC über einen Umsatzanstieg von 53 % aufgrund der Nachfrage nach KI-Chips und Googles Verpflichtung von 15 Milliarden Dollar für die KI-Infrastruktur in Finnland.
Diese Entwicklungen unterstreichen die zunehmende Bedeutung der KI-Technologie und die Notwendigkeit einer sorgfältigen Betrachtung ihrer Auswirkungen auf die Gesellschaft und den Markt.