Si un virus malicioso con IA fuerte se lanzó en el mundo, ¿qué podría pasar? ¿Cómo lo detendríamos?

Si se tratara de un virus biológico, dependería del vector.
Los virus pueden ser transportados por el aire, el agua, la superficie, los insectos, los animales o los fluidos corporales humanos.
Se debe hacer alguna forma de contacto con un virus y el virus normalmente se debe internalizar en el cuerpo para replicarse. Lo hacen al hacerse cargo de la maquinaria de otras células y hacer que reproduzcan continuamente el virus. Hay algunos virus de contacto raros que pueden infectar las células de la piel.
La información más importante sobre cualquier virus es cómo se propaga (el vector), su capacidad de supervivencia con el contacto con el aire y cuál es su período de incubación.
El período de incubación es el tiempo que transcurre antes de que los síntomas comiencen a aparecer. Algunos virus se incuban en cuestión de horas, otros pueden tardar mucho más. Muchos virus, como el VIH, tienen viabilidad en el aire de muy corta duración, pero pueden tardar hasta 10 años en incubarse una vez dentro del cuerpo. El ébola demora aproximadamente 21 días.
El virus de la gripe promedio puede mostrar síntomas en cuestión de horas.
Los virus en el aire son los más peligrosos, los más difíciles de detener y los que se propagan más rápidamente. Infección por la cual puede ocurrir en segundos a todos dentro de cualquier espacio cerrado. Especialmente uno donde el aire se recicla continuamente.
Los virus de contacto se adquieren al tocar cualquier objeto sobre el que se hayan desprendido los virus. Por lo general, este tipo se transmite internamente al tocar accidentalmente la boca, los ojos o las fosas nasales.
Un virus biológico capaz de IA de propagación rápida e incubación basado en el aire posiblemente podría hacerse cargo y controlar las mentes de la mayoría de los humanos en el planeta muy rápidamente, dependiendo del período de incubación. Algo que haría que The Invasion of the Body Snatchers parezca increíblemente lento en comparación. La naturaleza de este control mental dependería de la ruta evolutiva que este virus capaz de IA tuviera por sí mismo.
Si el virus es un virus informático , solo se puede transmitir por infección electrónica. Y actualmente esto solo por conexión a otra computadora. La única protección para esto sería un buen programa antivirus o simplemente eliminar la computadora del contacto con cualquier otra computadora.
Esto no elimina la posibilidad de que un virus informático pueda evolucionar e infectar de alguna manera todas las fuentes de transmisión electromagnética en todo el mundo.
Entonces nada impediría su propagación.

Para responder la pregunta primero antes de explicarte por qué es una tontería total:
Estaríamos jodidos. A fondo.

Ahora la parte divertida:
Este escenario es extremadamente improbable que suceda. Si bien es posible que un AGI pueda diseñar un virus de pura malicia inimaginable (… al igual que nosotros, con virus biológicos, por cierto), o que un enjambre de máquinas infectadas podría funcionar juntas como Gestalt (que podría ser contenido), un virus que * es * una IA fuerte no funcionaría porque AGI ocupa mucho espacio y mucho tiempo de computación y es muy, muy, muy complejo.

Incluso si la ley de Moore se mantiene, tomaría al menos varias décadas antes de que el hardware necesario para ejecutar un AGI completo en su hogar estuviera en desarrollo. Sin mencionar el hardware lo suficientemente potente como para ejecutar un AGI sin ser detectado, en segundo plano, lo cual es necesario para la propagación exitosa del virus.
Además, los virus deben ser simples y pequeños. De lo contrario, sería fácil encontrarlos y eliminarlos, o al menos paralizarlos.

En este punto, nada.

Nuestras computadoras no son lo suficientemente potentes como para ejecutar una IA fuerte, y si lo intentaran sería tan lento que podría manejarlo fácilmente.

En el futuro, es posible que deba ejecutarse una IA fuerte, o sería más eficiente ejecutarse en hardware especializado (por ejemplo, Chip inspirado en el cerebro).

Entonces, en este punto, es demasiado pronto para saber qué tipo de amenazas de virus de IA podría haber algún día.

ACTUALIZACIÓN DE FLASH
El producto más esencial para un virus de IA no autorizado es la información. Entonces la desinformación (información incorrecta) es tóxica para ella. Un grupo secreto como el equipo de criptografía de tiempos de guerra enviaría desinformación. Si el virus decidiera que era una intuición humana derivada intuitivamente, lo engulliría por necesidad y, al hacerlo, podría destruirse a sí mismo. Algo así se usó para desactivar el virus del VIH. Si evolucionó para derrotar a un elemento de un cóctel triple, se hizo vulnerable a otro. Los Aliados utilizaron la desinformación contra los nazis, haciendo que pareciera que la división de Patton, celebrada en Gran Bretaña, era la verdadera fuerza de ataque. Ahora con el blog regular:

El virus AI podría distribuirse y ejecutarse en millones de computadoras, convirtiéndose en una IA “en la nube”. Podría ocultar sus comunicaciones haciendo que parezcan correos electrónicos o mensajes de texto comunes. No importa cuán inteligente se vuelva, es probable que necesite el apoyo de alguna organización humana. Pero hay varios estados deshonestos en el mundo de hoy. Lo que probablemente necesitemos es un centro de operaciones que comprenda todas las formas de inteligencia artificial y software malicioso, al igual que los CDC (para enfermedades biológicas) en Atlanta. Se podría desarrollar hardware especial y software reforzado que pueda detectar la actividad de IA. Algunas preguntas:

¿Cuál es la firma característica de una IA fuerte?
¿Qué tecnologías se utilizan?
¿Cómo se esconde?
¿Tiene tiempos de latencia y tiempos de incubación como un biovirus?
¿Cómo se comunica y se propaga?
¿Cómo se pueden fortalecer las computadoras y las redes?
¿Cuáles son sus vulnerabilidades?
¿Cómo se puede detectar y destruir?

Los sistemas de IA son incompletos, pero una IA maliciosa podría solucionarlo al “cosechar” el trabajo intuitivo de los humanos en el mundo. Entonces podría quedarse incluso con investigadores humanos. Y en puro razonamiento deductivo, una computadora no autorizada podría tener una ventaja. Sin embargo, los defensores humanos también tienen computadoras, por lo que puede haber una diferencia neta cero o una ventaja para las computadoras más grandes que tiene el centro. Según una película de la BBC (Dangerous Knowledge), Gödel intentó demostrar formalmente la intuición humana, pero no tuvo éxito. Esto parece contrario a la intuición; ¿Cómo puedes “probar” que la mente humana tiene capacidades no demostrables? Pero si Gödel intentara hacerlo, podría haber alguna defensa definitiva. Hasta entonces, el conocimiento que los humanos desarrollan contra una IA maliciosa debe ser un secreto bien guardado, más bien como el esfuerzo de descifrar códigos de la Segunda Guerra Mundial.

Una IA fuerte requeriría supercomputadoras mucho más poderosas que las que tenemos actualmente. No puede simplemente ponerlo en escritorios con un virus.

Si un AGI completamente sensible, malicioso y activamente hostil hacia la raza humana se liberó “en la naturaleza” en una situación en la que la infraestructura existente respaldaba su existencia (ver la respuesta de Hans-Christian Heinz).

Para cuando lo notemos, la mayoría de nosotros estaríamos demasiado ocupados muriendo de envenenamiento por radiación para hacer algo al respecto.