---

Fondamentalement résolvons le « problème de l’intelligence », et tous les autres problèmes deviennent triviaux.

---

Par Anatoly Karlin − Le 10 janvier 2017 –− Source Unz Review

Le problème, c’est que ce problème est un problème très difficile, et il est peu probable que notre esprit seul suffise. De plus, parce que les problèmes ont tendance à devenir plus difficiles, et non plus faciles, à mesure que l’on progresse dans l’échelle technologique (Karlin, 2015, Français), dans un scénario « business as usual » sans augmentation substantielle de l’intelligence, nous n’aurons effectivement qu’une « fenêtre » de 100-200 ans pour réaliser cette percée avant que les schémas mondiaux de fertilité dysgénique ne les empêchent totalement d’exister pendant une grande partie du prochain millénaire.

Pour éviter une période de stagnation technologique et scientifique prolongée, avec les risques d’effondrement qui en découlent, notre  » esprit de ruche «  (ou  » noosphère « ) global devra au minimum soutenir et de préférence augmenter durablement sa propre intelligence. L’objectif final est de créer (ou de devenir) une machine, ou un réseau de machines, qui augmentent récursivement leur propre intelligence – « la dernière invention dont l’homme ait besoin » (Good, 1965).

À la lumière de ce qui précède, il y a cinq principales façons distinctes dont la civilisation humaine (ou post-humaine) pourrait se développer au cours du prochain millénaire.

Techno-singularité directe

Le développement de l’intelligence générale artificielle (IGA), qui devrait rapidement se transformer en super-intelligence – définie par Nick Bostrom comme « tout intellect qui dépasse largement la performance cognitive des humains dans pratiquement tous les domaines d’intérêt » (Bostrom, 2014). Surtout s’il s’agit d’un décollage « difficile », la super-intelligence deviendra probablement aussi un singleton, une entité à hégémonie mondiale (Bostrom, 2006).

De nombreux experts prédisent que l’IGA pourrait apparaître d’ici le milieu du 21e siècle (Kurzweil, 2005 ; Müller & Bostrom, 2016). Cela devrait rapidement se traduire par une singularité technologique, désormais « techno-singularité », dont la valeur utilitaire pour l’humanité dépendra de notre capacité à résoudre le problème de l’alignement de l’IA (c’est-à-dire de notre capacité à convaincre les robots de ne pas tous nous tuer).

La techno-singularité se glissera sur nous, puis transformera radicalement tout, y compris la possibilité même de tout autre pronostic significatif – ce sera « un rejet de toutes les règles précédentes, peut-être en un clin d’œœil, une fuite exponentielle hors de tout espoir de contrôle » (Vinge, 1993). Le scénario de la « techno-singularité directe » est probable si l’IGA s’avère relativement « facile », comme le croient le futuriste Ray Kurzweil et Demis Hassabis, PDG de DeepMind.

L’âge de Em

Le développement de l’émulation du cerveau total (ECT) pourrait accélérer la techno-singularité, si elle est relativement facile et développée avant l’IGA. Comme le soutient l’économiste Robin Hanson dans son livre « The Age of Em« , d’innombrables quintillions d’esprits humains émulés, ou « ems », fonctionnant des milliards de fois plus vite que les logiciels biologiques, devraient pouvoir effectuer une transition vers une véritable super-intelligence et la techno-singularité en quelques années humaines (Hanson, 2016). Cela suppose que la civilisation em ne s’autodétruise pas, et que l’IGA ne s’avère pas en fin de compte être un problème insoluble. Une simple simulation de Monte-Carlo d’Anders Sandberg donne à penser que l’ECT pourrait être atteint dans les années 2060 (Sandberg, 2014).

Biosingularité

Nous sommes encore loin d’avoir épuisé notre potentiel biologique et biomécatronique d’augmentation de l’intelligence. Le niveau de complexité biologique a augmenté de façon hyperbolique depuis l’apparition de la vie sur Terre (Markov & Korotayev, 2007), de sorte que même si l’ECT et l’IGA s’avèrent tous deux très difficiles, il pourrait encore être parfaitement possible pour la civilisation humaine de continuer à augmenter considérablement sa puissance cognitive globale. Assez, peut-être, pour donner un coup de fouet à la techno-singularité.

Il y a beaucoup de chemins possibles vers une biosingularité.

Le plus simple, c’est la démographie : La méthode éprouvée de la croissance démographique (Korotaev & Khaltourina, 2006). Comme l’affirment des « techno-cornucopiens«  comme Julian Simon, plus de gens signifie plus d’innovateurs potentiels. Cependant, seule une infime « fraction intelligente » peut contribuer de manière significative au progrès technologique, et les schémas globaux de fertilité dysgénique impliquent que sa part de la population mondiale va inexorablement diminuer maintenant que l’« effet Flynn«  des augmentations du QI environnemental se fait sentir dans le monde entier, en particulier dans les pays à QI élevé qui sont historiquement responsables du progrès technologique (Dutton, Van Der Linden, et Lynn, 2016). Dans le scénario à long terme du « business as usual », il en résultera une Idiocratie incapable de tout progrès technologique supplémentaire et à risque permanent d’un effondrement malthusien de la population si le QI moyen tombe sous le niveau nécessaire pour soutenir la civilisation technologique.

En tant que telle, la fertilité dysgénique devra être contrée par des politiques eugéniques ou des interventions technologiques. Les premières sont soit trop légères pour faire une différence cardinale, soit trop coercitives pour faire un plaidoyer sérieux. Cela nous laisse avec les solutions technologiques, qui à leur tour tombent en grande partie dans deux bacs : Génomique et biomécatronique.

La voie la plus simple, déjà à l’aube de la faisabilité technologique, est la sélection des embryons par le QI. Cela pourrait entraîner des gains d’un écart-type par génération et une augmentation éventuelle de 300 points de QI par rapport à la ligne de base une fois que tous les allèles affectant le QI auront été découverts et optimisés (Hsu, 2014 ; Shulman & Bostrom, 2014). C’est peut-être trop optimiste, car il suppose que les effets resteront strictement additifs et ne se heurteront pas à des rendements décroissants.

Malgré tout, un monde avec un millier ou un million de fois plus de John von Neumanns en mouvement sera plus civilisé, beaucoup plus riche et plus dynamique sur le plan technologique qu’aujourd’hui (il suffit de comparer les différences de civilité, de prospérité et de cohésion sociale entre des régions du même pays séparées par un écart type de QI moyen de seulement la moitié, comme le Massachussetts et la Virginie occidentale). Les chances de cette civilisation hyper-intelligente de résoudre le problème des ECT et/ou des IGA seront donc beaucoup plus élevées.

Le problème, c’est qu’il faudra une douzaine de générations pour atteindre la terre promise, c’est-à-dire au moins 200 à 300 ans. Voulons-nous vraiment attendre si longtemps ? Ce n’est pas la peine. Une fois que des technologies comme CRISPR/Cas9 auront mûri, nous pourrons accélérer considérablement le processus et accomplir la même chose par l’édition directe des gènes. Tout cela suppose bien sûr qu’un concert des États les plus puissants du monde ne se coordonne pas pour mettre un frein vigoureux aux nouvelles technologies.

Malgré cela, nous resterions toujours « limités » par la biologie humaine. Par exemple, la taille de l’utérus et la charge métabolique sont des facteurs qui influent sur la taille du cerveau, et les spécificités de notre substrat neural placent un plafond ultime même sur le potentiel intellectuel humain « génétiquement corrigé ».

Il y a quatre façons possibles d’aller au-delà de la biologie, présentées ci-dessous, de « plus réaliste » à « plus science-fiction » :

Neuropharmocologie : Les substances nootropes existent déjà, mais elles n’augmentent pas le QI de façon significative et il est peu probable qu’elles le fassent dans l’avenir (Bostrom, 2014).

Biomécatronique : Le développement d’implants neuronaux pour augmenter la cognition humaine au-delà de son potentiel biologique maximal. Les premières start-ups, basées pour l’instant sur le traitement plutôt que sur l’amélioration, commencent à apparaître, comme Kernel, où le futuriste Randal Koene est le scientifique en chef. Cette approche « cyborg » promet une intégration plus transparente et probablement plus sûre avec les ems et/ou les machines intelligentes, quel que soit le moment où elles apparaissent – c’est la raison pour laquelle Elon Musk est un partisan de cette approche. Cependant, il y a de fortes chances que des interfaces cerveau-machine significatives soient très difficiles à mettre en œœuvre (Bostrom, 2014).

Nanotechnologie : Les nanorobots pourraient potentiellement optimiser les voies neuronales, ou même créer leurs propres réseaux neuronaux basés sur des « foglets« .

Biosingularité directe : Si l’ECT et/ou la super-intelligence s’avèrent très difficiles ou insolubles, ou s’ils s’accompagnent de problèmes « mineurs » comme le manque de solutions rigoureuses au problème d’alignement de l’IA ou la perte permanente de l’expérience consciente (Johnson, 2016), alors nous pourrions tenter une biosingularité directe, par exemple, Nick Bostrom suggère le développement de nouveaux gènes synthétiques, et encore plus de « possibilités exotiques » comme les cuves pleines de tissus corticaux complexes ou les animaux transgéniques « élevés », en particulier les éléphants ou les baleines qui peuvent supporter de très gros cerveaux (Bostrom, 2014). Le résultat final d’une véritable biosingularité pourrait être une sorte de « singleton écotechnique », par exemple Solaris de Stanislas Lem, une planète dominée par un océan sensible à l’échelle planétaire.

Limitée par la vitesse des réactions chimiques neuronales, on peut dire que la biosingularité sera une affaire beaucoup plus lente que « The Age of Em » ou une explosion de super-intelligence, sans parler de la techno-singularité qui suivra probablement bientôt l’un de ces deux événements. Cependant, dans ce scénario, la civilisation humaine pourrait encore atteindre la masse critique de puissance cognitive nécessaire pour résoudre les ECT ou les AGI, déclenchant ainsi la réaction en chaîne qui conduit à la techno-singularité.

Eschaton

Nick Bostrom a ainsi défini le risque existentiel : « Un cas où un résultat négatif annihilerait la vie intelligente d’origine terrestre ou réduirait son potentiel de façon permanente et drastique. » (Bostrom, 2002)

Nous pouvons diviser les risques existentiels en quatre catégories principales : Géoplanétaire, anthropique, technologique et philosophique.

Au cours d’une décennie donnée, un rayon gamma éclaté ou même un très gros astéroïde pourrait nous effacer dans notre berceau terrestre. Cependant, le risque de fond est à la fois constant et extrêmement faible, donc ce serait une malchance cosmique pour un Götterdämmerung géoplanétaire au moment même où nous sommes sur le point d’entrer dans l’ère posthumaine.

Il y a trois grandes sources de risque existentiel « anthropique » : La guerre nucléaire, le changement climatique et l’épuisement des sources d’énergie à haut taux de retour énergétique.

Les craintes d’anéantissement atomique sont compréhensibles, mais même en cas d’échange thermonucléaire à grande échelle entre la Russie et les États-Unis, l’humanité peut survivre et cela n’entraînera pas l’effondrement de la civilisation industrielle si on se réfère à « un Cantique pour Leibowitz«  ou à des jeux vidéo comme Fallout, et encore moins l’extinction humaine (Kahn, 1960 ; Kearny, 1979). C’était vrai pendant la guerre froide et c’est doublement vrai aujourd’hui, alors que les stocks d’armes nucléaires sont beaucoup plus faibles. Certes, un pourcentage modeste de la population mondiale mourra et une majorité du capital des pays en guerre sera détruite, mais comme aurait pu le dire Herman Kahn, il s’agit là d’une issue tragique mais néanmoins distincte d’un véritable « risque existentiel ».

On peut dire à peu près la même chose des changements climatiques anthropiques. Même si cela ferait probablement plus de mal que de bien, du moins à moyen terme (Stager, 2011), même les pires résultats comme un effondrement en mode clathrate ne se traduiront probablement pas par les visions apocalyptiques de James Lovelock de « couples reproducteurs » qui s’acharnent à assurer une survie difficile en Arctique. Le seul résultat vraiment terminal serait un effet de serre déferlant qui transforme la Terre en Vénus, mais il n’y a tout simplement pas assez de carbone sur notre surface planétaire pour que cela se produise.

En ce qui concerne l’approvisionnement énergétique mondial, si la fin des combustibles fossiles à haute densité pourrait réduire quelque peu le niveau de vie par rapport à ce qu’il aurait été autrement, rien ne prouve que cela entraînerait un déclin économique, et encore moins une régression technologique vers les conditions de la gorge d’Olduvai, comme certains des « catastrophistes » les plus alarmistes l’ont affirmé. On a encore beaucoup de gras à couper ! En fin de compte, la culture matérielle d’un pays en manque d’énergie comme Cuba se compare très positivement à celle de 95 % de tous les humains qui ont déjà vécu. En outre, il reste encore des réserves de charbon pour des siècles sur la planète, et l’énergie nucléaire et solaire n’a été exploitée qu’à une faible fraction de son potentiel.

Le risque technologique de loin le plus important est l’IGA malveillante, à tel point que des équipes de recherche entières telles que MIRI ont vu le jour pour y travailler. Cependant, il est si étroitement lié au scénario de la techno-singularité que je m’abstiendrai de le commenter davantage ici.

Cela ne laisse que les risques existentiels « philosophiques », ou logiquement dérivés. Par exemple, la simulation informatique dans laquelle nous nous trouvons pourrait prendre fin (Bostrom, 2003) – peut-être parce que nous ne sommes pas assez intéressants (si nous n’atteignons pas la techno-singularité), ou par manque de matériel pour simuler une explosion de l’intelligence (si nous y parvenons). Une autre possibilité inquiétante est sous-entendue par le silence inquiétant tout autour de nous, comme l’a demandé Enrico Fermi : « Où sont tous les autres ? » Peut-être sommes-nous vraiment seuls. Ou peut-être que les civilisations extraterrestres post-singularité restent silencieuses pour une bonne raison.

Nous avons commencé à diffuser allègrement notre présence dans le vide il y a plus d’un siècle, donc s’il y a bien une civilisation « super-prédatrice » qui veille sur la galaxie, prête à sauter au premier signe d’un rival potentiel (par exemple pour les ressources informatiques limitées de la simulation), alors notre destin a peut-être déjà longtemps été écrit dans les étoiles. Cependant, à moins qu’ils n’aient trouvé comment renverser les lois de la physique, leur réponse sera limitée par la vitesse de la lumière. Ainsi, la question de savoir s’il nous faut un demi-siècle ou un millénaire pour résoudre le problème de l’intelligence – et par extension, tous les autres problèmes, y compris la colonisation spatiale – revêt la plus grande importance !

L’ère de l’industrialisation malthusienne (ou, « Business as Usual »)

Le XXIe siècle s’avère être une déception à tous égards. Nous ne fusionnons pas avec le Dieu Machine, et nous ne redescendons pas non plus dans la gorge d’Olduvai par la route du chaos. Au lieu de cela, nous vivons la véritable torture de voir les prévisions conventionnelles et courantes de tous les économistes formatés, hommes d’affaires et autres conformistes ennuyeux se réaliser.

L’édition génétique humaine est interdite par décret gouvernemental dans le monde entier, pour « protéger la dignité humaine » dans les pays religieux et « prévenir l’inégalité » dans les pays religieusement progressistes. Comme on pouvait s’y attendre, les 1% bafouent ces réglementations à volonté, améliorant leur progéniture tout en maintenant le reste de la biomasse humaine à un niveau bas, mais les élites n’ont pas le poids démographique nécessaire pour compenser l’effondrement des QI moyens car les dysgéniques ont dépassé l’effet FLynn de manière décisive.

Nous découvrons que la cuisine de Kurzweil est un mensonge. La loi de Moore s’arrête, et le bourdonnement actuel sur le deep learning se transforme en un hiver permanent en terme d’IA. Robin Hanson est mort déçu, mais pas avant de se figer cryogéniquement dans l’espoir d’être réanimé en tant qu’em. Mais Alcor fera faillite en 2145, quand on découvrira que quelqu’un a détourné les fonds mis de côté pour une telle éventualité, et on ne trouvera personne pour payer pour garder ces étranges momies de glace en état. Ils seront sommairement jetés dans un fossé, et les vestiges de leur conscience suintera sous leur enveloppe congelée pour se dissoudre dans la saleté en même temps que leur sang en train de dégeler. Un supermarché sera construit sur leurs os, autour de ce qui est maintenant un endroit très fréquenté dans la mégapole de Phoenix.

Car les vieilles préoccupations concernant les populations vieillissantes et les pensions sont maintenant de l’histoire ancienne. Parce que les préférences de fertilité, comme tous les aspects de la personnalité, sont héréditaires – et donc ultra-compétitives dans un monde où les anciennes contraintes malthusiennes ont été assouplies – les « éleveurs quantitatifs » ont depuis longtemps dépassé les « éleveurs qualitatifs » en pourcentage de la population, et l’humanité est maintenant en plein baby-boom, une époque qui va durer des siècles. Tout comme la population humaine a décuplé, passant de 1 milliard en 1800 à 10 milliards en 2100, elle augmentera d’un autre ordre de grandeur au cours des deux ou trois prochains siècles. Mais cette expansion démographique est très dysgénique, de sorte que le QI moyen mondial diminue d’un écart-type et que la technologie stagne. Vers le milieu du millénaire, la population approchera les 100 milliards d’âmes et dépassera la capacité de charge de l’économie industrielle mondiale.

Alors les choses vont mal tourner.

Mais comme on dit, chaque problème contient la semence de sa propre solution. Gnon s’apprête à éclaircir la population, à abattre les malades, les idiots et les cigales. Comme le philosophe néo-réactionnaire Nick Land le note, en s’inspirant de Lovecraft, « Il n’existe aucune machine existante, ni même rigoureusement imaginable, qui puisse soutenir un seul iota de valeur atteinte en dehors des forges de l’enfer ».

Dans le rude nouveau monde de l’industrialisme malthusien, l’idiocratie commence à céder la place à Farewell to Alms, les schémas de fertilité eugénique qui ont sous-tendu les gains du QI au début de la Grande-Bretagne moderne et ont ouvert la voie à la révolution industrielle. Quelques siècles de plus de petits-enfants plus intelligents et plus travailleurs, et nous reviendrons là où nous en sommes aujourd’hui, capables de résoudre le problème de l’intelligence mais capables de puiser dans une population beaucoup plus nombreuse pour cette tâche.

En supposant qu’une flotte de ruche Tyranide n’ait pas avalé la Terre dans l’intervalle du millénaire….

Les chemins de bifurcation du troisième millénaire

En réponse aux critiques selon lesquelles il perdait son temps dans un scénario improbable, Robin Hanson a fait remarquer que même s’il n’y avait qu’une chance sur cent que L’âge de Em se produise, cela valait la peine d’étudier la question en considérant l’ampleur même des consciences futures et de la souffrance potentielle en jeu.

Bien que je puisse imaginer que certains lecteurs considèrent certains de ces scénarios comme moins probables que d’autres, je pense qu’il est juste de dire qu’ils sont tous au moins un minimum plausibles, et que la plupart des gens attribueraient également une probabilité supérieure à 1 % à une majorité d’entre eux. En tant que tels, ils font l’objet d’un examen sérieux et légitime.

Ma propre évaluation de la probabilité est la suivante :

• Technosingularité directe : 25%, si Kurzweil/MIRI/DeepMind ont raison, avec un pic de probabilité autour de 2045, et le plus susceptible d’être mis en œœuvre via des réseaux neuronaux (Lin & Tegmark, 2016).
• L’âge d’Em : <1%, puisque nous ne pouvons pas obtenir de modèles fonctionnels même de circuits intégrés vieux de 40 ans à partir de leur analyse, sans parler des organismes biologiques (Jonas & Kording, 2016)
• Biosingularité à Technosingularité : 50 %, puisque la révolution de la génomique ne fait que commencer et qu’il est peu probable que les gouvernements veuillent, et encore moins réussissent, à la supprimer rigoureusement. Et si l’IGA est plus difficile à mettre au point que ne le disent les optimistes et qu’il faudra beaucoup plus de temps qu’au milieu du siècle, il y a fort à parier que les humains ayant un QI accru joueront un rôle crucial dans son développement éventuel. Je mettrais le pic de probabilité d’une technosingularité à partir d’une biosingularité autour de 2100.
• Biosingularité directe : 5%, si nous décidons que procéder avec l’IGA est trop risqué, ou que la conscience a une valeur cardinale inhérente et n’est possible que sur un substrat biologique.
• Eschaton : 10 %, dont : (a) Risques existentiels philosophiques : 5% ; (b) IGA malveillants : 1% ; (c) Autres risques existentiels, principalement technologiques : 4%.
• L’âge de l’industrialisation malthusienne : 10%, avec à peu près autant de chances de réussir à lancer la technosingularité la deuxième fois.

Il existe une quantité énorme de documentation sur quatre de ces cinq scénarios. Le livre le plus célèbre sur la technosingularité est The Singularity is Near de Ray Kurzweil, bien que vous pourriez vous contenter de l’article classique de Vernor Vinge The Coming Technological Singularity. L’Âge d’Em de Robin Hanson est LE livre sur le sujet. Certaines des composantes d’une biosingularité potentielle sont déjà dans notre horizon technologique – Stephen Hsu mérite d’être suivi sur ce sujet, bien qu’en biomécatronique, pour l’instant il reste plus de science-fiction que de science (clin d’œœil obligatoire à la franchise Deus Ex, un jeu vidéo). La littérature populaire sur les risques existentiels de toutes sortes est vaste, avec Superintelligence de Nick Bostrom étant le travail définitionnel sur les risques de l’IGA. cela vaut aussi la peine de lire ses nombreux articles sur les risques existentiels philosophiques.

Ironiquement, la lacune de loin la plus importante concerne le scénario du « business as usual ». C’est comme si les penseurs futuristes du monde avaient été tellement consumés par les scénarios les plus exotiques et les plus « intéressants » (par exemple la superintelligence, les EMS, l’effondrement socio-économique, etc.) qu’ils ont négligé de considérer ce qui se passera si nous prenons toutes les projections économiques et démographiques standard pour ce siècle, leur appliquons notre compréhension des aspects économiques, psychométriques, technologiques et évolutionnaires de la psychologie, et les poussons vers leurs conséquences logiques.

L’âge du malthusianisme industriel qui en résulte est non seulement plus facile à imaginer que beaucoup d’autres scénarios et, par extension, plus facile à comprendre pour les gens modernes, mais c’est aussi quelque chose de vraiment intéressant en soi. Il est également très important de bien comprendre. Car ce n’est pas du tout un « bon scénario », même s’il est peut-être le plus « naturel », puisqu’il finira par entraîner des souffrances inimaginables pour des milliards de gens à venir dans quelques siècles, lorsque viendra le temps d’équilibrer l’équation malthusienne. Nous devrons aussi passer beaucoup de temps sous un niveau élevé de risque existentiel philosophique. Ce serait le prix à payer pour des réglementations étatiques qui bloquent aujourd’hui le chemin vers une biosingularité.

Anatoly Karlin

Note du Saker Francophone

La science avance et rien ne semble pouvoir se dresser devant elle pour en limiter les effets, comme si la technopshère (selon Dmitry Orlov) devait aller au bout de sa logique, où plutôt ne semblait car l'Occident semble vouloir se suicider et peut-être entraîner le reste du monde avec lui. L'horizon de la singularité semble s'éloigner, une sorte de course contre la montre entre des états stables capable de financer la recherche et une déliquescence des sociétés la supportant.

Sources

Bostrom, N. (2002). Risques existentiels. Journal of Evolution and Technology / WTA, 9(1), 1-31.
Bostrom, N. (2003). Sommes-nous en train de vivre dans une simulation informatique ? The Philosophical Quarterly, 53(211), 243-255.
Bostrom, N. (2006). Qu’est-ce qu’un Singleton. Linguistic and Philosophical Investigations, 5(2), 48-54.
Bostrom, N. (2014). Superintelligence : Chemins, dangers, stratégies. Oxford University Press.
Dutton, E., Van Der Linden, D. et Lynn, R. (2016). L’effet Flynn négatif : Une revue systématique de la littérature. Intelligence, 59, 163-169.
Good, I. J. (1965). Spéculations concernant la première machine ultraintelligente. Dans F. Alt et M. Ruminoff (dir. publ.), Advances in Computers, volume 6. Academic Press.
Hanson, R. (2016). L’Âge d’Em : Le travail, l’amour et la vie quand les robots gouvernent la terre. Oxford University Press.
Hsu, S. D. H. (2014, 14 août). Sur l’architecture génétique de l’intelligence et autres caractères quantitatifs. arXiv[q-bio.GN]. Consulté sur arxiv.org
Johnson, M. (2016). Principia Qualia : le résumé exécutif. Théorie ouverte. Consulté sur opentheory.net
Jonas, E. et Kording, K. (2016). Un neuroscientifique pourrait-il comprendre un microprocesseur ? bioRxiv. Consulté sur biorxiv.org
Kahn, H. (1960). Sur la guerre thermonucléaire (vol. 141). Cambridge Univ Press.
Karlin, A. (2015). Introduction à l’Ascension d’Apollon. The Unz Review.  Consulté sur Unz Review
Kearny, C. H. (1979). Compétences de survie en temps de guerre nucléaire. NWS Research Bureau.
Korotaev, A. V., et Khaltourina, D. (2006). Introduction à la macrodynamique sociale : Cycles séculaires et tendances du millénaire en Afrique. Editorial URSS.
Kurzweil, R. (2005). La singularité est proche : Quand les humains transcendent la biologie. Pingouin.
Lin, H. W. et Tegmark, M. (2016, 29 août). Pourquoi l’apprentissage profond et bon marché fonctionne si bien?arXiv[cond-mat.dis-nn].  Consulté sur aexiv.org
Markov, A. V. et Korotayev, A. V. (2007). La biodiversité marine phanérozoïque suit une tendance hyperbolique. Palaeoworld, 16(4), 311-318.
Müller, V. C. et Bostrom, N. (2016). Progrès futurs de l’intelligence artificielle : A Survey of Expert Opinion. Dans V. C. Müller (Ed.), Fundamental Issues of Artificial Intelligence (pp. 555-572). Springer International Publishing.
Sandberg, A. (2014). Modèle de Monte Carlo du développement de l’émulation cérébrale. Consulté sur fhi.ox.ac.uk
Shulman, C. et Bostrom, N. (2014). Sélection d’embryons pour l’amélioration cognitive : Curiosité ou changement de jeu ? Global Policy, 5(1), 85-92.
Stager, C. (2011). Deep Future : Les 100 000 prochaines années de vie sur Terre. Macmillan.
Vinge, V. (1993). La singularité technologique à venir : comment survivre dans l’ère post-humaine. Dans Vision 21 : Les sciences et le génie interdisciplinaires à l’ère du cyberespace. Consulté sur www-rohan.sdsu.edu

Traduit par Hervé pour le Saker Francophone