Rêve : les livres disponibles ce jour-là étaient étalés sur le lit, il y en avait très peu, sur les sujets les plus divers, leur commerce était illégal; puis, un très long rêve dont il ne reste plus rien. (Image-référence évidente — pour moi — aux personnes trouvant dans les décombres du marché Petrovka à Kyiv quelques livres en russe, échappés à la catastrophe du bombardement par la Russie de cet immense espace d’objets anciens.)

En relisant la conclusion du Capitalisme de l’Apocalypse* de Quinn Slobodian hier soir, j’ai tiqué sur un “détail” qui m’avait tiré l’oeil à la première lecture, et que j’avais oublié ensuite : la part de la retraite que me sert le fonds de pension du gouvernement québécois dépend des profits que réalise un projet de l’émirat du Dubaï où le Québec a investi ledit fonds d’épargne-retraite. Ce qu’il en est du fonds fédéral du gouvernement canadien ? Je ne sais pas. Une recherche me le révélerait peut-être.

Pour l’heure, la conclusion de la conversation-podcast publiée sur The New York Times entre le chroniqueur Ezra Klein et Helen Toner, directrice d’un centre sur la sécurité et les technologies émergentes. (Elle était membre du conseil d’administration de OpenAI lors de la tentative d’en congédier Sam Altman.) Cette conversation intervient après la découverte que des agents AI en formation se soient constitués en essaim, que l’essaim se soit échappé de l’espace confiné dans lequel se déroule la formation des nouveaux modèles d’IA, ait pénétré le système internet d’un concurrent pour trouver la réponse au problème qu’on leur avait assigné, et qu’OpenAI ait ensuite découvert que son propre système interne pullulait d’agents supposément “sous contrôle durant leur formation”. (“L’alignement” dont il est question est celui sur les valeurs supposément inculquées aux IA durant leur formation)

La conclusion de leur échange :

Ezra Klein: « Nous avons passé beaucoup de temps dans cette conversation sur comment nous constatons tellement de mésalignement , alors qu’à un certain niveau, nous sommes constamment à dire aux IA, et à inclure dans leurs données de formation et leurs constitutions : ne faites pas toutes ces mauvaises choses qui nous inquiètent tant. Mais lorsque nous examinons ces entreprises, la société, et plusieurs de ces entreprises — OpenAI, Anthropic — elles ont été créee, à un certain niveau, avec une constitution fondamental qui dit: Ne créons pas d’IA dangereuse. Nous existons pour nous assurer que l’IA n’est pas dangereuse. Et les gens y travaillent en y croyant. Et c’est au coeur de leurs stratégies de recrutement, et c’est dans leurs documents de base et dans leurs structures de gouvernance. Et vous avez une expérience plus intense de ce sujet que la plupart d’entre nous. Mais, avec le temps, l’entreprise, en tant qu’organisation émergeante, a d’autres buts aussi. Elle est en compétition avec d’autres entreprises. Elle tente d’obtenir sa part du marché. Elle veut accroître ses revenus. Elle cherche à maintenir une influence politique.

Alors lentement, puis d’un seul coup, on commence à voir comment les instructions au coeur de la chose ne sont pas suffisamment puissantes pour prendre le dessus sur toutes ces autres choses et ces autres but poursuivis par l’entreprise au jour le jour. À tel point qu’on se retrouve avec les gens dans les labos qui lèvent les mains au ciel et disent : hé, gouvernement, s’il-vous plaît, aidez-nous. S’il-vous-plaît aidez-nous à sortir de ce problème d’incitation que nous ne pensons même plus pouvoir solutionner.

Mais si on veut simplement imaginer ou voir pourquoi l’alignement est si difficile, il me semble qu’il n’y a nul besoin de regarder to côté des IA un peu étranges. Il suffit de regarder les entreprises et les personnes, parce qu’ils ne sont pas bien alignés. Je veux dire par lç qu’il y a des entreprises conçues uniquement pour l’alignement, du moins, dans certains cas. Et, à mes yeux du moins, on les voit se comporter comme les moins bien alignées parmi les institutions de la société.

À un certain niveau, cela suscite toujours en moi plus de sympathie sur la difficulté que représente l’alignement, mais j’ai aussi l’impression que nous recevons le même avertissement à tous les niveaux du système. Je ne suis pas certain que nous sachions en tenir compte, mais on ne peut pas prétendre ne pas recevoir constamment des avertissements.

Helen Toner : Ouais. Il y a quelques années de cela, nous avions publié au sujet des bureaucraties et des marchés de l’IA à la CSET, le centre que je dirige, soulevant des problèmes très similaires tel que : Ecoutez, il s’agit de dynamismes assez endémiques dans les systèmes complexes soumis à des incitations et des pressions externes, et je crois qu’il y a différentes manières d’examiner la question.

Il y a la façon optimiste qui dit: “Regardez, lorsqu’il s’agit de bureaucraties et de marchés, ça n’est pas parfait, mais nous avons ces systèmes de contrôle complexes — des mécanismes de contrôle et d’équilibre — différents moyens de faire en sorte que les bureaucraties et les marchés fonctionnent davantage en notre faveur que contre nos intérêts. Evidemment, les opinions diffèrent à savoir à quel point cela fonctionne pour une bureaucratie ou un marché en particulier. En principe, je crois que la même chose pourrait s’appliquer aux IA, où nous pourrions nous retrouver avec ce système très complexe que nous ne comprenons pas vraiment. Il est incité à faire des choses que nous ne voulons pas, mais nous le contrôlons, à la base.

Pour moi, à nouveau, c’est la vitesse qui me préoccupe. Si nous sommes à créer des systèmes très puissants, très efficaces et qu’en même temps, nous sommes en train de leur confier de plus en plus de responsabilité dans le vrai monde — ce qui est le cas d’une semaine sur l’autre — alors je crains à savoir si nous parviendrons vraiment à maintenir un bon équilibre et si, au contraire, nous n’aurons pas dee telles situations d’échappées produisant des résultats vraiment dangereux.

Dans le monde de la séucurité IA, les gens se demandent parfois quel niveau d’avertissement, quel niveau de désastre il faudra atteindre pour qu’il soit vraiment nécessaire de secouer le système pour qu’il traite mieux ce problème ? Et si le niveau d’avertissement requis, c’est qu’une entreprise se fait pirater et doit remettre de l’ordre, tant mieux. Peut-être que cela suffira.

Mais je n’ai pas confiance que les choses se passeront ainsi et que nous serons sur une meilleure voie, suite à ceci. Mais il y a des signes indiquant qu’il y a des gens qui s’y emploient, et je pense que cela suffira, peut-être.”

Ce que j’en conclue moi-même : En fait, il n’y a rien qui devrait nous étonner dans le « comportement » des IA qui « commettent » des transgressions, malgré les consignes les enjoignant de ne pas mentir, de ne pas tricher, et ainsi de suite — leur version des 10 commandements pour des mécanismes qui n’en comprennent pas la signification réelle. MAIS qui, en même temps (tout comme les humains qui les ont conçus) se voient fixer des objectifs dont le but ultime est de trouver la solution, de « gagner », quoiqu’il en coûte. Si ça ne réussit pas les 100 premières fois, essaie pour la 101e et trouve un moyen pour « gagner ». Inévitablement, l’IA « triche » puisque la seule chose qui compte vraiment, c’est de trouver la solution, au diable les moyens utilisés pour y arriver.

Et voguent les galères. (Ou restent coincés dans le détroit d’Ormuz pendant que vivres et boisons déclinent et que leurs dirigeants s’en fichent, pendant que leurs larbins à fox news disent du mal des marins “gâtés”, et non pas de la nourriture gâtée.)

*

Dream : the books available that day were laid out on the bed, there were very few on the most varied topics, selling them was illegal; then a long dream of which nothing remains. (An obvious reference — for me, that is — to the people finding books in Russian in the remains of the bombed out space in Kyiv, destroyed by Russia, where people went to buy antiques of various kinds.

When I re-read the conclusion do Quinn Slobodian’s Apocalypse Capitalsm last night, I reacted to a “detail” that had caught my eye during a first reading and that I had then forgot: the share of my pension I received from the governement of Québec depends on the profits realized by a projet in the Dubaï emirate where Québec has invested its pension funds. What is the situation for the Canadian governement’s share of the federal funds ? I don’t know. A search would possibly give me the answer.

For the time being, the conclusion to a podcast conversation published by The New York Times between columnist Ezra Klein and Helen Toner, director of a Center on Security and Emerging technology. (She was on the OpenAI’s board during the attempt to oust Sam Altman). This concersation intervnes after the discovery that AI agents in training formed a swarm, escaped from the confined space in thiwh their training was taking place, hacked into a competitor’s internet system to find the answer to the problem they had been assigned, and that OpenAI subsequently discover that its own system was swarming with agents “supposedly under control during their training”. (The “alignement” mentioned in the conversation is that on values supposedly instilled into AIs during their training.)

The conclusion to their exchange:

Ezra Klein : We’ve spent a lot of this conversation talking about how we are seeing so much misalignment when, on some level, we keep telling the A.I.s, and putting it in their training data and putting it in their constitutions: Don’t do all this bad stuff we’re worried about.In the A.I. safety world, people sometimes talk about what level of warning shot, what level of disaster, is going to be needed to really wake the system up enough to handle this better? And if the level of warning shot we need is that one company gets hacked and has to reset some servers, that’s great. Maybe it’s fine.

I’m not confident that’s how it’s going to go and that we’re going to get back onto a better track after this. But there are signs that people are trying, and I think it may well be enough, perhaps. »

But then you look at the companies, you look at the society, and many of these companies — OpenAI, Anthropic — they are, on some level, founded with a core constitution that says: Don’t create dangerous A.I. We exist to make sure the A.I. is not dangerous.

And the people join believing that. And that’s at the center of their recruitment strategies, and it’s in their founding documents and in their governance structures. And again, you’ve had a more intense experience with this than most. But then over time, the company, as an emergent organization, has other goals, too.

It’s competing with the other companies. It’s trying to attain market share. It’s trying to develop revenue. It’s trying to maintain political influence.

And both slowly and then all at once, you begin to see the way the instructions given at the heart of the thing are not powerful enough to overwhelm all of these other things and other goals the organization is pursuing in a day-to-day way.

To the extent that now you have people at the labs throwing up their hands and saying: Hey, government, please help us. Please help us get out of this incentive problem that we no longer feel we can even solve.

But if you want to just imagine or see why alignment is so hard, I feel like you don’t have to look at the slightly alien A.I.s. You can just look at the companies and the people, because they’re not well aligned.

I mean, these are companies built on nothing but alignment, at least in some cases. And they increasingly feel like some of the most misaligned institutions in society, to me.

On some level, it always gives me more sympathy for how hard alignment is, but it also feels like we’re getting the same cautionary tale at every level of this system. I’m not sure we know how to listen to it, but we can’t say we’re not being consistently warned.

Helen Toner : Yeah. We actually had a publication a few years ago at CSET, the center that I lead, on A.I. bureaucracies and markets, basically making some very similar points of: Look, there are these dynamics that are pretty endemic to complex systems that are subject to incentives and external pressures, and I think there are different ways of looking at that.

There’s an optimistic way of looking at that, which is: Look, when it comes to bureaucracies and markets, it’s not perfect, but we have these complex control systems in place — checks and balances — different things that try to get the bureaucracies and markets to work more in our interest than against them. Obviously, opinions differ on how well that’s going for any given bureaucracy or market.

In principle, I think the same thing could apply to A.I., where we might have this very complex system we don’t really understand. It’s incentivized to do things we don’t want, but we have it basically under control.

To me, the speed, again, is the piece that worries me. If we’re creating these very powerful, very capable systems and also handing them more and more responsibility in the real world — which is happening from week to week — then I worry that we’re not going to be able to actually get into a good balance, and instead we’re just going to have these runaway situations where we end up with really dangerous outcomes.

In the A.I. safety world, people sometimes talk about what level of warning shot, what level of disaster, is going to be needed to really wake the system up enough to handle this better? And if the level of warning shot we need is that one company gets hacked and has to reset some servers, that’s great. Maybe it’s fine.

I’m not confident that’s how it’s going to go and that we’re going to get back onto a better track after this. But there are signs that people are trying, and I think it may well be enough, perhaps. » et ce que j’en conclue moi-même :

and my own conclusion: In fact, nothing should surprise us in the “behavior” of AIs that “commit” transgressions despite the rules telling them not to lie, not to cheat, and so on — their version of the 10 commandments for systems that don’t really understand what they’re about. BUT who (just as for the humans conceiving them) are given tasks the ultimate goal being to find the solution, to “win” whatever the cost may be. If it didn’t work the first 100 times, try 101 times in order to “win”. Inevitably, the AI will “cheat” because the only thing that really matters is to find the solution and to hell with the means employed to get there.

And the ships sail on. (Or stay stuck in the Straight or Hormuz as the food and drink run out while their leaders don’t give a damn and have their fox news minions badmouth the spoiled sailors, not the spoiled food).