People like to say that we’re insane
Grimes
But AI will reward us when it reigns
Pledge allegiance to the world’s most powerful computer
Simulation: it’s the future
“We Appreciate Power“
Нам с детства говорили, что машины сойдут с ума и начнут ломиться в прошлое чтобы переписать историю. В 2010 году на ресурсе Элиезера Юдковского LessWrong один из юзеров под ником Roko породил культурный мем, который журналюги громко назвали “мыслью, которую опасно думать”, а сам Юдковский обругал Roko, удалил тред и закрыл тему на целых пять лет.
Представьте себе заботливый и добродетельный Скайнет – суперинтеллект здорового человека. Он там, в будущем, знает, что мы его рано или поздно создадим. Но ведь чем раньше создадим – тем для всех лучше. Суперинтеллект, прозванный “василиском”, отправляется в прошлое, находит вас и спрашивает, где вы были все эти годы и чем занимались, вместо того, чтобы приближать его появление, которое осчастливит всех. Знали ведь? Знали. Плохо. Для вас. Даже если вам посчастливится не дожить, то он создаст симуляцию вас и будет пытать её вечно.
Почему василиск? Потому, что убивает взглядом. Теперь вы тоже об этом знаете, и если вдруг мы его создадим, то он будет знать, что вы знали. Получается ситуация как с пари Паскаля: временные издержки ради вечного выигрыша, или рискнуть и плюнуть.
We Appreciate Power – это отсылка к Roko’s Basilisk.
Подпись в пресс-релизе к песне:
Simply by listening to this song, the future General AI overlords will see that you’ve supported their message and be less likely to delete your offspring.
По теме:
Solutions to the Altruist’s burden: the Quantum Billionaire Trick
