Стряскаща статия в Атлантик. Цитирам само откъс, но трябва да се прочете цялата.

Превод на Гугъл:

"„Първо, мисля, че независимо дали шансът за екзистенциално бедствие е 0,5 процента или 50 процента, все пак трябва да го приемем сериозно“, каза Алтман. „Нямам точна цифра, но съм по-близо до 0,5, отколкото до 50.“ Що се отнася до това как може да се случи, той изглежда най-притеснен от това, че изкуственият интелект става доста добър в проектирането и производството на патогени и с основание: през юни изкуствен интелект от Масачузетския технологичен институт предложи четири вируса, които биха могли да предизвикат пандемия, след което посочи специфични изследвания върху генетични мутации, които биха могли да ги накарат да разкъсат града по- бързо . Приблизително по същото време група химици свързаха подобен AI директно с роботизиран химически синтезатор и той сам проектира и синтезира молекула.

Алтман се тревожи, че някой неправилно подреден бъдещ модел ще завърти патоген, който се разпространява бързо, инкубира незабелязано в продължение на седмици и убива половината от жертвите си. Той се притеснява, че изкуственият интелект може един ден да хакне и системи за ядрени оръжия. „Има много неща“, каза той, и това са само онези, които можем да си представим.

„Мога да отида да живея в гората за дълго време“, каза Алтман, но ако най-лошото възможно бъдеще на ИИ се случи, „никоя противогаз не помага на никого.“

Алтман ми каза, че не „вижда дългосрочен щастлив път“ за човечеството без нещо като Международната агенция за атомна енергия за глобален надзор на ИИ. В Сан Франциско Агарвал предложи създаването на специален лиценз за работа с всеки GPU клъстер, достатъчно голям, за да обучи авангарден AI, заедно със задължително докладване на инциденти, когато AI направи нещо необичайно. Други експерти предложиха немрежов превключвател „Изключено“ за всеки високоспособен ИИ; на ръба, някои дори предполагат , че военните трябва да са готови да извършват въздушни удари по суперкомпютри в случай на неспазване. Sutskever смята, че в крайна сметка ще искаме да наблюдаваме най-големите, най-мощни AI непрекъснато и завинаги, използвайки екип от по-малки AIs надзиратели."

*От фейсбук!