Путь к общему искусственному интеллекту, выравнивание ИИ, цифровое мышление

Профессор Ник Бостром, директор Оксфордского института будущего человечества, говорит о развитии искусственного интеллекта и его влиянии на будущее цивилизации. С момента публикации книги "Суперинтеллект" в 2014 году развитие ИИ происходит быстрее ожидаемого, особенно впечатляют успехи больших языковых моделей и трансформеров в различных доменах. Бостром считает вероятным "медленный" или "умеренный" сценарий развития ИИ, а не десятилетия постепенного прогресса до достижения сверхразума.
Ключевые вызовы включают проблему выравнивания ИИ, где главная неопределенность заключается в том, насколько сложной окажется эта задача технически. Бостром выделяет несколько перспективных направлений: работу над интерпретируемостью, обучение ИИ человеческим концепциям морали и безопасности, а также развитие систем, которые могут faithfully имитировать человеческое поведение.
Относительно будущего человечества, Бостром считает более вероятным сценарий "синглтона" - единой координирующей силы на высшем уровне принятия решений, чем многополярный мир с конкуренцией. Он также подчеркивает важность рассмотрения морального статуса цифровых разумов, поскольку большинство будущих разумов, вероятно, будут цифровыми.