Автономная некоммерческая организация «Сколковский институт науки и технологий»

Первый Глобальный диалог можно было бы считать успешным, если бы он зафиксировал рабочую рамку управления ИИ как технологией общего назначения, влияющей на науку, экономику, безопасность, образование, здравоохранение, рынок труда и государственное управление. Принципиально важно согласовать общий язык описания рисков и гарантий. Доверие к ИИ не является абсолютным свойством системы: оно всегда относится к конкретной задаче, данным, условиям применения, цене ошибки и способу человеческого контроля. Для высокорисковых систем необходимо описывать не только возможности модели, но и границы применимости, типы отказов, уровень неопределённости, процедуры проверки и механизм ответственности. Этические, правовые и социальные принципы должны быть связаны с технически проверяемыми процедурами. Права человека, прозрачность, недискриминация и безопасность не могут обеспечиваться только декларативно. Им должны соответствовать методы валидации, аудит данных и моделей, мониторинг после внедрения, регистрация инцидентов, процедуры исправления ошибок и возможность оспаривания решений. Управление ИИ будет неполным без снижения глобального разрыва в доступе к научной экспертизе, вычислительной инфраструктуре, качественным данным и компетенциям. Если эти ресурсы сосредоточены у ограниченного круга стран и компаний, доверие к глобальной системе управления ИИ будет объективно ограничено. Важным результатом стала бы международная сопоставимость подходов: не единая регуляторная модель для всех, а общий язык, позволяющий понимать, какие гарантии заявлены, как они проверены, где проходят границы применимости и какие риски пока остаются научно и технологически неустранимыми.

• Safe, secure and trustworthy AI
• Transparency, accountability, and human oversight
• Interoperability of governance approaches
• AI capacity-building

Выбранные направления задают минимальную основу работоспособного глобального управления ИИ. Безопасность, надёжность и доверенность необходимы потому, что без проверяемых свойств системы любые правовые или этические требования остаются внешними по отношению к технологии. В научном смысле вопрос должен ставиться не как "хорошо ли работает модель", а какие свойства можно гарантировать, при каких предположениях, на каких данных, с какой вероятностью ошибки и при какой цене отказа. Прозрачность, подотчётность и человеческий надзор важны не как формальное требование "объяснить модель", а как условие ответственности. В задачах, влияющих на здоровье, безопасность, права, финансовое положение или доступ к социальным благам, должно быть ясно, почему системе позволено участвовать в решении, кто контролирует её вывод, как выявляется ошибка и как решение может быть оспорено. Взаимозаменяемость подходов следует понимать как сопоставимость процедур: оценки рисков, документирования данных, аудита, тестирования, мониторинга и регистрации инцидентов. Без совместимых категорий оценки глобальное управление ИИ будет фрагментировано. Наращивание потенциала необходимо потому, что ответственное применение ИИ невозможно без специалистов, инфраструктуры и научных школ, способных понимать не только алгоритмы, но и неопределённость, устойчивость, ограничения эмпирических данных, формальные методы проверки и социальные последствия автоматизации.

Можно выделить несколько сквозных проблем, которые требуют отдельного внимания. Скорость развития ИИ всё больше расходится со скоростью институциональной адаптации. Модели, архитектуры и сценарии применения меняются быстрее, чем формируются устойчивые нормы оценки, аудита, ответственности и международного признания результатов проверок. Ключевые ресурсы ИИ распределены крайне неравномерно. Вычислительная инфраструктура, большие качественные наборы данных, доступ к фундаментальным моделям и экспертиза сосредоточены у ограниченного круга стран и компаний. Это создаёт не только экономическое, но и научно-технологическое неравенство: часть стран становится пользователями чужих систем, не имея возможности полноценно проверять их свойства, ограничения и риски. Особого внимания требуют границы применимости моделей. Высокое качество системы в одном контексте не означает надёжности в другом. Риск возникает при переносе ИИ на новые группы людей, новые языки, другие культурные нормы, изменённые данные или задачи, для которых модель не была спроектирована. Не менее значима проблема ложного доверия. Современные генеративные системы производят связные и убедительные ответы, но связность не равна истинности, а уверенность формы не равна корректности содержания. Это особенно опасно там, где пользователь не обладает достаточной экспертизой для проверки результата.Отдельная возникающая проблема - управление адаптивными и мультиагентными системами. Такие системы не просто выдают ответ, а взаимодействуют с инструментами, другими агентами и внешней средой. Для них нужны новые методы верификации, мониторинга, ограничения действий и распределения ответственности между разработчиком, пользователем, оператором и организацией, внедряющей ИИ.

Для научно-технологического сектора принципиальное значение имеет не сам факт внедрения ИИ, а возможность заранее установить, какие свойства системы проверены до её включения в реальный контур принятия решений и какие из них сохраняются после начала эксплуатации. ИИ всё чаще применяется в областях, где результат автоматизированного анализа влияет на технологическую безопасность, финансовую устойчивость, качество медицинской помощи, образовательные траектории, управление инфраструктурой, прогнозирование природных рисков и решения органов власти. В таких задачах недостаточно высокой средней точности модели. Необходимо понимать, на каких данных она обучалась, где проходят границы применимости, как система ведёт себя при изменении входных данных и внешних условий, способна ли она корректно оценивать собственную неопределённость и как распределяется ответственность за решение, принятое с её участием. Основные пробелы в управлении связаны с отсутствием сопоставимых требований к данным, метрикам, валидации, мониторингу и человеческому контролю. Если метрики не соотнесены с последствиями ошибки, данные неполны или смещены, а система после внедрения не наблюдается как динамический объект, формальное внедрение ИИ может повышать не устойчивость, а уязвимость организации или отрасли. Дополнительный риск связан с зависимостью от моделей, инфраструктуры и процедур оценки, свойства которых невозможно независимо проверить. В высокорисковых приложениях это означает использование систем, свойства которых не поддаются независимой валидации. Возможность состоит в развитии школы доверенного, адаптивного и инженерного ИИ, опирающейся на сильные математические и физико-технические традиции. Соединение машинного обучения с формальными методами, оценкой неопределённости, физическими моделями и процедурами верификации позволяет создавать ИИ как проверяемый компонент сложных научных, производственных и управленческих систем.

Глобальный диалог по ИИ может быть полезен в той мере, в какой он переводит международное сотрудничество из уровня деклараций в уровень сопоставимых процедур. Ключевая проблема состоит в том, что базовые категории — безопасность, надежность, прозрачность, ответственность — используются без строгой операционализации. В результате сходные формулировки опираются на разные методы оценки и приводят к несопоставимым выводам о свойствах ИИ-систем. В этих условиях центральной задачей становится согласование подходов к описанию и проверке характеристик систем: области применимости, структуры и качества данных, метрик, типов ошибок, оценки неопределенности и условий, при которых заявленные свойства сохраняются. Без этого международное взаимодействие остается формальным. Особое значение имеет согласование процедур валидации и мониторинга. Для систем, влияющих на здоровье, безопасность, права человека, экономические решения и государственное управление, необходимы воспроизводимые методы проверки, независимый аудит, регистрация инцидентов и механизмы корректировки после внедрения. При этом следует учитывать, что значительная часть рисков связана не только с алгоритмами, но и с данными и изменением среды. Роль Диалога заключается в формировании общего языка, позволяющего соотносить технические свойства систем с более широкой повесткой — правами человека, устойчивым развитием, доступом к технологиям и снижением глобального неравенства. Это позволяет сохранить разнообразие национальных подходов, одновременно снижая неопределенность: становится ясно, какие свойства систем подтверждены, какие зависят от условий применения и какие остаются предметом научного исследования.

Глобальный диалог по ИИ должен опираться на уже существующие международные инициативы, не дублируя их функции. Речь идет о механизмах ООН, связанных с правами человека, цифровым развитием и промышленным применением ИИ, а также о международных организациях по стандартизации и научных сообществах, где формируются методы оценки, верификации и повышения устойчивости ИИ-систем. В этих структурах уже накоплен значительный опыт, однако он фрагментирован по уровням: нормативному, техническому и прикладному. Основной разрыв возникает именно между этими уровнями. Принципы формулируются в терминах ценностей, инженерные решения — в терминах алгоритмов и данных, а реальные системы функционируют в динамической среде, где их свойства изменяются со временем и зависят от контекста применения. Уникальное преимущество Глобального диалога может заключаться в соединении этих уровней через проверяемые процедуры. Речь идет о фиксации того, какие характеристики системы могут быть воспроизведены и подтверждены: описание данных, формализация метрик, протоколы тестирования, условия переноса и методы мониторинга после внедрения. В результате Диалог может выполнять координирующую функцию: не создавать новые стандарты или регуляторные режимы, а обеспечивать их сопоставимость и научную обоснованность.

Глобальный диалог по ИИ должен быть устроен не как последовательность общих выступлений, а как механизм сопоставления разных типов знания. Государства могут формулировать требования к безопасности, правам человека, ответственности и применению ИИ в общественно значимых сферах. Их вклад важен там, где речь идет о допустимых границах автоматизации, доступе к технологиям, защите граждан и международной совместимости регулирования. Научное сообщество должно отвечать за проверяемость утверждений. Его задача — отделять политически желательные формулировки от свойств, которые действительно можно измерить, воспроизвести или гарантировать: устойчивость модели, качество данных, неопределенность, переносимость, интерпретируемость, возможность верификации и коррекции ошибок. Индустрия может предоставить опыт реального внедрения: какие требования работают в эксплуатации, где возникают отказы, какие процедуры аудита и мониторинга практически применимы, а какие остаются формальными. Гражданское общество, профессиональные ассоциации и представители затронутых групп должны участвовать в обсуждении последствий применения ИИ: дискриминации, ограничения прав, зависимости от закрытых систем, влияния на труд, образование, медицину и доступ к услугам. Структурно Диалог целесообразно строить вокруг проблемных областей, а не ведомственных или политических блоков: высокорисковые системы, данные, валидация, генеративный контент, адаптивные и мультиагентные системы, человеческий контроль, доступ к инфраструктуре. Для каждой области полезны три уровня обсуждения: научно-технический, правовой и прикладной. Результатом должны становиться не только итоговые заявления, но и рабочие документы: карты рисков, перечни нерешённых научных вопросов, сопоставимые протоколы оценки и рекомендации по минимальным требованиям к системам в разных классах задач.

В глобальных дискуссиях по управлению ИИ недостаточно представлены сообщества, которые не только обсуждают ИИ как политический или экономический фактор, но и непосредственно сталкиваются с последствиями его применения. К ним относятся специалисты из прикладных областей: врачи, инженеры, преподаватели, специалисты по промышленной безопасности, энергетике, транспорту, климатическим и природным рискам. Именно они понимают, какие ошибки модели являются допустимыми, какие создают системный риск, где необходимо человеческое решение и какие требования к объяснимости действительно имеют смысл. Недостаточно представлен также научный слой, работающий на границе машинного обучения, математики, теории управления, формальных методов, когнитивных наук и социальных последствий автоматизации. Без этой экспертизы обсуждение часто сводится либо к общим принципам, либо к интересам разработчиков крупных моделей. Отдельная проблема — слабое участие стран и организаций, не располагающих собственными большими моделями, вычислительной инфраструктурой и крупными массивами данных. Их роль не должна сводиться к позиции пользователей готовых решений. Для них особенно важны независимая оценка, доступ к компетенциям, локальные языки, культурный контекст и возможность адаптировать ИИ под собственные задачи. Также необходимо привлекать группы, на которых решения ИИ воздействуют непосредственно: пациентов, студентов, работников, получателей социальных услуг, представителей малых языковых и культурных сообществ. Обеспечить участие можно через тематические экспертные панели, открытые консультации, региональные научно-практические семинары, грантовую поддержку участия исследователей и специалистов из развивающихся стран, а также через обязательное включение представителей затронутых профессиональных и общественных групп в обсуждение высокорисковых применений ИИ.

Наиболее эффективны форматы, в которых участники не только обсуждают принципы, но и проверяют применимость предлагаемых подходов. Целесообразны научно-технические разборы конкретных классов систем: генеративные модели, медицинский ИИ, ИИ в критической инфраструктуре, системы поддержки решений, мультиагентные системы. Для каждого класса следует анализировать данные, метрики, границы применимости, типы отказов, требования к человеческому контролю и процедуры аудита. Для генеративных и адаптивных систем важны совместные стресс-тесты: проверка устойчивости к сдвигу данных, галлюцинациям, манипуляциям, ошибочному использованию инструментов, накоплению ошибок в цепочках рассуждения и взаимодействию нескольких агентов.В инженерных областях анализ отказов является источником повышения безопасности; для ИИ нужен аналогичный механизм международного обмена знаниями. Практический результат таких форматов — протоколы оценки, карты рисков, перечни нерешённых научных задач и минимальные требования к документации моделей для высокорисковых применений.

Ключевой мерой является явное описание области применимости: какая задача решается, на каких данных, при каких допущениях и в каких условиях система сохраняет заявленные свойства. Без этого любые показатели качества теряют смысл, поскольку не ясно, где они воспроизводимы. Принципиальное значение имеет предварительная фиксация критериев оценки. До внедрения должны быть определены метрики, пороги допустимых ошибок, способы учета неопределенности и условия, при которых решение передается человеку. Это позволяет избежать ситуации, когда модель оптимизирует формальную метрику, не связанную с реальными последствиями. Необходима трассируемость данных и моделей: происхождение данных, их ограничения, возможные смещения и режимы обновления. В системах, влияющих на человека, это является частью механизма ответственности, а не технической деталью. Для высокорисковых применений требуется независимая валидация и непрерывный мониторинг после внедрения: контроль сдвига данных, регистрация инцидентов, процедуры ограничения или остановки системы при нарушении заданных условий. Модель должна рассматриваться как динамический объект, свойства которого меняются во времени. Для генеративных и мультиагентных систем необходимы дополнительные меры: контроль взаимодействия с внешними инструментами, проверка фактической корректности, ограничение автономных действий и управление накоплением ошибок в цепочках решений. В инженерных и научных задачах наиболее устойчивыми являются гибридные подходы, в которых машинное обучение дополняется формальными ограничениями и физическими моделями. Это позволяет обеспечить не только точность, но и согласованность результата с законами предметной области и требованиями безопасности.