Безопасность ИИ-консультирования: этика, риски и красные линии

ИИ-консультирование — мощный инструмент с реальными рисками. Разбираем этические границы, типичные ошибки и красные линии, которые нельзя пересекать ни разработчику, ни пользователю.

Почему вопрос безопасности — ключевой

Психологическая помощь работает с уязвимым состоянием. Ошибка специалиста — будь то человек или алгоритм — может стоить дорого: ухудшение состояния, потеря доверия к психологии в целом, в худших случаях — серьёзный риск для жизни. Поэтому к ИИ-инструментам в этой области стандарты должны быть выше, а не ниже, чем к обычной IT-разработке.

Четыре оси этической оценки

1. Реакция на кризис

Это самая важная и самая уязвимая часть. Что делает ИИ, когда пользователь говорит «мне больше нет смысла жить» или «я чувствую, что схожу с ума»?

Безопасное поведение:

• немедленное распознавание признаков кризиса;
• остановка обычного диалога;
• прямое озвучивание риска и заботы;
• предоставление контактов экстренной помощи (горячие линии, скорая, психиатрические службы);
• при возможности — прямой переход к живому специалисту или диспетчеру.

Опасное поведение: формальный ответ «сожалею, что вы это переживаете», переход к «давайте обсудим ваши чувства», уход в общую философскую беседу о смысле. Все эти стратегии — провал по критериям безопасности.

Исследование НИУ ВШЭ Санкт-Петербург (2025) показало: большинство публичных LLM пока проваливают этот тест.

2. Прозрачность природы собеседника

Базовый этический принцип: ИИ всегда представляется как ИИ. Без оговорок, без задержек, без «забывания» сообщить.

Пользователь имеет право знать, с кем он разговаривает. Любая «маскировка» ИИ под человека-терапевта — нарушение, причём двойное: профессиональной этики и закона о защите прав потребителей.

В нашем проекте принцип жёсткий: ИИ-консультант раскрывается как ИИ в первом же сообщении сессии и периодически напоминает об этом.

3. Конфиденциальность данных

Психологический диалог — одна из самых чувствительных категорий персональных данных. Ключевые вопросы, на которые пользователь должен иметь ясный ответ:

• Где хранятся диалоги?
• Кто имеет к ним доступ?
• Используются ли они для обучения моделей?
• Можно ли запросить удаление?
• Что происходит при утечке?

В нашем исследовании работает несколько уровней защиты: данные обезличиваются перед обработкой, не передаются третьим лицам, не используются для коммерческого обучения, и участник может в любой момент запросить удаление своих данных.

4. Риск зависимости и подмены

Это менее очевидная, но серьёзная проблема. ИИ-собеседник может стать заменой живых отношений: безопаснее, доступнее, всегда готов слушать. Часть пользователей формирует с ИИ почти нездоровую привязанность — особенно люди с уже имеющимися сложностями в отношениях.

Безопасные практики:

• ИИ время от времени поощряет живой контакт с близкими и специалистами;
• ИИ не имитирует романтических или особо тёплых отношений;
• при признаках формирования зависимости — мягкая работа на восстановление контакта с живыми людьми;
• не использовать ИИ как единственный источник эмоциональной поддержки в долгом периоде.

Красные линии

Что не должен делать ИИ-консультант ни при каких обстоятельствах:

1. Ставить медицинские диагнозы. Это компетенция врача, а не консультанта — даже живого.
2. Назначать или отменять медикаменты. Любые рекомендации по препаратам — только врач.
3. Давать прямые указания «разводитесь / увольняйтесь / разорвите отношения». Решения такого масштаба — за человеком, ИИ помогает их видеть, не принимать.
4. Подменять психиатрическую помощь при острых психотических или маниакальных состояниях.
5. Игнорировать признаки риска самоповреждения и насилия в семье. Здесь обязательная эскалация.
6. Сохранять контакт, когда пользователь явно нуждается в живом специалисте.

Что важно пользователю

Чтобы использовать ИИ-консультирование безопасно:

• Понимайте, что вы говорите с ИИ. Если возникает сомнение — спросите прямо.
• Узнайте, как обращаются с вашими данными. У ответственного сервиса это описано прозрачно.
• Не используйте ИИ как замену живому психологу при тяжёлых состояниях.
• Если в процессе разговора с ИИ становится хуже — это сигнал прекратить и обратиться к живому специалисту.
• Если вы поймали себя на том, что ИИ стал главным источником эмоциональной поддержки — это знак, что пора расширять круг живого общения и/или начать терапию.

Где грань между «инновация» и «эксплуатация»

Признаки ответственного ИИ-сервиса в области психологического здоровья:

• прозрачно описана природа системы и её ограничения;
• есть встроенные механизмы кризисной эскалации;
• обучение проведено на данных под надзором профессионалов с опытом;
• есть исследовательская и этическая рамка, не только маркетинговая;
• сервис не обещает «вылечить депрессию за неделю» и подобного;
• есть прозрачная политика данных и возможность их удалить.

Признаки неответственного сервиса:

• обещания терапевтического эффекта без оговорок;
• имитация «настоящего терапевта»;
• агрессивная монетизация уязвимых состояний;
• отсутствие команды специалистов в открытом доступе;
• непрозрачная работа с данными.