Кратко:

Я не против использования LLM в любых областях, но настаиваю: они НЕ должны полностью заменять человеческий разум.

• • •

Я давно хочу здесь высказаться о больших языковых моделях. К лету 2025 года буквы #AI звучат, кажется, на всех презентациях любых компаний, #reuters отдельной почтовой рассылкой информирует о последних новостях в сфере «ИИ», а #gigachat анализирует вопросы граждан для прямой линии с Владимиром Путиным.

Мне хотелось бы представить своё виденье последствий столь активного внедрения «ИИ» и указать на риски, которые некоторыми людьми игнорируются полностью.

Определения, которые я использую в этом эссе далее:

• ИИ — ChatGPT, GigaChat, DeepSeek, Grok, Gemini и другие мультимодальные сервисы.
• LLM — большие языковые модели; это может быть ИИ, если речь идёт о генерации текста.
• Промпт — запрос, передаваемый в LLM.

Учёба.

Очевидной первой жертвой уже стал образовательный процесс. Если ранее написать курсовую работу самому, не разобравшись хотя бы немного в её теме, было едва ли возможно (написание другими не рассматривается), то теперь ИИ стал отличным способом не напрягать голову и даже пройти антиплагиат. Такого происходить не должно. Да, возможно, грантодатели и рады увидеть 20 научных работ по цене одной, а работодатели рады любым оптимизациям, приводящим к повышению прибыли. Но здесь есть риск — мы доверяемся ИИ вместо того, чтобы знать что-то самим. Как итог, в случае ошибок ИИ все «оптимизировавшие учебный процесс» студенты не смогут их исправить. Передача учебных задач ИИ — серьёзная проблема, которая может привести к очень негативным последствиям. Частично от регресса спасает то, что не все люди полностью делегировали свои интеллектуальные задачи и многим (но не большинству) действительно важно и интересно получать новые знания и навыки.

Со студентами всё относительно понятно — передача заданий в LLM вредит, в первую очередь, им самим. Я хочу всё-таки анонимно рассказать один реальный пример (меня в этом примере нет):

Некий студент уже 2 года использует платную версию ChatGPT для почти всех заданий, делая промпты достаточно умело — всё это время он даже стипендию получает. Его одногруппница не умеет создавать «хорошие» промпты и вообще достаточно средне справляется с учёбой, имеет плохие технические навыки. Упомянутый студент имеет нормальные технические навыки, иногда насмехается над этой студенткой.

Об этой истории я вспомнил не только по моральным причинам. Как-то раз этот студент делал задание, которое состояло в анализе научной статьи из списка часто цитируемых научных статей (нам дали PDF-файлы). ChatGPT подготовил ему презентацию, в которой рассказал, как борятся с коррупцией в разных странах.

Я процитирую один слайд из его презентации, предупреждаю, он сгенерирован ChatGPT, я не несу ответственности за содержание цитируемого:

ЕС: • Независимые суды • Права человека • Верховенство права Россия: • Контролируемые суды • Государственные репрессии • Власть лидера

Я не стал ничего говорить, этот слайд не вызвал каких-либо вопросов у преподавателя (всё-таки задание было пересказать чужую статью, а не высказывать мнение), никто не попросил каких-либо уточнений. Не менее 60% выступления того студента Россия сравнивалась с Европейским Союзом по вопросам антикоррупционной борьбы.

Но факт состоит в том, что в той самой статье где-то в начале два абзаца посвящены странам ОЭСР и Польше, Европейский Союз в этой статье затронут довольно слабо. После тех двух абзацев автор подробно сравнивает антикоррупционную борьбу в России, Беларуси, Кыргызстане, Узбекистане и Армении, делая акцент на сравнении России и стран СНГ. Разумеется, ничего про репрессии или власть лидера в России в статье не было.

Иными словами, ChatGPT при составлении презентации по антикоррупционной тематике вместо того, чтобы полностью положиться на предоставленный ему файл, добавил какой-то свой материал (который едва ли можно назвать чем-то объективным — это просто не соответствует заданию и теме). Более того, #ChatGPT посвятил сравнению России и ЕС 60% в пересказе вместо 3..5% в оригинальной статье.

Этот яркий пример будет тяжело воспроизвести, но я хочу просто зафиксировать, что даже при адекватном запросе LLM могут генерировать политизированный или совершенно не подходящий ответ.

Что же преподаватели?

Они слышали про ИИ, но многие ещё не научились распознавать его генерации в работах и докладах студентов.

Одна преподаватель требовала распечатывать доклады, либо показывать ей, что человек читает из документа, а не с сайта. Тот же самый студент как-то раз принёс доклад на 14 или 20 листов…. В распечатке был очевидный Markdown — с тегами, звёздочками и прочим. Это приняли.

Зато когда я делал один доклад для одной преподавательницы (она большая начальница в одном ведомстве, причём, заслуженно, она великолепно разбирается в своём деле), я решил проанализировать данные арбитражных судов, использовал все доступные инструменты поиска, создал круговую диаграмму, выписал отдельные дела с кратким объяснением, почему… И мне тогда сказали, что это всё сделано как будто ИИ, потому что никакого глубокого разбирательства (мне тогда показалось, что анализ всего опыта важнее отдельных прецедентов; был неправ, отдельные прецеденты важнее).

Но на самом деле LLM способны изобразить очень глубокое разбирательство и нафантазировать много иллюстраций. К счастью, та преподаватель знала практически всю практику (и судебную, и несудебную) по своей теме, при этом требовала от всех наиболее актуальных данных. Поэтому конкретно у неё использование ИИ «прокатывало» лишь на общих темах с добавлением чего-то своего актуального.

И всё-таки когда твою собственную работу подозревают в искусственном происхождении… Это не только обидно, но и заставляет задуматься.

Океан ситуативного недоверия

Бабушки, бегемоты и летающие бегемоты над Банком России — безобидные и забавные видео. К сожалению, те же технологии могут использоваться со злым умыслом. Я ранее писал о том, что влияние СМИ на формирование мировоззрения огромно. В случае с ИИ влияние, кажется, может оказаться похожим, а рисков может быть больше.

У мошенников (особенно в случае дальнейшего развития дипфейков, которое вряд ли возможно остановить) появятся новые возможности для манипуляций, уловок и обманов.

Я не раскрою здесь следующие темы:

• Психологические последствия от частого общения с LLM — мои личные наблюдения смешанные, бывают позитивные и негативные моменты, а мои познания в психологии ограничены одним семестром предмета, десятками часов психологических консультаций и несколькими книжками. Вряд ли я оценю этот аспект адекватно.
• Насколько владеющие ИИ компании могут влиять на своих пользователей — моих технических знаний недостаточно, чтобы оценить, способна ли условная OpenAI целенаправленно влиять на отдельного пользователя или группу пользователей. Может, да, может, нет.
• Моральные, этические, философские стороны применения ИИ.
• Почему генерируемая информация часто приемлема, а иногда совсем неверна — я не знаю, не факт, что кто-то знает.
• Перспективы создания общего ИИ — я не знаю, может, кто-то знает.

Этот раздел я назвал океаном ситуативного недоверия. Всё потому, что теперь люди, с одной стороны, могут усомниться в любой информации из Интернета. Особенно если она не понравилась и структурированно оформлена. С другой стороны, если автор комментария пишет приятные и одобряемые читателем вещи — будет ли читатель столь же насторожен?

Последствия

Я жду, когда ИИ-стартапы будут закрываться. В лучшем случае закроется немного мелких стартапов, в худшем случае закрытия и кризис будут массовыми, повторятся истории Yahoo/rambler (это всё не инвестиционные рекоммендации btw). За новостями я слежу слабо, может, уже кто-то закрывался, но мне кажется, что в среднесрочной перспективе (3..5 лет) должно появиться что-то качественно новое в сфере ИИ, чтобы вся эта история не начала стагнировать. Прогноз настолько общий и неопределённый из-за того, что я очень слабо вовлечён в новости ИИ, это далеко не самая близкая мне тема.

Последствия автоматизации экономики вообще противоречивые. Представьте, что Вы живёте в чистом капитализме в начале XIX века — Вам платят за работу, на деньги Вы покупаете то, что можете Вам нужно. Другие тоже работают, им тоже платят, они тоже покупают. А теперь представьте, что новости пишет ИИ, на заводах работают роботы, сельское хозяйство преимущественно автоматизировано, проекты все делают роботы, кассы без людей, процесс доставки товаров в теории тоже возможно автоматизировать.

В таких условиях понятно, почему трудовая теория стоимости вполне себе работает — отсутствие вложений человеческого труда = отсутствие стоимости продукта. Понятно, что деньги найти можно, можно нарастить сферу услуг, а роботизация российских производств почти отсутствует в сравнении с Южной Кореей.

Соответственно, противоречие — замена людей на ИИ и роботов в моменте является конкурентным преимуществом, но в долгосрочной перспективе приводит к падению нормы прибыли (ведь конкуренты тоже внедряют те же технологии).

Есть у ИИ немало плюсов в обычной жизни — например, это достаточно хороший переводчик (в сравнении с Google и Яндекс Переводчиками даже, тем более в сравнении с FOSS-переводчиками), применений у LLM и других ИИ много. Я не упоминал о них, поскольку, они казались мне очевидными. На всякий случай теперь упомянул, что о плюсах я тоже помню.

Ну и самое печальное последствие внедрения ИИ — это очередное ускорительство. Весьма вероятно, те, кто использует ИИ, часто будут «продуктивнее» тех, кто делает всё самостоятельно. Будет очень грустно, если не использующие ИИ люди «не впишутся в рынок». Я, например, не готов довериться аудиторскому заключению, которое преимущественно опирается на анализ ИИ. Особенно если это был аудит компании-разработчика ИИ.

———

И всё-таки. Экономика объективна, она всё переживёт. А вот за людей, которые все задачи оставляют ИИ (особенно — облачному), мне страшно. Конфиденциальность, критичность мышления, умения… Они помогают. Если нам придётся жить после тотального уничтожения всего и вся, возможно, у нас уже не будет возможностей запустить где-либо LLM. В ряде мест в обычной жизни ИИ тоже не поможет. Да и страшно приходить на приём ко врачу, который спрашивает у ИИ, что с пациентом.

———

#размышления #искуственный_интеллект #общество

@zvezdochetia Перспективы, конечно, страшные. Особенно для миллионов людей, которые могут потерять работу.

Но, как и в другие похожие периоды, когда производство ускорялось, людям просто надо становиться умнее.
Нейронки наверное никогда не перестанут галлюцинировать (как и люди), и всегда нужны будут специалисты, которые могут распознать чушь в сгенерированном выхлопе ИИ.

#AI #ИИ

@zvezdochetia
Все написанное было справедливо и раньше, до ИИ. Новости пишет непонятно кто и зачем, реферат называют плагиатом, студенты копи-пастят что попало и успешно сдают.

Так что ИИ принципиально ничего не меняет.

Самая большая проблема ИИ в том, что ИИ генерирует контент в очень больших масштабах и очень дешево.

При этом качество, зачастую, оставляет желать лучшего (с точки зрения специалиста). Но для не-специалиста качество просто поражает воображение.

И пока ИИ очень хорошо притворяет "начинающим специалистом", реальным начинающим специалистам будет очень сложно вырасти и войти в свою сферу.

P.S.

на заводах работают роботы, сельское хозяйство преимущественно автоматизировано

Реальность такова, что ИИ "не тянет" все, что связано с физическим миром. И не потому, что не может или не умеет - а потому, что человек дешевле выходит, чем роботы (и их обслуживание).

@max последнее — больше про отдалённую перспективу.

А в учёбе принципиально поменялось то, что ИИ широко доступен (даже бесплатно), при этом может создать реферат даже по вопросу, который не рассматривался ранее. Например, может решить какую-то комплексную задачу, которой вообще нет в сети (последние модели даже могут правильно интегралы брать в тех задачах, в которых “двоечник” даже не догадается, что интегралы в принципе нужны).

@zvezdochetia
Последнее - скорее близкая перспектива в том плане, что ИИ будет контролировать исполнителя-человека. И, подозреваю, рабство тогда покажется цветочками - будет контролироваться каждое движение и каждая минута (а то и секунда) времени.

Но вот в полную автоматизацию сельского хозяйства я не верю )

ИИ широко доступен (даже бесплатно), при этом может создать реферат даже по вопросу, который не рассматривался ранее.

Много ли таких задач в образовании? В крайнем случае можно и на заказ реферат сделать.

Я согласен, что ИИ сильно упростил это дело. И преподавателю сложнее определять плагиат - это не те несколько вариантов, что ему приносят из года в год.

Но принципиально ситуация не поменялась. Разве что "халявщиков" может стать больше из-за того, что желающие учиться самостоятельно будут пользоваться LLM даже не понимая, что этим они себе же портят процесс обучения.

Ну а обучение - оно и 20 лет назад скорее было в виде "погоня за корочкой", а не знаниями (за редким исключением).

@max я не говорил, что автоматизация с/х вытеснит человека. Но она в любом случае так или иначе происходит, техники, оросительных установок, всё больше.

Задач таких много, по крайней мере у нас. Когда требуется проанализировать отчётность организации, например, — этих отчётностей миллионы на ресурсе БФО. Раньше требовалось как минимум выучить базовые формулы, по которым проводится вертикальный и горизонтальный анализ, они очень простые, и всё-таки их нужно было знать. Теперь же ИИ может не только провести простой анализ отчётности, но и вывести её в нужный формат.

Для меня это качественное различие, потому что некоторые студенты даже не знают, что они делают и сдают каждый день работы в Excel, ни разу не открыв хоть какой-то редактор таблиц.

Всё-таки раньше для тех, кто не знает совсем ничего, отчисление было сильно более близко, чем теперь.

@zvezdochetia

Когда требуется проанализировать отчётность организации ... Теперь же ИИ может не только провести простой анализ отчётности, но и вывести её в нужный формат.

Раньше просто брали подходящий отчет у соседа или старшекурсника. Повезет если по нужному предприятию или хотя бы в той же отрасли.

А потом - меняли название предприятия, правили год и сдавали... В лучшем случае пытались поиграть с цифрами для правдоподобности. Хотя обычно просто с оформлением игрались, чтобы не быть походим... На чем нещадно и палились )))

А сейчас - хотя бы реальный анализ происходит... Пускай и через ИИ...

Так что ИИ ничего принципиально не поменял. Разве что дотошного препода какого чуть проще водить за нос, если он про ИИ совсем не в курсе. Но и с ИИ преподаватель может просто спросить по материалу, если есть желание... И все халявщики, что раньше, что сейчас оказываются в пролете...

Так что принципиально ИИ ничего не поменял. Может в чем-то упростил, но "архив лаб за весь курс" уверен что и сейчас у многих есть, выступая главным источником информации в вопросах сдачи работ...