Языковое GIGO

Большая доля текста в интернетах в наши дни сгенерирована машиной, точнее LLM. И при том в первом слове возможно ударение уже на первый слог, а не на последний.

Пока ещё эти LLM обучены на естественных текстах разных времён, написанных человеком. Текстов преимущественно хорошего качества, написанных людьми профессионально работающих с текстами. Раньше другие книги редко издавали, а любая статья в периодику проходила человеческую редактуру.

Новых человеческих текстов мало, сгенерированных языковыми моделями — много, даже книги сейчас такие печатаются. Учиться моделям не на чем и различить хороший текст от плохого машинного (пока что?) сложно. Получаем классическое GIGO: garbage in, garbage out. Текст вероятно будет вырождаться.

Человек тоже учится на том, что читает и слышит. Поэтому и новые человеческие тексты становятся другими. То же происходит и с голосом, музыкой, графикой, картинками и картинами, видео.

Похоже отчасти уже произошло с едой. Когда-то еда качественная и переработанная, фастфуд различались и человек их отличал. Состав и способы изготовления за полвека сильно изменились и то, что тогда считалось полуфабрикатом и эрзац-продуктом сейчас вошло в норму. Иногда эрзац именуется как «эко». Но и знающему человеку отличить сложно, только если делать химический анализ. Даже цельные продукты порой неотличимы по цвету, консистенции, вкусу от дешёвого заменителя. Большая часть содержимого полок магазина «машинносгенерирована».

Так же меняется человеческий язык. Вместе с языком меняется мышление. Вместе с мышлением жизнь. Или наоборот вместе с изменением жизни мышление.

Зумеры последнее поколение, выучившееся на естественных текстах. Альфачи уже другие.

Добро пожаловать в Дивный мир, где машинных текстов больше естественных.

Этот новый прозрачный мир

Современные технологии машинного обучения (также популярно называемые ИИ) позволяют фактически декомпилировать код и делать автоматический реверс-инжиниринг. И вместе с этим находить разные уязвимости и дырки в любом софте. Недавние массовые взломы PHP это наглядно показали.

Фактически сейчас нет действительно безопасных закрытых систем, любую можно априори считать взломанной. И из этого разрабатывать подходы к действительной безопасности.

Осталось подождать когда алгоритмы найдут способы факторизации больших простых чисел или их целочисленного логарифмирования. Тогда старые классические криптоалгоритмы станут массово уязвимыми, а они используются много где.

Armillaria ostoyae

Похоже самый крупный живой организм на Земле совсем не кит и не линеус древнейший. Это гриб Armillaria ostoyae.

На фото похожий российский гриб.

Есть экземпляры с грибницей несколько десятков квадратных километров, возраст больше 2000 лет, совокупный вес порядка тысяч тонн, как товарный железнодорожный состав. Занимаемую ими площадь видно из космоса.

Насколько корректно считать его таким большим живым организмом? Может плесневелое варенье тоже макроорганизм.

Грибница связная. Но нет центральной нервной системы. По крайней мере ЦНС пока не найдена. С вегетативной неизвестно, сигнальные молекулы могут и быть.

Гриб вроде и гриб, растёт небольшими кучками. Видно только плодовое тело. Может и кроме грибов есть крупные связные живые организмы.

А что если Сознание человека есть такого же рода «плодовое тело»?

Если такое допустить, то некоторая эзотерика и «паранаука» не такая уж и «пара». За такую ересь в серьёзных академических кругах можно и отхватить.

Действительно нет ЦНС?

Время смелых

Мир за последние 5 лет сильно изменился. То ли ковид повлиял, то ли это следствие последних геополитических событий. Общество стало осторожным, даже очень осторожным. То же касается и бизнеса: в последнее время появился не вполне понятный мне «нарратив» про безопасность. Зачастую такую безопасность, с которой ещё опаснее в некоторых других смыслах. Сотрудники всех уровней, включая топовых руководителей стали избегать риска и ошибок.

Риск это путь развития. Возможно, единственный.

Казалось бы, сейчас самое время для смелых, кто готов брать на себя ответственность и риск, и делать немыслимое. В процессе, конечно, ошибаться и много ошибаться.

Таких не приветствуют, боятся. Это времена такие сейчас или всегда было?

Мы где-то на сломе, скоро всё сильно поменяется.

Умных много, смелых мало.

Терминатор возвращается

Во всех прошлых войнах естественным ограничением было количество солдат. Всё остальное восполнимо, может и по высокой цене, но в короткие сроки. «Произвести» нового солдата занимает порядка 20 лет и сильно уменьшить это время никак не получится.

Сейчас атакуют дроны, на радиоуправлении или вообще автономные с каким-нибудь ии. Для атакующей стороны это превратилось в компьютерную игру, с реальными потерями «где-то там далеко», но без человеческих потерь из места управления. Снято человеческое ограничение.

«Штучки» можно штамповать в огромных количествах в короткие сроки, это расходный материал. Защититься сложно. У не подготовленного человека против машины шансов ноль. У подготовленного немного больше нуля, но это не важно из-за несравнимо большого количества.

Победить машину может только другая машина, в сравнимом количестве. Такие автоматические армии уже штампуются. Сцены из Терминатора, когда-то казавшиеся фантастикой, возможно мы ещё застанем.

Ещё машины могут производить самих себя, очень быстро и эффективно. Серая слизь из старой фантастики. Побороть её числом не получится.

С другой стороны есть и некоторый оптимизм. Существуют другие ограничения, так что до такого сценария может дело и не дойдет. В любом случае будет трудно.

Искусство грамотных вопросов

Развитие LLM изменило взаимодействие человека с информацией. Старые поисковики давали страницы ссылок, которые человек выбирал, открывал и смотрел содержимое самостоятельно, Современный чаты-гпт дают машинно-сгенерированный экстракт по вопросу и человек редко обращается к источникам. Иными словами сужается разнообразие информации.

Многое зависит от самого вопроса. Машина может и часто отвечает не вполне на сформулированный вопрос. Когда вопрос был одним, а действительно человек хотел узнать другое. Или когда машина не считала историю и контекст самого задающего и для чего ему ответ на этот вопрос нужен.

Ответы LLM влияют на решения задающего. Даже вопросы технического характера меняют ход мысли и действия. В общем смысле любое взаимодействие с моделями влияет мышление человека и очень важно сохранить оригинальность собственного хода мышления от навязанного извне.

Один из способов сохранить оригинальность мысли — грамотно задавать вопросы. Понимать откуда они исходят, какой действительно их смысл. Вопросы ли это в подтверждение чего-то или открытого, исследовательского типа.

Вопрос намного важнее ответа, это и раньше было известно. Сейчас ещё и сама работа с вопросами выходит на первый план.

ИИ-подделка и оригинал

Давеча мне один известный видеоресурс подкинул композицию авторства Владимира Высоцкого, которую я ранее не знал. Прослушал её, хрипловатый голос и даже интонации очень похожи на Высоцкого, и я почти поверил, что это действительно его редкая запись. Несколько насторожил только «простой» язык и лексика, Владимир Семёнович обращался с языком намного точнее и ярче.

Поиск показал, что текст песни написан уже после 1980 года и, очевидно, не им.

Если бы не «простой» текст, я бы наверное и не отличил…

Искусство дешёвых ошибок

Ошибки бывают первого и второго рода, они же соответственно ложноположительные и ложноотрицательные. Первые показывают «да», когда в действительности нет, вторые — «нет», когда на самом деле да.

Особенность ложноотрицательных ошибок, что эти ошибки сложно обнаружимы.

Если человек принимает положительное решение в чём-то, совершает действие, получает отрицательный результат. Сделал ошибку первого рода и эту ошибка видна и признаётся её наличие.

В случае отрицательного решения и действия нет, соответственно нет практической возможности понять была ошибка или нет. Понять это можно обычно если кто-то другой сделал подобное и получил положительный результат.

Отсюда возникает когнитивное искажение, что действие иногда приводит к ошибке, а бездействие кажется безошибочным. И возникающая отсюда иллюзия «безопасного» поведения.

Математически интереснее смотреть на цену ошибки. Если допустить ошибку недорого стоит, то их можно и нужно совершать. Даже лучше совершать и целенаправленно искать дешёвые ошибки. Некоторые из них могут привести к грандиозным результатам.

С точки зрения обывателя такое поведение кажется крайне неразумным и расточительным, тратой денег заведомо зная ошибочный результат. Большинство управленцев и чиновников исходят из такой же логики: эти ваши ошибки это красивое прожигание бюджетов. Особенно, если эти управленцы привязаны KPI.

Возможно имеет смысл учиться грамотно и целенаправленно совершать ошибки. Изучать их, выбирать. Побеждает в итоге тот, кто умеет ловить хвост туннельного эффекта.

Когда вы в последний раз намеренно совершали ошибку?

Инерция мышления

Многие вещи вокруг и способы обыденного действия — это атавизмы из прошлых времён.

Как-то я писал про суть электромобиля, которая состоит в системе управлении, а не электричестве, экологии и прочем. Если присмотреться глубже, электромобилю не нужен руль. С возможностью управления каждым колесом в отдельности любые повороты можно делать меняя скорость и направление, как у гусеничной техники. Но руль есть как наследие автомобилей с ДВС, где крутящий момент распределяется механически и нет возможности управления на каждом колесе.

Современные квадрокоптеры и прочие БПЛА несут аналогичный атавизм. До эпохи мощных, лёгких и хорошо управляемых электромоторов, двигатель был механический, тепловой. Который как и в случае автомобиля выдавал крутящий момент, который наиболее естественным можно было подать на винт. Так появились сначала винтовые самолёты, потом турбовинтовые, потом турбореактивный, которые по сути тот же мощный вентилятор на компактном тепловом двигателе. И это наследие.

В природе нет летающих на винтах существ, оно и понятно — нет источника крутящего момента. Махающие крылья оказались естественным, эволюционно лучшим решением.

Но электротяга может давать не обязательно крутящий момент. Простой электродвигатель это тоже атавизм времён Теслы, когда не было электронного управления. А значит возможны и будут БПЛА на принципиально другом принципе действия. Даже не обязательно «крылатом», как у птиц, это тоже наследие мышечной тяги.

То же применимо и к водным суднам на винтовой тяге. У водных существ нет винтов, а те же рыбы плавают лучше многих подлодок и кораблей. И не только рыбы.

Очень скоро появится что-то принципиально другое.

Dolce far niente

В Италии есть замечательное выражение «Dolce far niente». В переводе значит Сладость ничего-не-делания». И это не просто лень, это – отдых. Покой души, где просто быть – уже достаточно. Где продуктивность уступает первое место радости жизни.

Вьетнамский монах Тик Ньят Хань заметил: Всё в жизни меняется, когда вы понимаете, что ваш список того, что нужно сделать, не так важен, как сознательно ничего не делать».

На эту тему замечательный «Аромат времени» Бён-Чхоль Хана. Книга о созерцании, о важности момента и жизни. А понимаем ли мы жизнь вообще?

Действительно, многие замечательные вещи были сделаны в периоды «лени». Как бы сказал прагматичный современный человек в периоды нецелевой потери/прожигания времени.

Опти и Песси

Отрывок из книги «Миллионер» Артёма Тарасова:

Я зашел в магазин, чтобы купить таблеток от головной боли. Когда проходил мимо полок с печатной продукцией, на меня вдруг сверху упала книга. Я поднял ее с пола и машинально прочитал раскрытую страницу. Там было написано:

«Неважно, как попала эта книга к вам в руки. Может быть, ее рекомендовали друзья, или вы случайно наткнулись на нее в Интернете, или она свалилась вам на голову с полки в магазине…»

Это показалось очень странным. И я стал читать дальше:

«Мы живем в несправедливом мире, где каждый день приходится бороться с обстоятельствами. Это происходит бесконечно и не приносит нам счастья. Словно мы рождаемся на свет только для того, чтобы преодолевать трудности и проблемы, а потом умереть. Можно ли в этих условиях наслаждаться жизнью? Если вы прочтете эту книгу, тогда поймете — МОЖНО! Причем всегда, везде и в любой ситуации, вне зависимости от того, что с вами происходит».

«Если представить нашу жизнь в виде одежды, тогда получится, что большинство из нас носит ее со словами: трудно, тесно, давит, неудобно, тяжело, некомфортно. А нужно носить ее со словами: удобно, свободно, легко, уютно, податливо, мягко. Спросите сами у себя, в чем причины того, что мир кажется нам сложным и жизнь такой трудной? У вас непременно возникнут фразы: «Ах, если бы этого не случилось, все было бы иначе и очень хорошо» или «Ох! Если бы то или это было другим, все в жизни сразу же стало бы лучше». Однако факты все больше убеждают, что дело совсем в другом. Наше ощущение жизни не определяется внешним миром. Ответ на вопрос находится внутри нас самих».

«Неужели и вправду мы рождаемся для того, чтобы, намучившись жизнью, умереть?» — задумался я над текстом книги. И стал читать дальше:

«Мы всю жизнь с трудом карабкаемся по лестнице вверх, и даже те, кто добирается до самой вершины, чаще всего понимают, что эта лестница была приставлена не к той стене«.

Действительно, судьба преподносит нам всем разные, порой жуткие испытания. Понятен стресс, который испытывают люди, когда в пожаре сгорает жилье и накопленное имущество, когда нас или наших близких поражает неизлечимая болезнь, когда наступает бедность с рабской обязанностью выживания. Но фактом является и то, что разные люди совершенно по-разному переносят эти несчастья. И легче переносят их те, кто меньше с этим борется. Бессмысленно сопротивляться уже случившемуся. Надо подняться над бедой и проникнуть себе вовнутрь со стороны. Вы тогда увидите много более важных и грандиозных вещей, чем те, что воспринимаются только глазами».

«Подняться выше своих жизненных проблем — означает слиться с бесконечностью, — продолжал я читать в книге. — Наш ум и наше тело могут завести нас далеко. Но только душа приведет нас Домой.

Есть много разных путей обрести душу. И тогда вы увидите, как изменится жизнь вокруг. Нет, конечно, все останется прежним, только вы станете воспринимать окружающий мир по-другому. Вы найдете дорогу Домой… Это не случается сразу, к этому надо идти постепенно.

Однажды лама перешел высокий горный хребет в Гималаях. Он шел много дней, прежде чем пришел в монастырь. И когда его спросили: трудным ли был его путь? Он ответил: ничуть! Все было очень просто. Каждый раз я делал только один шаг».

Первый шаг вы уже сделали, прочитав эти строчки. Остался всего лишь перевал через Гималайский хребет. И я знаю, как его легко преодолеть. Вот что я почерпнул из той книги.

Представьте себе, что в каждом из нас живут два человека. Один — существо приземленное, расчетливое, нервное, зависимое от обстоятельств, находящееся под грузом неразрешимых жизненных проблем. Назовем его коротким именем — Песси, от слова пессимист. Другой — человек возвышенный, радостный, отзывчивый, влюбчивый, добрый и счастливый, по имени Опти, понятно, что от слова оптимист.

Песси обладает очень тяжелым характером. Он абсолютно уверен, что единственный путь существования в нашем мире — это отбросить все чувства и бороться с жизнью. Он жадно впитывает советы нашего общества стремиться от лучшего к еще лучшему и к самому лучшему, не останавливаясь ни перед чем. Он твердо уверен, что мир вокруг нас старается нас уничтожить, надо быть начеку, надо заранее к этому подготовиться. Он всегда в испуге за будущее своих близких, не верит в их возможности справиться с жизнью самостоятельно и преодолеть трудности без его участия. Он не обладает возможностью понять и увидеть, что любые ситуации, возникающие в нашей жизни, могут быть восприняты с лучшей стороны.

Эти его качества автоматически ведут к тому, что он все и всегда старается проконтролировать, с ним никогда не чувствуешь себя в безопасности. Что бы ни произошло, все воспринимается им с подозрением и с самой худшей стороны. Он не позволит вам подняться выше своих проблем.

Опти очень легкий для общения человек. Он постоянно живет с любовью, позитивным восприятием окружающего, творчеством, наслаждением, удовлетворением и достатком. Он абсолютно уверен, что у него достаточно силы и возможностей справиться с любыми ситуациями, которые возникают в жизни. Он не смотрит на будущее как на агрессию против всех, а видит в нем возможность учиться, духовно расти и получать блага. Он доверяет людям и своим близким, не ждет постоянно беды и не нуждается в дополнительном контроле. Он обладает возможностью понять и увидеть, что любые ситуации, возникающие в нашей жизни, могут быть восприняты с лучшей стороны.

Эти качества Опти позволяют ему видеть красоту окружающего мира, слышать пение птиц и замечать голубое небо над головой. В каждой напасти он всегда старается не отчаиваться, поддержать себя и окружающих мыслью о том, что все будет лучше. С ним можно подняться над собой.

Вы всегда можете разглядеть в себе Песси и Опти, посмотрев в зеркало. Я открою вам важный секрет: только Опти может улыбаться, а Песси всегда нахмурен и опечален.

Подумайте о своей жизни, и вы наверняка вспомните моменты, когда все казалось ужасным, окончательно безнадежным, страшным и непреодолимым. Это все было связано с Песси. А были моменты, когда вдруг трудные проблемы улаживались сами собой, без особых усилий и борьбы. И тогда вами владел Опти. Если разделить эти моменты на две группы, станет ясно: чтобы сделать жизнь счастливой, надо как можно чаще отдавать себя в руки Опти.

Но неприятность заключается в том, что в нашем «Я» Песси всегда активен, а Опти, наоборот, пассивен. Если не прийти к нему самому, он может не устоять перед напором Песси и отойти на второй план нашей жизни. Так чаще всего и происходит! Вы перестанете видеть мир прекрасным, вы сгибаетесь под тяжестью сомнений и проблем, которые навешивает на вас Песси, вы навсегда перестаете улыбаться своему отражению в зеркале…

Итак, наша цель предельно проста: надо оставаться в обществе с Опти в любой ситуации. Он же всегда рядом, только прогоните этого назойливого Песси, пошлите его подальше — отдохнуть от самого себя. Улыбнитесь зеркалу. Сколько там облаков в небе? Посмотрите, сколько хорошего в жизни. Какие все это мелочи, ваши неприятности. Зачем их ждать в будущем, которое еще не наступило. Будущее вообще существует вне зависимости от нас, и что там — не известно. Чего же бояться заранее?

…

«Неправда, что красота не существует в нашем мире, правда, что мы ее очень редко замечаем«.

Найти малину

Знаете ли вы, что в Москве растёт дикая малина? Так вот, растёт, внутри МКАДа. Отведать можно в любое время. А если подойти с утра, то даже и собрать средний лоток или даже несколько. Практически без конкурентов, хотя некоторые местные знают это место и приходят с лотком. Но таковых немного и желающим хватает.

Как найти? Пойти в ****** лесопарк, там по тропинкам дальше-дальше, каждый раз тропинки выбирать наименее хоженые. Через некоторое время тропинка будет всё менее заметной и практически исчезнет, вы пойдете в высокой траве. И если повезёт, то выйдете в малинник, с большой вероятностью окажетесь там одни.

С первого раза может не повезти. Но со второго-третьего … энного вы там окажетесь. В этих попытках наработаете необходимое чутьё, куда идти и на что ориентироваться. Да, забудьте про нафигатор, карты, gps и прочие помощники — они не помогут, а скорее собьют с верного пути. Поможет собственное стремление к открытию.

Забавно, что из малинника хорошо видны высотные дома, а значит из их окон виден малинник. Но людей здесь практически не бывает.

К чему все эти приключения? Это важное качество предпринимателя. Стремление к открытию, exploring culture, любовь ходить нехожеными тропами прокладывать свои.

Учитесь искать свою малину!

Персонализированная медицина и AI

Персонализация медицины уже происходит на наших глазах. Возможно в России даже быстрее, чем в западных странах. Уже есть общая база электронных карт, снимков, которые анализирует ИИ. И этот самый ИИ как диагност уже скорее всего лучше живых докторов: он распознаёт слабый высокочастотный сигнал, который может пропустить человек. Технология прекрасно масштабируется — снимки можно грузить по всей стране и диагнозы ставить в глубинке, где ближайший врач находится за сотни километров, и получить результат почти мгновенно. Но это всё от общего.

Дальнейший шаг в персонализации. Научить ИИ находить индивидуальные различия людей и давать персональные рекомендации. Здесь скорее всего очень подключится генетика с индивидуальным секвенированием и поиском связи ген-болезнь, поиском неочевидных зависимостей. Примерно как в нобелевке 2024 по химии, только здесь понадобится оочень большой объем данных.

Эти технологии хорошо масштабируемы, распространить их на всю страну это больше техническая задача. Огромный потенциал.

Страхование 2.0

Налоговая и операторы фискальных данных обладают огромным массивом информации. Все покупки сохраняются со всей номенклатурой и практически мгновенно. Осталось натравить на эту бигдату ML и классифицировать покупателей, или по-иному, профилировать. А дальше искать корреляции, по которым поведение человеков становится очень предсказуемым: проявляются профессиональный выбор (в т.ч. который сам человек не знать), психологические особенности, наклонности к нарушению закона и даже предпочтения на выборах.

Здоровье очевидно тоже коррелирует с покупками. Покупаешь фастфуд, разные чипсы и даже просто переработанную высококалорийную еду — значит в группе риска. А если еще полируешь бухлишком — тогда в квадрате в группе риска. Есть и менее очевидные корреляты, например веганы и мясоеды в жизни во многом другом тоже различаются, профили разные.

А далее разная цена за страховочку и медуслуги. Страховые это один из первых кандидатов на покупку таких данных. Оказался в группе риска — и ценник медицинская страховка становится дороже. И не только медицинская. Такое уже произошло с кредитным скорингом, в ближайшее время будет ещё много где. И подделать достаточно сложно, да и не будут в большинстве этим заниматься.

HR + AI

А что, если я скажу, что headhunter в обозримом будущем помрёт и его место займут Озон и Ягодки, и масса народа находить работу будет через них? И маркетплейсы будут это делать намного лучше. Это уже почти можно «потрогать».

Человеки сейчас весомую долю покупок делают через маркетплейсы, и последние о конкретном человеке знают очень много. В определённом смысле даже больше, чем сам человек: имея историю покупок, просмотров, состава корзины можно сделать много выводов по пользователю. Кто какие книги покупает, кто какую одежду, даже цвет трусов многое расскажет о человеке. А bigdata+AI сделают это получше чем большинство психологов, найдут такие завимости, которые сейчас психологам даже не снятся.

А далее на маркетплейсе появляется раздел для работодателей, где они по определённым параметрам подбирают себе нужных сотрудников. Как в магазине! А со стороны подневольных — они и соврать не смогут, в отличие от cv и резюме, их этот ИИ раскусит получше детектора лжи.

Если сюда добавить ещё математические результаты одной нобелевки начала этого века, то получится очень годный продукт. По эффективности кратно лучше современных работных сайтов. Пользователь просто лазает по маркетплейсу, а его уже нашли. И может пригласили на собес.

Та же история с тиндером и прочими дейтингами. Потенциально маркетплейсы могут там сделать платный раздел для одиноких сердец.

Таким же потенциалом обладают операторы платёжных систем, которые знают содержимое каждого чека в магазине, оплаченного по безналу. Но он них будет отдельный пост, они могут куда более интересный продукт предложить.

Инженерное

Бен Рич — инженер, очень талантливый руководитель Skunk Works, инженер и авиаконструктор stealth-самолётов.

В своей книге «Skunk Works: личные мемуары моей работы в Локхид» Рич описывает принципы своей работы. Это минимум бюрократии и максимум автономии. Кто делает, тот и решает. Делегирование широких полномочий и поменьше пустых совещаний. И важно про лидера, который принимает на себя ВСЕ проблемы сверху и защищает свою команду.

“Не пытайся подражать мне, – напутствовал меня Келли. – Не делай самолёты, которые делал я. Построй свои собственные. И никогда не делай самолёт, в который не веришь всей душой. Не изменяй себе и дорожи репутацией Skunk Works. Делай то, что считаешь правильным и всё будет в порядке”.

Просто библия инженерной культуры. Обязательно к прочтению.

Обучение LLM на книгах

На днях американский суд принял интересное для изучения решение, если коротко — легализовал сканирование книг для обучения ИИ. Anthropic обучила свою модель на миллионах книг, часть из которых были получены не вполне легально (спирачены), другая часть — отсканированы с бумажных книг деструктивным способом. Т.е. распотрошив книгу на страницы для скорости сканирования. Суд признал это fair use.

Мы входим в новую эпоху, когда любая информация в открытой сети сразу загоняется в LLM. Это имеет далеко идущие последствия, одно из которых: теперь действительно полезную информацию не будут публиковать в сети. Интернет вероятно превратится в помойку мусора и переработанного мусора из другого мусора (GIGO). Отыскать что-то полезное уже сложно, станет ещё сложнее.

Также уже раньше произошло с гиперссылками (URL). 20 лет назад на заре развития Google гиперссылки считались классным изобретением и ими без всяких опасений пользовались по прямому назначению. Затем гугл проиндексировал интернет, ранжировал источники по количеству входящих ссылок и пользователи коммерческих ресурсов поняли как можно обмануть систему. Появились разные SEO, автогенерированные тексты, сетки из мусорных сайтов и прочие проделки сеошников. Против оптимизаторов поисковики стали совершенствовать свои алгоритмы, борьба продолжалась долго. Но главный её итог: использования прямых ссылок теперь избегают. Особенно их избегают владельцы коммерческих ресурсов, особенно экосистем, на своих клиентов и конкурентов. Вместе с этим экосистемы стали огораживаться, теперь многие из них доступны после авторизации. Так интернет гиперссылок умер.

Поисковики стали разрабатывать свои браузеры и анализировать поведение пользователя, а заодно и подпитываться разными ценными пользовательскими данными. В том числе анализировать данные в облаках. Теперь пришел ИИ, который встраивается в поисковики и найти что-то ценное становится задачей более сложной, чем 20 лет назад.

Если так пойдёт дальше, ценные данные лучше вообще поберечь от сети. Так мы можем плавно оказаться в мире 451 градуса по Фаренгейту. Казалось фантастикой, но становится реальностью.

ChatGPT и мозг

Человек тупеет при повсеместном обращении к GPT и прочим AI. Исследователи из MIT изучили как использование LLM при написании эссе влияет на когнитивные способности. Оказалось (неожиданно!), писавшие эссе исключительно своей головой показали результат лучший, чем те, кто пользовался поисковиками. А пользователи поисковиков — лучше, чем пользователи LLM.

Вот ещё интересная цитата оттуда:

We found that the Brain-only group exhibited strong variability in how participants approached essay writing across most topics. In contrast, the LLM group produced statistically homogeneous essays within each topic, showing significantly less deviation compared to the other groups.

Иными словами, пользователи GPT менее творческие. В статье ещё много разных наблюдений и выводов. Коротко выводы такие:

  • (очевидный) Что не используется, то атрофируется.
  • Постоянный читинг к LLM имеет долговременные последствия.

Похожее было в истории и раньше. Примерно 30 лет назад в жизнь повсеместно вошли компьютеры, а 50 лет назад — калькуляторы. До этого для расчётов были доступны только логарифмическая линейка и таблицы Брадиса. И то и другое предполагало понимание сути расчётов. И если почитать работы по физике и математике более полувековой давности, то оценки многих величин делались вообще без расчётов, теоретическим способом. Для многих современных выпускников физмата это практически немыслимый (в прямом смысле!) уровень.

Если копнуть ещё глубже в историю, посмотреть оригинальные работы 20-30х годов прошлого века, Дирака, Эйнштейна, Бора, это уровень работ с новыми идеями, высочайшим пониманием физики и минимальным обращением к математике, и тем более к прямым вычислениям. Пытаться сделать подобное AI только портить. Аналогично с математикой.

Подобное наблюдалось с появлением телевизора и развитием анимации. Дети, читавшие сказки из больше творческих способностей, чем дети-потребители мультфильмов, готовая движущаяся картинка убивает фантазию. И это тоже долгосрочно.

LLM divide and conquer

Типичный дизайн GPT предполагает сложность O(n^2). Возможно эту сложность по памяти снизили с помощью старого доброго подхода «Разделяй и властвуй», а именно стали разбивать большой вход на отдельные куски и каждый из них обрабатывать отдельно. Если это действительно сработает, то потенциально можно сильно уронить аппаратные требования к LLM. В идеале до O(n*log(n)), как в поиске и умножении длинных чисел, но это очень сладкая цель. В любом случае будет интересно!

Деловая среда меняется

Заметил, что последние 3 года сильно поменяли деловую среду. Кто бы что не говорил про «перегрев экономики», эта самая экономика находится в дефиците.

15 лет назад чтобы преуспеть не нужно было быть самым лучшим. Достаточно было быть не хуже большинства. Даже в доковидные времена в целом можно было работать «не хуже большинства». Как в старом анекдоте про двух геологов и медведя:

Два геолога идут по тайге. Внезапно из-за деревьев появляется медведь. Один геолог разворачивается и спешным шагом уходит. Второй кричит ему вслед:
— Бесполезно, ты не сможешь убежать от медведя, он бегает быстрее человека.

Он ему в ответ:
— А мне и не надо бежать быстрее медведя. Мне всего лишь надо быть быстрее тебя!

Это оборонительная стратегия, стратегия игры проигравших. Она хорошо работала почти 30 лет новой России. Сейчас этого уже недостаточно.

Крупный бизнес съедает малый. Где-то рынок переполняется и быстрых уже очень много. У кого-то маржа падает до критически низких значений и бизнес погибает. А тут ещё маркетплейсы, цифровизация, искусственный интеллект…

Чтобы выжить приходится находить нестандартные решения, идти на высокий риск, резать внутренние расходы и бюрократию, открывать новые рынки. Не все на такое пойдут. Многие компании погибнут, и крупные тоже.