не спится! что-то мне нехорошо. давайте я вам расскажу что мне всегда казалась странной песня монеточки где если б мне платили каждый раз, каждый раз когда я думаю о тебе, я бы бомжевала возле трасс, я бы стала самой бедной из людей. много лет меня беспокоило взаимодействие квантора и перевернутой шкалы количества. то есть: а как же другие потенциальные источники дохода? может и ничего, как-то бы устроилась! в общем тут без СКРЫТОГО ОПЕРАТОРА ЭКЗОСТИФИКАЦИИ ничего не выходит: если б мне платили каждый раз и неверно что платили бы в каких-то других ситуациях! вот что она поет, пацаны. alternative semantics 101. нехорошо мне. ожидание будущей, возможной, вероятной потери. значит есть что терять -- и тогда в каком-то будущем возможном мире оно уже потеряно. тоже своего рода alternative semantics

начиная видимо со следующего года, буду руководить (research) master дипломами не только в программах по applied data science (и чуть-чуть ai) но и по теоретической лингвистике -- и в целом часть моего преподавания будет сдвигаться на более теоретические программы -- если мы конечно тут выживем все вообще со своим рисерчем -- и мне через пару недель надо будет сделать презентацию насчет круга тем которыми я предлагаю заниматься. короче я решила что одной из скажем 2-3 больших тем предложу urban fieldwork! опиши фрагмент малоописанного языка не выезжая за пределы голландии. сама может быть тоже тогда позанимаюсь наконец! грант какой-нибудь мб небольшой под это выпишу. хорошо?

а посоветуйте пожалуйста литературу о сложностях связанных с ai detection и о (не)возможности ево. знаю что-то в целом, видела какие-то работы, но я собираюсь взъебать школу которая задумала снижать оценки за домашку если какой-то их ai detector of choice что-то задетектил. it's a war

постер к нашей статье на babylm challenge (который в этом году воркшоп при conlle который в этом году при emnlp) — из него видно что название статьи пришлось подавать до того как досчитались самые важные эксперименты!

1. "у llm нет семантики, потому что они видят только тексты": конечно, люди выучивают значения слов и фраз в сетапе который кардинально отличается от того как тренируются современные модели. значит ли это что модели ничего не могут выучить? черт его знает. я не знаю например, и вы на самом деле скорее всего не знаете. дофига семантической информации люди тоже получают исключительно из текстов, и есть много свидетельств того что при усвоении целых классов слов дети полагаются на синтаксическую информацию об их употреблении (см статью 'hard words' gleitman и ко про синтаксический бутстрепинг и статьи hacquard). пиантадоси (когда не срется в интернете) тоже пишет интересные вещи о том как семантика -- в особенности, лексическая -- во многом состоит из знания того как значения слов соотносятся друг с другом, а те аспекты которые имеют отношение к "реальному миру" могут оказаться практически не важны. опять же, какие-то -- частичные, неполные, несовершенные -- элементы довольно абстрактной семантики типа situations можно обнаружить и в llms, какие-то следы того что в репрезентациях трекается статус референтов и так далее. тут можно пойти довольно далеко но вот допустим что примерно пишет андреас в language models as agent models (https://arxiv.org/abs/2212.01681, я подсократила): LLMs infer representations of beliefs and intentions of agents that produced the training documents; These representations guide LLM text prediction. немножко эзотерично, но не знаю не знаю -- опять речь исключительно об уровне абстракции, и в целом в абстракции как таковой ничего мистического нет

2. "llm просто повторяют тренировочные данные": где-то повторяют, где-то, опять же, обобщают. кстати если не видели вот по-моему очень хорошая свежая работа на этот счет (demystifying verbatim vemorization in llms https://arxiv.org/abs/2407.17817) -- воспроизведение "запомненных" тренировочных данных задействует смешение механизмов "буквального" воспроизведения и обычной генерации. в языковом поведении людей и в driving forces которые им управляют тоже обнаруживается смесь запоминания и обобщения. какие-то вещи мы говорим просто "потому что так говорят", и интуитивно это очевидно, но это также и факт который можно показать (например, для порядка слов есть такие эксперименты; вообще люди охотнее, активнее и более автоматически используют более частотные куски, грамматика конструкций в целом вся об этом). в этом смысле языковые модели могут оказаться -- и иногда оказываются -- чересчур абстрактными, если брать языковое поведение людей за эталон. ну, понятно.

так, все, устала! так или иначе, очевидно я надеюсь что я не говорю что llm -- это типа прям как мы! но хорошо понимать по-моему что картина несколько сложнее чем может показаться! всё пошла работать наконец извините

короче вот про эту записку от эппл https://arxiv.org/abs/2410.05229 уже столько раз я увидела мнения, и спросили меня столько раз про нее, что я уже не могу просто!! во-первых сам факт того что эти модели не идеально (не очень хорошо, плохо -- смотря как мерять и где ставить отсечку "хорошо") справляются с семантическими задачами логического типа -- это совсем не новости. были датасеты типа adversarial nli и работы йоава голдберга и ко где поверхностные изменения в формулировках меняли предсказания модели и все такое прочее -- сложно не заметить и даже сложно не ожидать что именно такой результат и будет. эта новая статья -- молодцы что показали снова, и более ярко, и хорошо распространили и тд. вопросов нет!

кстати, не знаю, мне сама по себе такая работа не кажется очень интересной -- потому что дальше возникает вопрос "и что?", а он часто остается без ответа или люди ленятся его задавать или серьезно про него задумываться, а для меня именно по нему проходит раздел между инженерным nlp и наукой которая могла бы мне понравиться. но не суть!

твиттер завален реакциями типа "наконец-то кто-то показал что llm -- это просто pattern matching и ничего больше" или там "а мы всегда знали, что llm -- это просто stochastic parrot у которого нет и не может быть ничего что можно было бы назвать семантикой", китайская комната и прочее. несколько соображений! большинство из них я в частных разговорах с кем-то из вас уже формулировала довольно давно, и вообще покупайте наших слонов: в препринте нашего cambridge element in semantics (https://ling.auf.net/lingbuzz/007736) есть несколько страниц (21-24 в файле / 18-21 по проставленным на страницах номерам) я в целом то же самое говорю но другими словами

1. pattern matching: это не противоположность "истинным рассуждениям", или по крайней мере необязательно. reasoning и inference тоже можно описать как pattern matching -- но на другом уровне абстракции. не на уровне индивидуальных слов и их линейного расположения друг относительно друга -- а на уровне удачно определенных лексических классов и их структурного расположения друг относительно друга. natural logic например -- программа именно такого прямого определения inference (см например multiply-quantified nli датасет, построенный именно так https://arxiv.org/abs/1810.13033). тут надо также сказать что ни обобщения в лексические классы, ни имплицитные репрезентации структуры в отличие от простых линейных отношений не находятся за пределами того что умеют делать языковые модели. кроме того, их можно успешно подтолкнуть в эту сторону с помощью meta learning например, см из свежего https://x.com/LakeBrenden/status/1846583151071564004. в общем it's pattern matching all the way, ничего в этом нет плохого или неправильного

скажите еще спасибо что я не чувствую необходимости формулировать мнение по поводу нобелевки по физике, высказываний лауреата и реакций на эти высказывания! от души!

получила МАКСИМУМ удовольствия от своей новой идентичности, подходила ко всем постерам, заводила беседы, задавала вопросы, предлагала дополнительные эксперименты, бейзлайны и тд и тп пока людям не становилось интересно кто это ваще такая, явно какая-то своя но кто!! тогда они начинали коситься на мой бэдж, а я им совершенно в этом не мешала! интересно сколько таинственных имейлов получит потом эта неизвестная мне китайская студентка

вообще я охуенно потусила и отлично поняла чем я хочу заниматься, а главное чем не хочу, чуть-чуть договорилась про несколько разных возможных будущих проектов, и вообще люди особенно в последний день мне были рады, это я люблю. было пару раз даже такое что я говорила ну ладно на самом деле-то я, скажу по секрету, не жиажун гао из университета ноттингема, китай, а наоборот лиза былинина! а они такие, да ладно, лиза былинина?? мы твои статьи читали!! а я такая такая ой ну ладно что вы что вы не стоит, право, даже и говорить. в конце наебенилась конечно. короче на конференции ездить надо не забывать