Открытая лекция "Прикладной обзор методов промпт-инжиниринга"

📅 Дата: 21 июля
🕕️ Время: 18:00
💻️ Формат: онлайн, платформа МТС Линк

Лекцию проведет Денис Федерякин, научный сотрудник кафедры бизнес- и экономического образования Университета имени Иоганна Гутенберга в Майнце, Германия и выпускник программы.

Несмотря на развитие ведущих больших языковых моделей (LLM) с платным доступом, использование более простых и бесплатных LLM все еще чрезвычайно популярно. Эти модели часто чувствительны к качеству промптов, что требует развития навыков промпт-инжиниринга (ПИ).

Мы определяем ПИ как умение сообщить LLM суть задачи, её контекст и ограничения, предъявляемые к желаемому решению, таким образом, чтобы модель могла решить задачу правильно и как можно быстрее. В рамках этого определения мы относим к ПИ все способы передачи информации LLM, включая те, которые технически представляют собой сложные методы и не связаны с формулированием промптов напрямую.

Цель данной презентации – показать, что, несмотря на радикальные различия между когнитивными механизмами LLM и человека, в основе разнообразных методов ПИ лежит конечный набор психологических принципов, которые упрощают обработку информации человеком. Мы описываем фундаментальные психологические принципы, к которым в конечном счёте сводятся все методы ПИ.

В основе данной работы лежит несколько предположений. Во-первых, мы исходим из того, что разработка промптов по своей природе зависит от конкретной задачи и что не существует «наилучшего» универсального промпта, не привязанного к определённой задаче. Это означает, что эффективность различных методов промптинга будет различаться в зависимости от характера информационной задачи.

Во-вторых, мы предполагаем, что даже методы ПИ, требующие существенных технических знаний, могут вручную воспроизводиться пользователями в веб-интерфейсах, если пользователи понимают, какие психологические принципы лежат в основе соответствующего метода.

В-третьих, мы предполагаем, что LLM не мыслят (по крайней мере, не так, как люди) а лишь предсказывают следующий токен. Сопоставление когнитивных механизмов, лежащих в основе аналогического мышления у людей и у LLM, а также отсутствие у LLM механизмов, необходимых для реконструкции предложений выявляет различия в способах обработки информации человеком и LLM. Тем не менее при внимательном рассмотрении в текстах, сгенерированных LLM, можно обнаружить следы сложных когнитивных операций, выполняемых над предоставленной информацией. Следовательно, мы предполагаем, что овладение ПИ сводится к тому, чтобы с помощью определённых формулировок вызывать у LLM сложное когнитивное поведение.

Наконец, мы предполагаем, что за каждым методом ПИ стоит определённый психологический феномен. Поскольку соответствующие психологические принципы помогают людям решать информационные задачи, мы предполагаем, что применение этих принципов также помогает LLM решать задачи того же типа. Важно отметить, что данные психологические принципы не являются взаимоисключающими: некоторые методы ПИ одновременно задействуют несколько феноменов.