В последнее время нативным LLM уделяется много внимания, особенно сейчас, когда такие инструменты, как LLM Studio, упрощают их использование. Но я постоянно замечаю одну вещь: люди считают их очень похожими на облачный LLM и ожидают тех же результатов, что и от ChatGPT. Иногда это может сработать, но чаще всего реакция будет слабой или разочаровывающей, заставляя людей думать, что проблема в самой модели.
Обычно проблема заключается в том, как управляется модель. Локальные модели не имеют тех же уровней поддержки, которые облачные модели добавляют «за кулисами» — они больше полагаются на ясность того, что вы им предоставляете. У меня была та же проблема, когда я впервые настраивал свою локальную модель, но как только я начал смотреть на нее по-другому и более осознанно относиться к своим сигналам, качество ее ответов значительно улучшилось, а ее поведение стало более предсказуемым. Так что, если вы только начинаете работать с местным LLM, изменение вашего подхода к его использованию может улучшить результаты, которые вы получите…
Местные LLM ведут себя по-другому
Они не соответствуют вашему образу мышления
Когда вы запускаете модель через программу-раннер, такую как Olama или LM Studio, вы используете предварительно обученную модель в том виде, в каком она была обучена. Вес модели фиксирован во время обычного сеанса чата, поэтому она не учится у вас и не корректирует постепенно свое поведение так, как вы от него ожидаете. Он по-прежнему может использовать контекст разговора для генерации своих ответов, пока общее количество токенов остается в пределах контекстного окна (модель может использовать только ту историю разговора, которая укладывается в пределы ее памяти). Но это не то же самое, что долгосрочная адаптация.
Многие облачные платформы искусственного интеллекта накладывают дополнительные системы поверх базовой модели, которые помогают в рассуждениях, поиске, использовании инструментов и имитации эмпатии. При локальных настройках эти части обычно остаются на месте, если вы не настроите их самостоятельно, если это возможно. Поэтому локальные модели более предсказуемы, но и менее снисходительны. Многие из них маленькие, а модели меньшего размера зависят от точной формулировки вашей подсказки…
Локальные модели по-прежнему могут до некоторой степени угадывать, что вы имеете в виду, поскольку они обучены на шаблонах языка, но без масштаба и дополнительных систем, лежащих в основе облачного ИИ, это предположение обычно слабое и зависит от того, как вы подсказываете. Если подсказка расплывчата, небрежно написана, неполна или грамматически неверна, модель придерживается буквального ввода, вместо того, чтобы угадывать ваши намерения и заполнять пробелы. Вот почему люди иногда думают, что локальная модель работает хуже, хотя реальная разница заключается в том, насколько непосредственно она реагирует на то, что вы на самом деле написали.
Как не указать местный LLM?
Привычки к облачным моделям плохо переносятся
Если полагаться на случайные слова или модели, чтобы «понять это», это может привести к разочаровывающим и разочаровывающим ответам. Это не будет похоже на случайное общение с Gemini или отправку незаконченных мыслей в ChatGPT, потому что, как я уже упоминал, у него ограниченные возможности вывода. Поскольку местные LLM воспринимают ваши входные данные буквально, на выходе обычно отражаются неоднозначные сигналы. Вот несколько быстрых примеров того, с чем локальный LLM, вероятно, не сможет справиться, как облачная модель:
[insert text]. Можете ли вы сделать это лучше?
[insert text]. Что вы думаете?
Помогите мне написать что-нибудь о местных моделях ИИ.
Превратите эти заметки во что-то читабельное.
На самом деле он не знает, что вы считаете «лучше» или «более читаемым», если только вы не укажете это в подсказке (или, возможно, в системной подсказке, если в интерфейсе вашего бегуна есть такая опция).
Что делать вместо этого?
Будьте ясны и структурированы
Если вы хотите, чтобы локальная модель делала то, что вам нужно, главное — ясность, конкретность и структура. Каждая подсказка должна сообщать модели, что именно вы хотите, формат, любые примеры, поясняющие ваши ожидания, и примеры того, чего вы хотите. Нет Хотите или около того. Начните с разделения задач на этапы. Поэтому вместо “Обобщите эти заметки и дайте мне план.“, Писать “1. Обобщите заметки в 3–5 пунктов. 2. Создайте иерархическую структуру с разделами для персонажей, сюжета и построения мира.“
Еще один отличный способ сделать его более структурированным — использовать разделители, такие как ### и —. Это может помочь модели изолировать контекст, инструкции и другие входные данные. Просто убедитесь, что разделитель, который вы назначаете каждой задаче, является последовательным. Если ### означает, что это действенная инструкция, не используйте ее в своих примерах. А если ваш бегун или модель автоматически применяет форматирование Markdown, это может не сработать.
Говоря о примерах, или, как это называется в области оперативного проектирования, «подсказка из нескольких кадров», это помогает создать контекст для вашей модели. Например:
Отзыв: Этот ресторан был потрясающим!
Эмоция: Положительная
Описание: Цвет атмосферы в ясный день.
Объект: Голубое небо
Вывод: Проект задерживается.
Тон: формальный.
Результат: Срок реализации проекта продлен.
Вот одна из моих недавних подсказок для моей модели GPT-OSS-20B в LM Studio:
Task Instructions:
You are analyzing rough UX research notes. Follow the steps below carefully
1. Summarize the main pain points users mentioned in 3-5 bullet points
2. Identify opportunities for improvement or features the product could add
3. Categorize each suggestion as either “Critical,” “Optional,” or “Nice-to-have”
4. Highlight any ambiguous or incomplete notes that require clarification
---
Format Examples:
Note: Users said the app crashes when uploading photos
Pain Point: App crashes during uploads
Opportunity: Improve upload stability
Priority: Critical
Note: Some users suggested adding a dark mode, but didn’t explain why
Pain Point: N/A
Opportunity: Consider adding dark mode
Priority: Optional
Comment: User reasoning unclear
---
Input Notes:
[my notes pasted here]
Местные LLM требуют другого подхода
Локальные модели LLM могут быть эффективными, но они работают иначе, чем облачные модели. Они не так сильно адаптируются во время разговора, воспринимают ваши слова более буквально, им нужна ясность и структура. Все говорят о быстром проектировании, но я думаю, что большинство из нас на самом деле не делают этого с облачными моделями, потому что обычно не понимают, чего мы хотим. Быстрое проектирование имеет гораздо большее значение для локальных моделей, потому что вам нужно направить его на желаемый результат.
