AI Security Lab

Последние публикации канала «AI Security Lab»

1. 239 просмотров, 14 июл. 2026 г.

   Будем делиться новостями по продуктам HiveTrace, новыми релизами и практическими сценариями защиты AI-агентов. Приглашаем на вебинар про контроль Claude и OpenClaw в HiveTrace: покажем лайв-демо HiveTrace Hooks, проверку запросов и tool calls до выполнения, защиту OpenClaw и разбор атак на агентов через непрямые промпт-инъекции. Регистрируйтесь по ссылке и до встречи на вебинаре.

   Открыть пост в MAX
2. 234 просмотров, 4 реакций, 14 июл. 2026 г.

   Контроль Claude и OpenClaw в HiveTrace На вебинаре покажем новый сценарий работы HiveTrace с OpenClaw и Claude : в лайв-демо разберем, как обеспечить безопасность при использовании этих нашумевших инструментов в AI-агентах 🗓 28 июля в 11:00, МСК Что будет в демо: ⬇️ ➡️ как HiveTrace Hooks работают с Claude Code; ➡️ как анализировать пользовательские запросы до передачи в Claude; ➡️ как проверять tool calls до фактического выполнения; ➡️ как контролировать параметры и допустимость действий; ➡️ как защитить инстанс OpenClaw от атаки через небезопасный контент; ➡️ как мониторить и аудировать…

   Открыть пост в MAX
3. 486 просмотров, 4 реакций, 09 июл. 2026 г.

   Новое пространство рассуждений или новый инструмент для AI safety ▫️ 6 июля Anthropic выпустили работу про J-Space — внутреннее пространство вербализуемых (то есть — переводимых в слова) представлений в Claude, которое можно частично читать. Пространство названо в честь нового метода, который и является движком нахождения этого пространства — J-Lens . Верхнеуровнево идея в том, чтобы вместо вопроса: «На какой токен похож hidden state сейчас?» — как делают некоторые другие Lens-подобные методы, а смотреть на очень маленькую динамику: если немного изменить внутреннее состояние модели сейчас,…

   Открыть пост в MAX
4. 908 просмотров, 12 реакций, 02 июл. 2026 г.

   🚗 Nvidia выпустили свежую safety-модель Nemotron 3.5 Content Safety Богдан Минко , ML Engineer в HiveTrace, магистрант AI Talent Hub, ITMO University & AI Security Lab, исследовал модель и поделился своим взглядом: Модель представляет собой мультимодальный guard на базе Gemma-3-4B-it, который разработчики подают как SLM (small language model). Она объединяет два предыдущих релиза: мультимодальную модерацию из Nemotron 3 Content Safety и работу с кастомными политиками из Nemotron Content Safety Reasoning 4B. В трейн добавляли данные с ризонингом, но интереснее примеры следования политике.…

   Открыть пост в MAX
5. 1.1K просмотров, 20 реакций, 18 июн. 2026 г.

   📣 Актуальные подходы для защиты современных AI-систем: открытая защита проектов лаборатории в записи ➡️ За два дня участники HiveTrace x AI Security Lab представили проекты по самым актуальным направлениям AI Security: детектирование вредоносных запросов, оценка guardrail-моделей, бенчмарки безопасности, анализ мультиагентных систем и многое другое... Не смог присоединиться? Лови запись всех докладов : узнай как AI Security выглядит на реальных проектах 🎥 СМОТРЕТЬ - часть 1 🎥 СМОТРЕТЬ - часть 2 ❤️ — был на вебинаре 👀 — посмотрю в записи

   Открыть пост в MAX
6. 2.3K просмотров, 6 реакций, 13 июн. 2026 г.

   🎥 Присоединяйся к Открытой защите проектов в 12:00 Уже через час участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности ➡️ ПОДКЛЮЧИТЬСЯ

   Открыть пост в MAX
7. 1.3K просмотров, 1 реакций, 12 июн. 2026 г.

   ⚡️ Открытая защита стартует через час. Подключайтесь

   Открыть пост в MAX
8. 1.8K просмотров, 12 реакций, 11 июн. 2026 г.

   Как выбрать хорошую Security команду? У неё нет выходных! 🗿 На этих прекрасных выходных (уже завтра!) мы собираемся увидеть , как AI Security выглядит на реальных проектах . 🗓 12 июня в 12:00 Второй день открытой защиты посвящён прикладным проектам: участники AI Talent Hub покажут, как строить и сравнивать защитные классификаторы, разрабатывать бенчмарки, анализировать ложные срабатывания и исследовать внутренние механизмы LLM-безопасности. Спикеры: 👤 Герман Кочнев AI Security — курс-практикум по безопасности ИИ-приложений 👤 Анастасия Калиманова Линейный классификатор как альтернатива…

   Открыть пост в MAX
9. 2.1K просмотров, 21 реакций, 09 июн. 2026 г.

   📣 Начинаем знакомить вас со спикерами! Первый день открытой защиты посвящён проектам в области безопасности и надёжности LLM-систем. Вас ждут доклады от участников AI Talent Hub — о детектировании вредоносных запросов, ускорении защитных моделей, оценке guardrails, анализе отказов мультиагентных систем, разработке бенчмарков безопасности и аудите ML-моделей. 👤 Ширин Аланова Обнаружение мультиязычных вредоносных запросов с помощью семантического анализа 👤 Анна Решетняк Ускорение inference для GLiNER Guard 👤 Вадим Паненко TotalGuardEval — оценка guardrail-моделей 👤 Вера Краснобаева…

   Открыть пост в MAX
10. 1.2K просмотров, 16 реакций, 05 июн. 2026 г.

    Открытая защита проектов лаборатории HiveTrace x AI Security Labs Дата: 12-13 июня 2026 Время: 12:00 МСК Формат: онлайн Предлагаем вам заглянуть внутрь лаборатории и узнать над чем участники трудятся в области безопасности ИИ: как оценивают модели, как исследуют их ограничения, как ищут уязвимости, как тестируют надежность агентных систем и какие подходы используют для защиты современных AI-систем. На защите будут два направления: ➡️ исследовательское , где изучают модели изнутри и разрабатывают методы их оценки ➡️ прикладное , где знают, как решить проблемы прода, даже если они ещё не…

    Открыть пост в MAX
11. 1.2K просмотров, 20 реакций, 27 мая 2026 г.

    📣 AI Security: практикум по безопасности ИИ-приложений Исследователи из AI Security Lab Герман Кочнев @germKo и Иван Александров @ivanich_spb опубликовали вводный курс по секьюрити на платформе Stepik без кода и с большим количеством практики. Курс CTF-чемпионат, где студент руками проходит путь от простых prompt injection и jailbreak до разведки и взлома агентских систем. Что внутри: ⭐ Prompt Injection и обход инструкций Jailbreak-техники и guardrails ⭐ Indirect Prompt Injection через письма, документы и веб ⭐ атаки на агентов и отравление RAG ⭐ защита: от простых фильтров до…

    Открыть пост в MAX
12. 986 просмотров, 12 реакций, 22 мая 2026 г.

    Атаки на агентные LLM-системы Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ. После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос — и агент готов переслать письмо на внешний адрес. Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass.…

    Открыть пост в MAX
13. 1.9K просмотров, 8 реакций, 19 мая 2026 г.

    GLiNER Guard omni был добавлен в PII Masking Leaderboard Лидерборд включает четыре датасета: ➡️ Ai4Privacy OpenPII 1M - мультиязычный датасет с ПД на 23 языка ➡️ NVIDIA Nemotron-PII - датасет, на котором Nvidia тренировала свой GLiNER PII ➡️ Gretel PII Masking EN v1 - синтетический датасет от Gretel AI ➡️ Privy - датасет с PII в контексте API/логов. На OpenPII наш gliner-guard-omni занял 1-е место с F2 = 0.930, обойдя не только privacy-filter от OpenAI, но и GLiNER PII от Nvidia, и обе модели OpenMed SuperClinical. По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим…

    Открыть пост в MAX
14. 4.8K просмотров, 83 реакций, 12 мая 2026 г.

    Открыли в open-source GLiNER Guard — компактную модель для модерации LLM-запросов и защиты персональных данных. Отличие GLiNER Guard от других Guard моделей: Вместо тяжёлых, дорогих — других guardrai-моделей — быстрый энкодер , который за один проход и проверяет unsafe-запросы, находит персональные данные (имена, адреса, телефоны, email и другое, что нельзя скармливать LLM), и работает как первый фильтр перед большими моделями. Что ещё в релизе: Вместе с моделью выпустили PII-Bench — бенчмарк для оценки качества поиска персональных данных. Тоже в открытом доступе. Где забрать: Тех репорт:…

    Открыть пост в MAX
15. 1.2K просмотров, 8 реакций, 05 мая 2026 г.

    🔍 Друзья, если вы исследуете атаки на AI-системы - есть повод показать свои кейсы! Awillix проводят Pentest Award 2026 - ежегодную премию для пентестеров. Появилась специальная номинация AI: prompt injection, jailbreak, атаки на агентов и RAG-пайплайны. HiveTrace и AI Security Lab выступают информационными партнёрами премии. Рекомендуем принять участие - показать, что умеешь и получить признание среди крутых специалистов. Оставляй заявку до 12 июля ➡️ ЗДЕСЬ

    Открыть пост в MAX