Замовити модуль Замовити шаблон

DLE Parser PRO

Автоматичний імпорт новин у DLE з HTML, RSS/Atom і Sitemap з ШІ-рерайтом і перекладом (DeepSeek, OpenAI, Claude, Gemini та будь-який OpenAI-сумісний API), локальними зображеннями, фільтрами й захистом від дублів.
Версія 4.2.0 PHP 7.4 — 8.4 DLE 15.1 — 21.0 Документація

DLE Parser PRO — комплексне рішення для DataLife Engine, призначене для автоматичного імпорту, обробки, перекладу та публікації матеріалів із зовнішніх джерел. Модуль поєднує HTML-парсинг, RSS/Atom-стрічки, гібридний режим RSS + HTML, імпорт через Sitemap, обробку зображень, додаткові поля DLE, захист від дублів, AI-рерайт та інтеграцію з DLE Multi-Language.

Система розрахована на власників новинних сайтів, тематичних порталів, блогів, агрегаторів і контентних проєктів, яким важливо не просто скопіювати матеріал, а отримати готову публікацію: з очищеним HTML, локальними зображеннями, категоріями, тегами, додатковими полями, ЧПУ, перекладами та діагностикою кожного етапу обробки.

Головне

  • Чотири режими: HTML-сторінки, RSS/Atom, гібрид RSS + HTML і Sitemap — підключається майже будь-який сайт
  • Селектори — не проблема: їх підбирає AI, а якщо селектор не спрацював, модуль сам знаходить статтю на сторінці — без меню, коментарів і реклами
  • ШІ на вибір: DeepSeek, OpenAI, Claude, Gemini, OpenRouter і будь-який сервіс з API як в OpenAI — рерайт, переклад, теги й мета-опис
  • Актуальні моделі самі: список моделей завантажується від провайдера з цінами, щойно вказано ключ
  • Готова новина: зображення на вашому сервері, категорії, теги, ЧПУ, додаткові поля та SEO — як під час додавання через адмінпанель DLE
  • Під контролем: фільтри, заміни, ліміти за джерелом, захист від дублів і тест із попереднім переглядом до публікації
  • Зв'язка з Rewrite & Quality PRO: новини можна передавати на рерайт з навичками та перевіркою якості, публікація після рерайту
  • Посилання на джерело: адреса статті-донора зберігається в дод. полі, вивести її під новиною — один рядок у шаблоні

Архітектура модуля: чотири режими парсингу

HTML Parser — класичний веб-скрейпінг

  • Отримання матеріалів безпосередньо з HTML-структури сайту-донора
  • Коректна обробка списків матеріалів: парсер проходить усі знайдені контейнери й шукає посилання всередині кожного блоку
  • URL-based progress: відстеження останнього обробленого матеріалу за URL, а не за порядковим номером на сторінці
  • Підтримка напрямку обробки: від нових до старих і від старих до нових
  • Налаштовувана пагінація: /page/{page}/, ?page={page}, /p/{page}, /offset/{page} та власні шаблони
  • Отримання заголовка, повного тексту, категорій, головного зображення й додаткових полів через CSS-селектори
  • Локальне очищення контенту всередині вибраного блоку, без видалення елементів з усього DOM документа
  • Автоматичне завантаження зображень із тексту матеріалу й заміна зовнішніх посилань на локальні
  • Підтримка додаткових полів DLE: файли, зображення, відео, галереї, HTML-блоки та текстові значення

RSS/Atom Parser — робота з новинними стрічками

  • Підтримка RSS 2.0, RSS 1.0 (RDF) та Atom 1.0
  • Отримання контенту з content:encoded, description та Atom content
  • Обробка namespaces: media, content, dc, atom
  • Отримання зображень з enclosure, media:content, media:thumbnail, media:group та HTML-контенту
  • Додатковий пошук головного зображення на сторінці статті через Open Graph і Twitter meta-теги
  • Отримання категорій зі стрічки та їх зіставлення з категоріями DLE
  • Окрема стратегія cursor для режимів new_to_old та old_to_new, щоб нові матеріали вгорі RSS не пропускалися
  • Очищення RSS-контенту від рекламних і службових блоків через селектори виключення

Hybrid Parser — поєднання RSS і HTML

  • RSS використовується для швидкого отримання списку актуальних матеріалів
  • HTML-сторінка використовується для отримання повного тексту, зображень, категорій і додаткових полів
  • Підтримка HTML category selector з політикою об’єднання категорій: RSS first, HTML fallback або HTML priority
  • Захист від зависання на проблемному матеріалі: item-level failure tracking, fail cursor advancement та ліміт повторних спроб
  • Об’єднання даних із RSS і HTML з пріоритетом повнішого джерела
  • Підтримка завантаження медіа й додаткових полів з HTML-версії статті
  • Оптимальний режим для сайтів, де RSS містить лише анонс, а повний матеріал доступний на сторінці

Sitemap Parser — імпорт матеріалів із sitemap.xml

  • Підтримка звичайних sitemap.xml і sitemap index із вкладеними sitemap-файлами
  • Автоматичне отримання списку URL матеріалів із Sitemap
  • Кешування sitemap-інвентарю для пришвидшення повторних запусків і зменшення навантаження на сайт-донор
  • Підтримка напрямку обробки: від нових до старих і від старих до нових
  • Отримання заголовка, повного тексту, категорій, зображень і додаткових полів через CSS-селектори
  • Відстеження загальної кількості URL і прогресу обробки
  • Захист від повторної публікації вже імпортованих матеріалів

AI-рерайт, переклади та DLE Multi-Language

AI-обробка: шість варіантів провайдера

  • DeepSeek, OpenAI, Anthropic Claude, Google Gemini, OpenRouter і будь-який сервіс з API як в OpenAI: Groq, Mistral, xAI, Together, Fireworks, Moonshot, Z.ai, Qwen, YandexGPT, а також локальні Ollama та LM Studio
  • Актуальні моделі завантажуються від провайдера автоматично, щойно вказано ключ: звичайний список із пошуком і ціною за 1 млн токенів; потрібну модель можна ввести й вручну
  • Кнопка «Перевірити зв'язок» — короткий запит до моделі з витратою токенів і ціною
  • Мова результату: заголовок, текст, опис і теги пишуться вибраною мовою — зручно для перекладу іноземних джерел
  • Мета-опис новини через ШІ (140–160 символів) і автозаповнення мета-тегів
  • Місячний ліміт витрат із попередженням або зупинкою ШІ-обробки; витрати за моделями видно на вкладці «Статистика»
  • Повторні спроби в разі перевантаження сервісу й автоматичне підлаштування параметрів під моделі, які не приймають застарілі налаштування
  • Рерайт заголовка, короткого опису та повного тексту матеріалу
  • Chunk-based обробка довгих статей із розбиттям на безпечні фрагменти
  • Збереження HTML-структури під час рерайту й перекладу: параграфи, списки, заголовки, blockquote, code/pre
  • Захист медіа-елементів перед AI-обробкою: зображення, figure, picture, iframe, video та pre/code блоки тимчасово замінюються маркерами
  • Автоматичне відновлення медіа-елементів після AI-обробки
  • Налаштовувані промпти для заголовка, короткого опису, повного тексту й тегів
  • Повторна обробка підозрілих фрагментів, якщо AI залишив частину тексту мовою оригіналу
  • Додаткова нормалізація HTML після відповіді AI, щоб уникнути зламаних списків і незакритих тегів

Інтеграція з DLE Multi-Language

  • Автоматичне визначення активних мов із конфігурації DLE Multi-Language
  • Заповнення мовних полів: заголовок, короткий і повний опис, теги, адреса новини (ЧПУ), мета-опис і ключові слова для кожної мови
  • Якщо переклад на мову не вдався, ця мовна версія не зберігається — текст мовою оригіналу в чуже поле не потрапляє
  • Переклад повного матеріалу, короткого опису, заголовка й тегів для кожної активної мови
  • Збереження основної мовної версії окремо від перекладів
  • Перевірка наявності мовних колонок перед збереженням, щоб уникнути помилок БД
  • Fallback для тегів: якщо AI не зміг перекласти tags, модуль формує теги з уже перекладеного контенту
  • Підтримка різних мовних сценаріїв: основна мова сайту може відрізнятися від мови сайту-донора

Фільтри, заміни та публікація за джерелом

  • Обов’язкові слова та стоп-слова, мінімальна довжина тексту, максимальний вік матеріалу — перевіряються до ШІ, щоб не витрачати токени
  • Заміни в тексті за правилами, зокрема регулярними виразами
  • Для кожного джерела: публікувати одразу чи на модерацію, автор новин, виведення на головну, дозвіл коментарів і ліміт новин на добу
  • Експорт та імпорт джерел у файл — перенесення налаштувань між сайтами за хвилину

Тестування й попередній перегляд перед публікацією

Real dry-run pipeline

  • Тестування джерела використовує той самий pipeline, що й реальний парсинг
  • Режим dry-run не зберігає матеріал у БД, але показує підсумковий результат обробки
  • Попередній перегляд містить фінальний заголовок, короткий опис, повний текст, категорії, зображення, xfields, tags і duplicate verdict
  • Тест допомагає побачити реальний результат після очищення, AI-рерайту, перекладу, завантаження зображень і обробки додаткових полів
  • В інтерфейсі додано попередження: повна симуляція може тривати кілька хвилин і використовувати AI/API-запити
  • Результат тестування максимально відповідає тому, що буде опубліковано під час реального запуску CRON

CSS-селектори та отримання даних

Розширений selector engine

  • Підтримка базових CSS-селекторів: теги, класи, ID, атрибути
  • Підтримка груп через кому: h1, .title, [itemprop="headline"]
  • Підтримка вкладеності, прямих нащадків і сусідніх елементів: .article .text, .post > p, h1 + .lead
  • Підтримка кількох класів на одному елементі: .post.featured
  • Підтримка атрибутів: [href], [data-src], [itemprop="articleBody"], [class*="content"]
  • Підтримка низки псевдокласів: :first-child, :last-child, :nth-child(), :contains(), :not(), :is(), :where(), :has() у підтримуваних межах
  • Попередження в тестовому режимі для надто складних або непідтримуваних селекторів
  • Докладна довідка в адмінпанелі з прикладами та поясненням підтримуваного синтаксису

Додаткові поля DLE

Завантаження файлів, медіа та галерей

  • Налаштування довільної кількості додаткових полів для кожного джерела
  • Для кожного поля задаються CSS-селектор, атрибут отримання й тип дії
  • Підтримувані атрибути: href, src, data-src, data-href, content, text, html
  • Підтримувані дії: зберегти URL/текст, завантажити файл, завантажити зображення, завантажити відео, зберегти зовнішнє відео, зібрати галерею
  • Галереї автоматично обходять усі знайдені елементи й зберігають результат у форматі DLE
  • Файли та відео зберігаються в uploads/public_files/
  • Зображення зберігаються в uploads/posts/ з метаданими розміру
  • HTML-блоки можна зберігати в додаткові поля із застосуванням політики очищення контенту

Зображення та медіа

Професійна обробка зображень

  • Автоматичне завантаження зображень із повного тексту матеріалу
  • Підтримка HTTPS, редиректів і відносних URL
  • Збереження зображень із розкладанням за датами
  • Заміна зовнішніх URL у контенті на локальні копії
  • Підтримка JPEG, PNG, GIF, WebP і AVIF
  • Опційна конвертація у WebP або AVIF
  • Мінімальна ширина зображення — іконки й лічильники не потрапляють у новину
  • Водяний знак із вашого шаблону DLE
  • Пропорційне зменшення за максимальною шириною та висотою
  • Коректне збереження оригінального формату, якщо конвертацію вимкнено
  • Resize зі збереженням пропорцій через GD або Imagick
  • Отримання зображень із figure, picture, img, srcset, lazy-load атрибутів і meta-тегів

Категорії та теги

Розумне керування категоріями

  • Отримання категорій із RSS, HTML і Sitemap-сторінок
  • Візуальне зіставлення категорій сайту-донора з категоріями DLE
  • Підтримка категорії за замовчуванням для незіставлених матеріалів
  • Підтримка кількох категорій для одного матеріалу
  • Для Hybrid-режиму доступна політика об’єднання категорій із RSS і HTML

Генерація та переклад тегів

  • Автоматична генерація тегів через AI
  • Fallback-генерація тегів із категорій, заголовка й тексту, якщо AI не повернув коректного результату
  • Переклад тегів для DLE Multi-Language
  • Fallback для tags_{iso} з перекладеного контенту, якщо AI-переклад тегів недоступний
  • Нормалізація списку тегів: видалення сміття, дублів і надто довгих фраз

Захист від дублів і надійний прогрес

Система запобігання дублікатам

  • Нормалізація URL перед перевіркою дублів
  • Перевірка за source_url, GUID, заголовком і fingerprint контенту
  • Коректна обробка duplicate skip без хибної помилки збереження
  • Очищення dedupe-прогресу під час повного скидання джерела
  • Захист від повторної публікації після зміни URL-параметрів, trailing slash або tracking-параметрів

Progress і cursor model

  • HTML-джерела використовують URL cursor замість лічильника позиції на сторінці
  • RSS і Sitemap використовують окремі стратегії для new_to_old та old_to_new
  • Hybrid-режим просуває cursor навіть за контрольованих помилок, щоб джерело не зависало на одному матеріалі
  • Скидання прогресу очищає пов’язані dedupe-записи джерела

Structured logs, статистика й моніторинг

Структуровані логи

  • Кожен етап парсингу записується як structured event
  • Лог містить source_id, source_type, source_name, item_url, stage, status, message, duration_ms і додатковий контекст
  • Окремо логуються етапи fetch, parse, download_images, ai_rewrite, translate, generate_tags, translate_tags, db_save та duplicate check
  • Логи допомагають швидко зрозуміти, де саме витрачається час або виникає помилка

Health monitoring джерел

  • Відстеження останнього успішного запуску
  • Fail streak — для розуміння кількості помилок поспіль
  • Duplicate rate — для оцінки якості джерела
  • Average fetch time та average run time
  • Точніша статистика оброблених матеріалів для кожного source

Cloudflare, Proxy та мережевий рівень

Дворівнева система обходу захисту

  • Enhanced cURL з імітацією браузерних заголовків
  • Підтримка cookie persistence між запитами
  • Інтеграція з FlareSolverr для обходу Cloudflare та JavaScript challenges
  • Опційна підтримка HTTP/SOCKS5 proxy
  • Автоматичне перемикання на FlareSolverr у разі виявлення захисної сторінки
  • Graceful fallback на звичайний cURL, якщо обхід захисту не потрібен

Адміністративна панель

Керування джерелами й налаштуваннями

  • Додавання й редагування HTML, RSS/Atom, Hybrid та Sitemap джерел
  • Увімкнення й вимкнення джерел
  • Скидання прогресу та повторна обробка
  • Інтерфейс російською, англійською, українською та іспанською мовами, у стилі адмінпанелі DLE і без горизонтальної прокрутки на будь-якому екрані
  • Зрозумілі підказки в разі проблем: якщо сайт будує сторінки скриптами або закритий від роботів, модуль прямо радить підключити його RSS або sitemap
  • Докладна документація на doc.dlemod.com
  • Попередження про ліміти сервера під час запуску повної симуляції парсингу
  • Вбудований preview підсумкового матеріалу перед публікацією
  • Підтримка старих і нових AJAX endpoints DLE

Безпека

  • Очищення матеріалів донорів від шкідливого коду: скрипти, небезпечні атрибути та iframe зі сторонніх сайтів видаляються
  • Захист від запитів до внутрішніх адрес сервера під час завантаження сторінок, зображень і файлів
  • Усі дії адмінпанелі захищені від підробки запитів; ключі ШІ в налаштуваннях приховано

Round-Robin планувальник

  • Рівномірний розподіл навантаження між активними джерелами
  • Автоматична ротація джерел
  • Налаштування кількості матеріалів за один запуск CRON
  • Захист CRON endpoint через secret key
  • Structured logging кожного запуску
  • Lock-захист від паралельного запуску того самого cron-процесу

Переваги використання

  • Автоматизація: повний цикл від отримання матеріалу до збереження готової публікації в DLE
  • Багатомовність: автоматичне заповнення мовних полів DLE Multi-Language
  • Гнучкість: чотири режими роботи для різних типів джерел
  • Якість контенту: AI-рерайт, переклад, генерація тегів і збереження HTML-структури
  • Надійність: захист від дублів, стійкий cursor, controlled failure handling
  • Прозорість: structured logs, health metrics і зрозумілий preview перед публікацією
  • Медіа: локальне збереження зображень, файлів, відео й галерей
  • Масштабованість: необмежена кількість джерел з Round-Robin обробкою
  • Сумісність: підтримка актуальних версій DLE та PHP 7.4-8.4

Сценарії застосування

  • Новинні агрегатори: регулярний імпорт матеріалів із кількох RSS, HTML і Sitemap джерел
  • Тематичні блоги: адаптація й переклад зарубіжного контенту основною мовою сайту
  • Багатомовні сайти: автоматичне заповнення мовних версій матеріалів
  • Оглядові портали: імпорт оглядів, інструкцій, гайдів і технічних статей
  • Регіональні ЗМІ: збір публікацій із локальних джерел із подальшою обробкою
  • Освітні проєкти: імпорт навчальних матеріалів, посібників і документації
  • Контентні портали: масове наповнення розділів із контролем дублів, категорій і тегів

Технічні вимоги та сумісність

  • DLE: 15.1 – 21.0
  • PHP: 7.4 - 8.4
  • Розширення PHP: CURL, DOM, XPath, libxml, GD або Imagick, JSON, mbstring
  • MySQL/MariaDB: сумісна версія, яку підтримує ваша версія DLE
  • Права доступу: запис у /uploads/posts/, /uploads/public_files/, /engine/data/, /engine/cache/
  • AI API: ключ будь-якого з підтримуваних провайдерів (або локальний сервер Ollama / LM Studio), якщо використовуються рерайт, переклад чи генерація тегів
  • CRON: доступ до налаштування планувальника завдань
  • FlareSolverr: опційно, потрібен лише для сайтів із захистом Cloudflare/JavaScript

Скріншоти

Натисніть на скріншот, щоб збільшити

Виберіть відповідний тариф

Ми пропонуємо гнучкі варіанти ліцензування залежно від ваших потреб.

Стандарт
$62
  • 3 сайти
  • Відкритий вихідний код
  • Підтримка 12 місяців
  • Без оновлень
  • Завантаження 7 днів
Купити
Рекомендуємо
Розширений
$74
  • Усі функції Стандарту
  • 10 сайтів
  • Пріоритетна підтримка
  • Оновлення 12 місяців
Купити
Преміум
$135
  • Усі функції Розширеного
  • Необмежена кількість сайтів
  • Персональні консультації
  • Оновлення назавжди
  • Встановлення та налаштування
  • Адаптація під ваш сайт (включно з доопрацюванням коду)
Купити
Без прив'язкиДля студій і закритих серверів

Усе з Преміуму, але ключ не прив'язаний до сайтів і модуль не звертається до нашого сервера.

$368
Купити

Сайт — це домен разом з усіма його піддоменами.

Історія версій

  1. 4.2.0 поточна 3 Нове 1 Покращено 2 Виправлено

    Нове 3

    • Коротка новина прямо зі сторінки донора: окремий селектор у джерелах HTML, Sitemap і Hybrid; якщо порожньо, коротка збирається з тексту, як раніше
    • Переписування через Rewrite & Quality PRO: новини йдуть у його чергу й публікуються після рерайту та перевірки якості
    • Можна зберігати весь текст у коротку новину, а повну лишати порожньою, для сайтів, де виводяться лише короткі

    Покращено 1

    • Посилання на статтю-донор: налаштування в «Налаштуваннях» з готовим кодом для шаблону повної новини та підказкою, якщо в DLE немає поля source_url

    Виправлено 2

    • Статті іншою мовою після рерайту більше не лишаються мовою джерела: відповідь ШІ перевіряється й за потреби перекладається
    • Тест джерела показує категорію та зіставлення категорій так само, як справжній запуск
  2. 4.1.1 1 Виправлено

    Виправлено 1

    • Головна і списки новин більше не збираються заново після кожної новини з CRON: кеш DLE скидається не частіше одного разу на 30 хвилин (інтервал — у налаштуваннях, 0 — одразу) і лише якщо були опубліковані новини
  3. 4.1.0 1 Виправлено

    Виправлено 1

    • Знайдено й виправлено кілька дрібних помилок
  4. 4.0.4 2 Виправлено

    Виправлено 2

    • Службові дані модуля в папці engine/data більше не відкриваються з браузера на серверах з nginx
    • У DLE без іспанської мови в перемикачі мов адмінки більше не з'являється зайвий «Spanish» з помилкою «Language file not found»
  5. 4.0.3 1 Виправлено

    Виправлено 1

    • У DLE до 17.2 опис модуля в списку плагінів одразу після встановлення й оновлення показується мовою адмінки, без службових тегів
Ще 13 версій
  1. 4.0.2 1 Покращено

    Покращено 1

    • Перевірено роботу на всіх версіях DLE з 15.0 по 21.0
  2. 4.0.1 1 Покращено 1 Виправлено

    Покращено 1

    • Підбір селекторів через AI перевіряє, що селектор тексту справді знаходить статтю, а селектор заголовка — заголовок

    Виправлено 1

    • Якщо селектор тексту знайшов замало тексту, модуль сам бере статтю зі сторінки, а не зберігає уривок
  3. 4.0.0 11 Нове 9 Покращено 8 Виправлено

    Нове 11

    • Підтримка DLE 21.0 і перевірка на всіх версіях від 17.1 до 21.0
    • Нові ШІ-провайдери: Anthropic Claude і будь-який сервіс з API як в OpenAI — Groq, Mistral, xAI, Yandex, Ollama, LM Studio та інші
    • Актуальні моделі завантажуються від провайдера самі, щойно вказано ключ, — вибір у звичайному списку з пошуком і цінами; ID моделі можна ввести вручну
    • Мова результату ШІ: заголовок, текст, опис і теги пишуться обраною мовою
    • Мета-опис новини через ШІ та автозаповнення мета-тегів
    • Фільтри джерела: обов'язкові та стоп-слова, мінімальна довжина, вік матеріалу — перевіряються до ШІ
    • Заміни в тексті за правилами, зокрема регулярними виразами
    • Для кожного джерела: статус новин, автор, головна сторінка, коментарі та ліміт новин на добу
    • Експорт та імпорт джерел у файл
    • Зображення: мінімальна ширина, водяний знак шаблону, формат AVIF, пропорційне зменшення
    • Інтерфейс модуля українською та іспанською мовами

    Покращено 9

    • Новини зберігаються як в адмінці DLE: кеш сайту оновлюється, зображення видно в менеджері файлів, теги й категорії — лише в опублікованих
    • ШІ-рерайт більше не втрачає таблиці, заголовки й текст поза абзацами та не дублює зображення
    • Оновлено моделі та промпти: DeepSeek V4.1, GPT-5.6, Gemini 3.8, Claude 5; старі назви моделей переносяться автоматично
    • Повторні спроби при перевантаженні ШІ-сервісу та облік кожного запиту у витратах
    • Проблемний матеріал більше не повторюється при кожному запуску CRON
    • Інтерфейс у стилі адмінки DLE, без горизонтальної прокрутки, на всіх версіях DLE
    • Якщо селектор заголовка чи тексту не спрацював, модуль сам знаходить статтю на сторінці: без меню, коментарів і назви сайту в заголовку
    • Якщо сайт будує сторінку скриптами або закритий від роботів, тест і підбір селекторів через AI прямо радять підключити RSS або sitemap
    • Інтеграція DLE Multi-Language: для кожної мови заповнюються також адреса новини, опис і ключові слова

    Виправлено 8

    • Захист від шкідливого коду в матеріалах донорів і від запитів до внутрішніх адрес сервера
    • Запуск CRON більше не затирає налаштування, збережені під час його роботи
    • Кодування донорів (windows-1251, koi8-r та ін.), відносні посилання та адреси новин українською
    • Кнопка видалення джерела в DLE 17.1 і збереження налаштувань під час редагування джерела
    • RSS-стрічки, де посилання новин відрізняються лише якорем або немає заголовка, імпортуються повністю
    • Код скриптів донора більше не потрапляє в текст новини, а абзаци й переноси рядків в описі не склеюються
    • Картинки GIF і PNG з палітрою більше не зупиняють імпорт під час збереження у WebP
    • Лапки й апострофи в заголовках новин більше не показуються на сайті як " і '
  4. 3.1.0 9 Нове 8 Покращено 7 Виправлено

    Нове 9

    • Модуль полностью адаптирован под DLE 20.0: исправлена загрузка модуля и языковых файлов, восстановлено корректное отображение интерфейса панели управления и исправлена работа с базой данных новой версии движка.
    • Добавлена мультиязычность интерфейса: все тексты вынесены в языковые файлы language/Russian/parser.lng и language/English/parser.lng, язык модуля переключается вместе с языком админпанели DLE.
    • Добавлены новые AI-провайдеры OpenRouter и Google Gemini. Теперь доступны DeepSeek, OpenAI, OpenRouter и Gemini.
    • Добавлена автоматическая загрузка списка моделей напрямую от AI-провайдера и кнопка проверки соединения, поэтому переименование моделей у провайдера больше не ломает работу модуля.
    • Добавлен учёт расхода AI: количество запросов, токенов и оценочная стоимость по дням, провайдерам и моделям, а также месячный лимит расходов с возможностью остановки обработки.
    • Добавлено автоматическое восстановление заголовка, текста, изображения и категорий из микроразметки Schema.org / OpenGraph, если CSS-селекторы перестали работать после редизайна сайта-донора.
    • Добавлен подбор CSS-селекторов через AI: модуль анализирует структуру страницы и предлагает готовые селекторы, каждый из которых проверяется на реальной странице перед подстановкой.
    • Добавлена загрузка полного текста статьи для RSS-лент, которые отдают только анонс.
    • Добавлена опция сохранения оригинальной даты публикации источника вместо времени импорта.

    Покращено 8

    • Обновлены модели DeepSeek (V4 Flash и V4 Pro) и OpenAI (GPT-5.6). Устаревшие идентификаторы моделей мигрируют автоматически при обновлении.
    • Добавлено управление режимом размышления моделей DeepSeek, OpenAI и Gemini, что заметно снижает стоимость и время обработки.
    • Значительно ускорена проверка дублей: вместо отдельного запроса на каждый URL используется пакетная выборка, что критично для больших sitemap и лент.
    • Улучшен Hybrid режим: если селектор контента не задан или не сработал, текст статьи восстанавливается автоматически.
    • Улучшена поддержка отложенной загрузки изображений: добавлены дополнительные варианты атрибутов и возврат к обычному src.
    • Усилена безопасность: AJAX-запросы модуля теперь требуют прав администратора и проверки токена, добавлена защита от обращения к локальным и внутренним адресам.
    • Улучшена работа CRON: увеличены лимиты выполнения, безопасное сравнение секретного ключа и корректная обработка ошибок на PHP 8.
    • Обновлено оформление модуля под панель управления DLE 20: восстановлены цвета кнопок, меток, индикаторов прогресса и информационных блоков.

    Виправлено 7

    • Исправлена основная причина, по которой AI-обработка молча не срабатывала: модель тратила весь лимит ответа на скрытые рассуждения и возвращала пустой результат, а модуль сохранял исходный текст без обработки.
    • Исправлено формирование краткого описания и разбиение текста для AI на больших и сложных страницах, где ранее описание могло оказаться пустым.
    • Исправлено обрезание длинных ответов AI: теперь запрос автоматически повторяется с увеличенным лимитом.
    • Исправлены повреждённые русские тексты в сообщениях проверки настроек источников.
    • Исправлена проверка соединения с базой данных на DLE 20: модуль лишний раз переподключался к MySQL на каждом шаге обработки.
    • Исправлены невидимые кнопки и метки в интерфейсе на DLE 20.
    • Найдены и исправлены другие мелкие ошибки.
  5. 3.0.0 5 Нове 11 Покращено 7 Виправлено

    Нове 5

    • Добавлена полноценная интеграция с DLE Multi-Language: автоматическое сохранение переводов в title_{iso}, short_story_{iso}, full_story_{iso} и tags_{iso}.
    • Добавлен новый режим парсинга Sitemap с поддержкой больших sitemap-файлов, вложенных sitemap index и кеширования списка URL.
    • Добавлен реальный dry-run режим тестирования: проверка теперь выполняет симуляцию полного парсинга без записи в базу данных и показывает итоговый publish payload.
    • Добавлены структурированные логи парсинга со стадиями обработки, статусами, временем выполнения, source_id, item_url и информацией об ошибках.
    • Добавлен мониторинг состояния источников: health status, fail streak, duplicate rate, average fetch/run time и время последнего успешного запуска.

    Покращено 11

    • Полностью переработана логика HTML-парсинга списка материалов: теперь обрабатываются все найденные контейнеры, а не только первый matched node.
    • HTML progress переведен на URL/cursor модель вместо count-based прогресса, что снижает риск пропуска новых материалов.
    • Исправлена стратегия cursor для RSS, Hybrid и Sitemap в режиме new_to_old, чтобы новые материалы в верхней части источника не пропускались.
    • Улучшен Hybrid режим: добавлена обработка ошибок по материалам, advancement cursor при сбоях и защита от бесконечного застревания на одном item.
    • Добавлена поддержка HTML category selector в Hybrid режиме и политика объединения категорий RSS/HTML.
    • Усилен механизм поиска дублей: добавлена нормализация URL, GUID/external id, fingerprint заголовка и hash контента.
    • Улучшена нормализация URL перед проверкой дублей: учитываются trailing slash, fragment, tracking-параметры и различия в формате ссылок.
    • Усилен CSS selector engine: добавлена поддержка групп, комбинаторов, атрибутных селекторов и ряда pseudo-селекторов.
    • Добавлены предупреждения о поддерживаемом subset CSS-селекторов в help-разделе и test result.
    • Улучшена AI-обработка HTML: сохранение структуры тегов, защита media/code/pre блоков, повторная проверка неполных переводов и более стабильная работа с длинным контентом.
    • Улучшена генерация и перевод тегов, включая fallback-механизм, если AI не вернул корректный результат.

    Виправлено 7

    • Исправлено сохранение изображений при отключенном reformat: теперь сохраняется реальный исходный формат файла.
    • Исправлены случаи, когда AI мог вернуть ссылки или HTML, не соответствующие настройкам очистки контента.
    • Исправлена обработка figure/img блоков: изображения корректно извлекаются, очищаются и могут быть загружены на сервер.
    • Исправлены случаи, когда code/pre блоки могли быть пропущены или удалены во время AI-обработки.
    • Исправлены проблемы с незакрытыми ul/ol/li тегами в AI-переводах.
    • Исправлена совместимость DB reconnect check с PHP 8 и mysqli.
    • Найдены и исправлены другие мелкие ошибки.
  6. 2.1.4 1 Виправлено

    Виправлено 1

    • Обнаружены и исправлены некоторые баги.
  7. 2.1.3 1 Виправлено

    Виправлено 1

    • Обнаружены и исправлены некоторые баги.
  8. 2.1.2 1 Виправлено

    Виправлено 1

    • Обнаружены и исправлены некоторые баги.
  9. 2.1.1 3 Нове

    Нове 3

    • Добавлена автоматическая генерация тегов через DeepSeek AI — анализирует заголовок и текст статьи и предлагает теги на русском языке
    • Новая настройка в разделе «Основные» — включение/отключение генерации тегов с указанием зависимости от AI Rewrite
    • Настраиваемый промпт для генерации тегов добавлен в раздел «AI Rewrite»
  10. 2.1.0 5 Нове 1 Виправлено

    Нове 5

    • Добавлена поддержка DLE 19.1
    • Теперь парсер умеет автоматически скачивать с сайта-донора файлы, видео, изображения и целые галереи — и сохранять всё это в дополнительные поля вашего сайта. Торренты, обложки, скриншоты, локальные видео — всё подтягивается само
    • Можно сохранять в дополнительное поле любой текстовый блок со страницы — например, таблицу характеристик или описание, прямо с форматированием
    • При парсинге RSS лента теперь старается взять обложку статьи с самой страницы (более качественную), а не из RSS-потока
    • В раздел «Помощь» добавлено подробное руководство по дополнительным полям — с примерами для каждого типа данных (файл, фото, видео, галерея, текст) и советами по частым ошибкам

    Виправлено 1

    • Найдены и исправлены некоторые мелкие баги.
  11. 2.0.0 7 Нове 2 Покращено 2 Виправлено

    Нове 7

    • Добавлена поддержка Proxy (HTTP/SOCKS5) для обхода блокировок и смены IP
    • Интеграция FlareSolverr для автоматического обхода Cloudflare защиты
    • Гибкая настройка очистки контента из админ-панели (удаление scripts, styles, links, атрибутов)
    • FlareSolverr fallback для изображений при неудачной загрузке через cURL
    • Автоматическое определение и использование Proxy из настроек во всех AJAX endpoints
    • Проверка статуса FlareSolverr в режиме реального времени
    • Тестирование Proxy прямо из настроек с определением IP и геолокации

    Покращено 2

    • Улучшенная архитектура
    • Обновлен интерфейс настроек: 6 категорий (Основные, Cloudflare, Proxy, Очистка контента, AI Rewrite, Изображения)

    Виправлено 2

    • Исправлены проблемы с загрузкой страниц, защищенных Cloudflare
    • Устранены конфликты имен функций между разными модулями
  12. 1.0.1 1 Виправлено

    Виправлено 1

    • Обнаружены и исправлены некоторые баги.
  13. 1.0.0 1 Нове

    Нове 1

    • Первый релиз модуля
Помилки та пропозиції Повідомте про помилку або запропонуйте покращення — і стежте за статусом. 0відкрито 2виправлено за місяць
DLE Parser PRO · модуль для DataLife Engine

Коментарі10

D KK G M O
5 учасників
kosti kazancev

так же интересует как настраевается шаблон если в доноре это перекрестный ссылки и с категориями у вас 1 селект но в доноре может быть несколько категорий + в разных местах типо жанр год итд , и какая категория к какому слову как присваевается тоже не понятно , и по доп полям как у категорий там может быть в ссылках текст итд или в других тегах

dlemod Розробник

По категориям: в настройках источника есть кнопка «Загрузить категории с сайта» — парсер сам находит рубрики донора, и каждой вы ставите свою категорию DLE. Если включить «Мультикатегории», новость попадёт во все сопоставленные категории, а если сопоставления нет — в категорию по умолчанию.

Жанр, год и прочее удобнее забирать в доп. поля: для каждого поля задаётся свой CSS-селектор и что брать — текст, ссылку, картинку или файл. Так что перекрёстные ссылки и теги в разных местах страницы тоже разбираются.

kosti kazancev

здраствуйте нормальный прогеры делают админку обрезанную с плагином итд чтоб покупатели могли почупать плагин настроки итд потестит подходить ли он или нет , скрины это хорошо но тесты всегда лудше , но как понимаю у вас такой нет так ?

dlemod Розробник

Здравствуйте. Да, демо-админки пока нет. Зато есть подробная документация со скриншотами всех экранов (ссылка «Документация» на этой странице), и код модуля открыт. Если сомневаетесь насчёт конкретного донора — скиньте ссылку сюда, подскажем, возьмёт его парсер или нет.

oldnick

Прошу уточнить приблизительную стоимость рерайта ДипСиком за 1000 знаков. Возможна ли настройка на сокращение текста, например рерайт статьи 5000 знаков в статью 1000 знаков. Если уже есть рерайт модули, работающие на других ИИ, можно ли их включить в данный модуль и выбирать в настройках оптимальную нейронку под определенную тему. Например, по теме медицины пишет Джемини, по теме ИТ - Клод, по искусству - ДипСик и тд. Или же исходя из стоимости токенов - где выгоднее, на тот ИИ и переключиться.

dlemod Розробник

Здравствуйте. 1000 знаков у DeepSeek — это пара копеек.

Сократить можно: в настройках есть «Промпт для полного текста», допишите туда, например, «сократи текст примерно в 4–5 раз». До знака нейросеть объём не держит, но в нужный размер попадает.

Нейросеть выбирается одна на весь модуль: DeepSeek, OpenAI, Claude, Gemini, OpenRouter или любой сервис с API как у OpenAI, переключается в пару кликов. Сторонние модули рерайта внутрь не подключить, да и незачем — эти сети уже встроены. А вот разные нейросети под разные темы пока не делали, идею записали.

Masterwen

Здравствуйте. Я какая будет цена AI-рерайта через DeepSeek к примеру за одну новость. И как пополнят DeepSeek

dlemod Розробник

Здравствуйте. Выходит совсем недорого: обычная новость на 3–5 тысяч знаков через DeepSeek стоит примерно 20–30 копеек, точнее зависит от длины текста.

Баланс DeepSeek пополняется на platform.deepseek.com, раздел Top up, картой. Если карта не проходит, можно подключить OpenRouter — он в модуле тоже есть.

Ghost

Здравствуйте! Планирую купить DLE Parser PRO. Подскажите, смогу ли я использовать одну лицензию на 2-3 сайтах одновременно? Или она строго привязывается к одному домену?

dlemod Розробник

Здравствуйте! Нет, к одному домену лицензия не привязана. На тарифе «Стандарт» можно подключить до 3 сайтов, на «Расширенном» — до 10, на «Премиуме» — сколько угодно. Сайты добавляете сами в личном кабинете.

Щоб написати коментар, увійдіть в акаунт.

Увійти Реєстрація