DLE Parser PRO

DLE Parser PRO — комплексне рішення для DataLife Engine, призначене для автоматичного імпорту, обробки, перекладу та публікації матеріалів із зовнішніх джерел. Модуль поєднує HTML-парсинг, RSS/Atom-стрічки, гібридний режим RSS + HTML, імпорт через Sitemap, обробку зображень, додаткові поля DLE, захист від дублів, AI-рерайт та інтеграцію з DLE Multi-Language.

Система розрахована на власників новинних сайтів, тематичних порталів, блогів, агрегаторів і контентних проєктів, яким важливо не просто скопіювати матеріал, а отримати готову публікацію: з очищеним HTML, локальними зображеннями, категоріями, тегами, додатковими полями, ЧПУ, перекладами та діагностикою кожного етапу обробки.

Архітектура модуля: чотири режими парсингу

HTML Parser — класичний веб-скрейпінг

• Отримання матеріалів безпосередньо з HTML-структури сайту-донора
• Коректна обробка списків матеріалів: парсер проходить усі знайдені контейнери й шукає посилання всередині кожного блоку
• URL-based progress: відстеження останнього обробленого матеріалу за URL, а не за порядковим номером на сторінці
• Напрямок обробки на вибір: від нових до старих або від старих до нових
• Налаштовувана пагінація: /page/{page}/, ?page={page}, /p/{page}, /offset/{page} та власні шаблони
• Отримання заголовка, повного тексту, категорій, головного зображення й додаткових полів через CSS-селектори
• Локальне очищення контенту всередині вибраного блоку, без видалення елементів з усього DOM документа
• Автоматичне завантаження зображень із тексту матеріалу й заміна зовнішніх посилань на локальні
• Підтримка додаткових полів DLE: файли, зображення, відео, галереї, HTML-блоки та текстові значення

RSS/Atom Parser — робота з новинними стрічками

• Підтримка RSS 2.0, RSS 1.0 (RDF) та Atom 1.0
• Отримання контенту з content:encoded, description та Atom content
• Обробка namespaces: media, content, dc, atom
• Отримання зображень з enclosure, media:content, media:thumbnail, media:group та HTML-контенту
• Додатковий пошук головного зображення на сторінці статті через Open Graph і Twitter meta-теги
• Отримання категорій зі стрічки та їх зіставлення з категоріями DLE
• Окрема стратегія cursor для режимів new_to_old та old_to_new, щоб нові матеріали вгорі RSS не пропускалися
• Очищення RSS-контенту від рекламних і службових блоків через селектори виключення

Hybrid Parser — поєднання RSS і HTML

• RSS використовується для швидкого отримання списку актуальних матеріалів
• HTML-сторінка використовується для отримання повного тексту, зображень, категорій і додаткових полів
• Підтримка HTML category selector з політикою об’єднання категорій: RSS first, HTML fallback або HTML priority
• Захист від зависання на проблемному матеріалі: item-level failure tracking, fail cursor advancement та ліміт повторних спроб
• Об’єднання даних із RSS і HTML з пріоритетом повнішого джерела
• Завантаження медіа й додаткових полів з HTML-версії статті
• Оптимальний режим для сайтів, де RSS містить лише анонс, а повний матеріал доступний на сторінці

Sitemap Parser — імпорт матеріалів із sitemap.xml

• Підтримка звичайних sitemap.xml і sitemap index із вкладеними sitemap-файлами
• Автоматичне отримання списку URL матеріалів із Sitemap
• Кешування sitemap-інвентарю для пришвидшення повторних запусків і зменшення навантаження на сайт-донор
• Напрямок обробки на вибір: від нових до старих або від старих до нових
• Отримання заголовка, повного тексту, категорій, зображень і додаткових полів через CSS-селектори
• Відстеження загальної кількості URL і прогресу обробки
• Захист від повторної публікації вже імпортованих матеріалів

AI-рерайт, переклади та DLE Multi-Language

AI-обробка через DeepSeek і OpenAI

• DeepSeek або OpenAI як AI-провайдер
• Рерайт заголовка, короткого опису та повного тексту матеріалу
• Chunk-based обробка довгих статей із розбиттям на безпечні фрагменти
• Збереження HTML-структури під час рерайту й перекладу: параграфи, списки, заголовки, blockquote, code/pre
• Захист медіа-елементів перед AI-обробкою: зображення, figure, picture, iframe, video та pre/code блоки тимчасово замінюються маркерами
• Автоматичне відновлення медіа-елементів після AI-обробки
• Налаштовувані промпти для заголовка, короткого опису, повного тексту й тегів
• Повторна обробка підозрілих фрагментів, якщо AI залишив частину тексту мовою оригіналу
• Додаткова нормалізація HTML після відповіді AI, щоб уникнути зламаних списків і незакритих тегів

Інтеграція з DLE Multi-Language

• Автоматичне визначення активних мов із конфігурації DLE Multi-Language
• Заповнення мовних колонок: title_{iso}, short_story_{iso}, full_story_{iso}, tags_{iso}
• Переклад повного матеріалу, короткого опису, заголовка й тегів для кожної активної мови
• Збереження основної мовної версії окремо від перекладів
• Генерація alt_name для мовної версії за перекладеним заголовком
• Перевірка наявності мовних колонок перед збереженням, щоб уникнути помилок БД
• Fallback для тегів: якщо AI не зміг перекласти tags, модуль формує теги з уже перекладеного контенту
• Підтримка різних мовних сценаріїв: основна мова сайту може відрізнятися від мови сайту-донора

Тестування й попередній перегляд перед публікацією

Справжній dry-run pipeline

• Тестування джерела використовує той самий pipeline, що й реальний парсинг
• Режим dry-run не зберігає матеріал у БД, але показує підсумковий результат обробки
• Попередній перегляд містить фінальний заголовок, короткий опис, повний текст, категорії, зображення, xfields, tags і duplicate verdict
• Тест показує реальний результат після очищення, AI-рерайту, перекладу, завантаження зображень і обробки додаткових полів
• В інтерфейсі є попередження: повна симуляція може тривати кілька хвилин і використовувати AI/API-запити
• Результат тестування максимально відповідає тому, що буде опубліковано під час реального запуску CRON

CSS-селектори та отримання даних

Розширений selector engine

• Базові CSS-селектори: теги, класи, ID, атрибути
• Групи через кому: h1, .title, [itemprop="headline"]
• Вкладеність, прямі нащадки та сусідні елементи: .article .text, .post > p, h1 + .lead
• Кілька класів на одному елементі: .post.featured
• Атрибути: [href], [data-src], [itemprop="articleBody"], [class*="content"]
• Низка псевдокласів: :first-child, :last-child, :nth-child(), :contains(), :not(), :is(), :where(), :has() у підтримуваних межах
• Попередження в тестовому режимі для надто складних або непідтримуваних селекторів
• Докладна довідка в адмінпанелі з прикладами та поясненням підтримуваного синтаксису

Додаткові поля DLE

Завантаження файлів, медіа та галерей

• Довільна кількість додаткових полів для кожного джерела
• Для кожного поля задаються CSS-селектор, атрибут отримання й тип дії
• Підтримувані атрибути: href, src, data-src, data-href, content, text, html
• Підтримувані дії: зберегти URL/текст, завантажити файл, завантажити зображення, завантажити відео, зберегти зовнішнє відео, зібрати галерею
• Галереї автоматично обходять усі знайдені елементи й зберігають результат у форматі DLE
• Файли та відео зберігаються в uploads/public_files/
• Зображення зберігаються в uploads/posts/ з метаданими розміру
• HTML-блоки можна зберігати в додаткові поля із застосуванням політики очищення контенту

Зображення та медіа

Професійна обробка зображень

• Автоматичне завантаження зображень із повного тексту матеріалу
• Підтримка HTTPS, редиректів і відносних URL
• Збереження зображень із розкладанням за датами
• Заміна зовнішніх URL у контенті на локальні копії
• Підтримка JPEG, PNG, GIF і WebP
• Опційна конвертація у WebP
• Коректне збереження оригінального формату, якщо конвертацію вимкнено
• Resize зі збереженням пропорцій через GD або Imagick
• Отримання зображень із figure, picture, img, srcset, lazy-load атрибутів і meta-тегів

Категорії та теги

Розумне керування категоріями

• Отримання категорій із RSS, HTML і Sitemap-сторінок
• Візуальне зіставлення категорій сайту-донора з категоріями DLE
• Категорія за замовчуванням для незіставлених матеріалів
• Кілька категорій для одного матеріалу
• Для Hybrid-режиму доступна політика об’єднання категорій із RSS і HTML

Генерація та переклад тегів

• Автоматична генерація тегів через AI
• Fallback-генерація тегів із категорій, заголовка й тексту, якщо AI не повернув коректного результату
• Переклад тегів для DLE Multi-Language
• Fallback для tags_{iso} з перекладеного контенту, якщо AI-переклад тегів недоступний
• Нормалізація списку тегів: видалення сміття, дублів і надто довгих фраз

Захист від дублів і надійний прогрес

Система запобігання дублікатам

• Нормалізація URL перед перевіркою дублів
• Перевірка за source_url, GUID, заголовком і fingerprint контенту
• Коректна обробка duplicate skip без хибної помилки збереження
• Очищення dedupe-прогресу під час повного скидання джерела
• Захист від повторної публікації після зміни URL-параметрів, trailing slash або tracking-параметрів

Progress і cursor model

• HTML-джерела використовують URL cursor замість лічильника позиції на сторінці
• RSS і Sitemap використовують окремі стратегії для new_to_old та old_to_new
• Hybrid-режим просуває cursor навіть за контрольованих помилок, щоб джерело не зависало на одному матеріалі
• Скидання прогресу очищає пов’язані dedupe-записи джерела

Structured logs, статистика й моніторинг

Структуровані логи

• Кожен етап парсингу записується як structured event
• Лог містить source_id, source_type, source_name, item_url, stage, status, message, duration_ms і додатковий контекст
• Окремо логуються етапи fetch, parse, download_images, ai_rewrite, translate, generate_tags, translate_tags, db_save та duplicate check
• Логи допомагають швидко зрозуміти, де саме витрачається час або виникає помилка

Health monitoring джерел

• Відстеження останнього успішного запуску
• Fail streak — кількість помилок поспіль
• Duplicate rate — для оцінки якості джерела
• Average fetch time та average run time
• Точніша статистика оброблених матеріалів для кожного source

Cloudflare, Proxy та мережевий рівень

Дворівнева система обходу захисту

• Enhanced cURL з імітацією браузерних заголовків
• Збереження cookie між запитами
• Інтеграція з FlareSolverr для обходу Cloudflare та JavaScript challenges
• Опційна підтримка HTTP/SOCKS5 proxy
• Автоматичне перемикання на FlareSolverr у разі виявлення захисної сторінки
• Graceful fallback на звичайний cURL, якщо обхід захисту не потрібен

Адміністративна панель

Керування джерелами й налаштуваннями

• Додавання й редагування HTML, RSS/Atom, Hybrid та Sitemap джерел
• Увімкнення й вимкнення джерел
• Скидання прогресу та повторна обробка
• Докладна довідка щодо режимів, селекторів, додаткових полів і налаштувань
• Попередження про ліміти сервера під час запуску повної симуляції парсингу
• Вбудований попередній перегляд підсумкового матеріалу перед публікацією
• Підтримка старих і нових AJAX endpoints DLE

Round-Robin планувальник

• Рівномірний розподіл навантаження між активними джерелами
• Автоматична ротація джерел
• Налаштування кількості матеріалів за один запуск CRON
• Захист CRON endpoint через secret key
• Structured logging кожного запуску
• Lock-захист від паралельного запуску того самого cron-процесу

Переваги використання

• Автоматизація: повний цикл від отримання матеріалу до збереження готової публікації в DLE
• Багатомовність: автоматичне заповнення мовних полів DLE Multi-Language
• Гнучкість: чотири режими роботи для різних типів джерел
• Якість контенту: AI-рерайт, переклад, генерація тегів і збереження HTML-структури
• Надійність: захист від дублів, стійкий cursor, controlled failure handling
• Прозорість: structured logs, health metrics і зрозумілий попередній перегляд перед публікацією
• Медіа: локальне збереження зображень, файлів, відео й галерей
• Масштабованість: необмежена кількість джерел з Round-Robin обробкою
• Сумісність: підтримка актуальних версій DLE та PHP 7.4–8.4

Сценарії застосування

• Новинні агрегатори: регулярний імпорт матеріалів із кількох RSS, HTML і Sitemap джерел
• Тематичні блоги: адаптація й переклад зарубіжного контенту основною мовою сайту
• Багатомовні сайти: автоматичне заповнення мовних версій матеріалів
• Оглядові портали: імпорт оглядів, інструкцій, гайдів і технічних статей
• Регіональні ЗМІ: збір публікацій із локальних джерел із подальшою обробкою
• Освітні проєкти: імпорт навчальних матеріалів, посібників і документації
• Контентні портали: масове наповнення розділів із контролем дублів, категорій і тегів

Технічні вимоги та сумісність

• DLE: 14.x – 20.0
• PHP: 7.4 – 8.4
• Розширення PHP: CURL, DOM, XPath, libxml, GD або Imagick, JSON, mbstring
• MySQL/MariaDB: сумісна версія, яку підтримує ваша версія DLE
• Права доступу: запис у /uploads/posts/, /uploads/public_files/, /engine/data/, /engine/cache/
• AI API: DeepSeek або OpenAI, якщо використовуються рерайт, переклад чи генерація тегів
• CRON: доступ до налаштування планувальника завдань
• FlareSolverr: опційно, потрібен лише для сайтів із захистом Cloudflare/JavaScript