Order a module Order a template

DLE Parser PRO

Automatic news import into DLE from HTML, RSS/Atom and Sitemap with AI rewriting and translation (DeepSeek, OpenAI, Claude, Gemini and any OpenAI-compatible API), local images, filters and duplicate protection.
Version 4.2.0 PHP 7.4 — 8.4 DLE 15.1 — 21.0 Documentation

DLE Parser PRO is a complete DataLife Engine solution for automatically importing, processing, translating and publishing content from external sources. It brings together HTML parsing, RSS/Atom feeds, a hybrid RSS + HTML mode, Sitemap import, image processing, DLE additional fields, duplicate protection, AI rewriting and integration with DLE Multi-Language.

It is built for owners of news sites, niche portals, blogs, aggregators and content projects who need more than a copied article — they need a ready-to-publish post with clean HTML, local images, categories, tags, additional fields, SEO-friendly URLs, translations and diagnostics for every processing step.

Highlights

  • Four modes: HTML pages, RSS/Atom, hybrid RSS + HTML and Sitemap — almost any site can be connected
  • Selectors made easy: AI suggests them, and if a selector misses, the module finds the article on the page by itself — without menus, comments or ads
  • Your choice of AI: DeepSeek, OpenAI, Claude, Gemini, OpenRouter and any service with an OpenAI-compatible API — rewriting, translation, tags and meta descriptions
  • Up-to-date models automatically: the model list with prices is loaded from the provider as soon as you enter a key
  • Ready-made news post: images on your server, categories, tags, SEO-friendly URLs, additional fields and SEO — just like adding it through the DLE admin panel
  • Under control: filters, replacements, per-source limits, duplicate protection and a test run with preview before publishing
  • Works with Rewrite & Quality PRO: news can be sent for a rewrite with skills and quality check, published after the rewrite
  • Link to the source: the source article address is saved in an extra field, showing it under the news is one line in the template

Architecture: four parsing modes

HTML Parser — classic web scraping

  • Extracts items straight from the HTML structure of the source site
  • Handles item lists correctly: the parser walks through every container it finds and looks for the link inside each block
  • URL-based progress: tracks the last processed item by its URL rather than by its position on the page
  • Processing direction of your choice: newest to oldest or oldest to newest
  • Configurable pagination: /page/{page}/, ?page={page}, /p/{page}, /offset/{page} and custom patterns
  • Title, full text, categories, main image and additional fields are extracted with CSS selectors
  • Content is cleaned locally inside the selected block, without removing elements from the whole document DOM
  • Images from the article text are downloaded automatically and external links are replaced with local ones
  • Supports DLE additional fields: files, images, videos, galleries, HTML blocks and text values

RSS/Atom Parser — working with news feeds

  • Supports RSS 2.0, RSS 1.0 (RDF) and Atom 1.0
  • Reads content from content:encoded, description and Atom content
  • Handles namespaces: media, content, dc, atom
  • Picks up images from enclosure, media:content, media:thumbnail, media:group and the HTML content
  • Also looks for the main image on the article page through Open Graph and Twitter meta tags
  • Extracts categories from the feed and maps them to DLE categories
  • Separate cursor strategies for new_to_old and old_to_new, so new items at the top of the RSS feed are never skipped
  • Removes ads and service blocks from RSS content with exclusion selectors

Hybrid Parser — RSS and HTML combined

  • RSS is used to quickly get the list of fresh items
  • The HTML page is used to extract the full text, images, categories and additional fields
  • HTML category selector with a category merge policy: RSS first, HTML fallback or HTML priority
  • Never gets stuck on a problematic item: item-level failure tracking, fail cursor advancement and a retry limit
  • Merges RSS and HTML data, giving priority to the more complete source
  • Downloads media and additional fields from the HTML version of the article
  • The best mode for sites where RSS carries only a teaser and the full article is available on the page

Sitemap Parser — importing content from sitemap.xml

  • Supports regular sitemap.xml files and sitemap indexes with nested sitemap files
  • Automatically retrieves the list of article URLs from the Sitemap
  • Caches the sitemap inventory to speed up repeat runs and reduce load on the source site
  • Processing direction of your choice: newest to oldest or oldest to newest
  • Title, full text, categories, images and additional fields are extracted with CSS selectors
  • Tracks the total number of URLs and processing progress
  • Protects against republishing items that have already been imported

AI rewriting, translation and DLE Multi-Language

AI processing: six provider options

  • DeepSeek, OpenAI, Anthropic Claude, Google Gemini, OpenRouter and any service with an OpenAI-compatible API: Groq, Mistral, xAI, Together, Fireworks, Moonshot, Z.ai, Qwen, YandexGPT, plus local Ollama and LM Studio
  • Up-to-date models are loaded from the provider automatically as soon as you enter a key: a simple searchable list with the price per 1M tokens; you can also type in any model manually
  • “Test connection” button — a short request to the model showing token usage and cost
  • Output language: the title, text, description and tags are written in the language you choose — handy for translating foreign sources
  • AI-generated meta description for each news post (140–160 characters) and automatic meta tags
  • Monthly spending limit with a warning or a stop to AI processing; spending per model is shown on the “Statistics” tab
  • Retries when the service is overloaded and automatic parameter adjustment for models that no longer accept deprecated settings
  • Rewrites the title, short description and full text of the article
  • Chunk-based processing of long articles, split into safe fragments
  • Keeps the HTML structure intact during rewriting and translation: paragraphs, lists, headings, blockquote, code/pre
  • Protects media elements before AI processing: images, figure, picture, iframe, video and pre/code blocks are temporarily replaced with markers
  • Media elements are restored automatically after AI processing
  • Customizable prompts for the title, short description, full text and tags
  • Re-processes suspicious fragments if the AI left part of the text in the source language
  • Extra HTML normalization after the AI response to prevent broken lists and unclosed tags

DLE Multi-Language integration

  • Automatically detects the active languages from the DLE Multi-Language configuration
  • Fills in the language fields: title, short and full description, tags, news URL (SEO-friendly URL), meta description and keywords for each language
  • If translation into a language fails, that language version is not saved — source-language text never ends up in another language’s field
  • Translates the full article, short description, title and tags for every active language
  • Stores the primary language version separately from the translations
  • Checks that the language columns exist before saving to avoid database errors
  • Tag fallback: if the AI could not translate the tags, the module builds them from the already translated content
  • Supports different language scenarios: the site’s primary language can differ from the language of the source site

Filters, replacements and per-source publishing

  • Required words and stop words, minimum text length, maximum article age — checked before AI so no tokens are wasted
  • Rule-based text replacements, including regular expressions
  • For each source: publish immediately or send to moderation, news author, show on the homepage, allow comments and a daily news limit
  • Export and import sources to a file — move settings between sites in a minute

Testing and preview before publishing

Real dry-run pipeline

  • Source testing uses the same pipeline as real parsing
  • Dry-run mode does not save the item to the database but shows the final processing result
  • The preview includes the final title, short description, full text, categories, images, xfields, tags and duplicate verdict
  • The test shows the real result after cleanup, AI rewriting, translation, image downloading and additional field processing
  • The interface warns that a full simulation may take several minutes and use AI/API requests
  • The test result matches as closely as possible what will be published on a real CRON run

CSS selectors and data extraction

Advanced selector engine

  • Basic CSS selectors: tags, classes, IDs, attributes
  • Comma-separated groups: h1, .title, [itemprop="headline"]
  • Descendants, direct children and adjacent siblings: .article .text, .post > p, h1 + .lead
  • Multiple classes on one element: .post.featured
  • Attributes: [href], [data-src], [itemprop="articleBody"], [class*="content"]
  • A range of pseudo-classes: :first-child, :last-child, :nth-child(), :contains(), :not(), :is(), :where(), :has() within supported limits
  • Test-mode warnings for selectors that are too complex or unsupported
  • Detailed help in the admin panel with examples and an explanation of the supported syntax

DLE additional fields

Downloading files, media and galleries

  • Any number of additional fields per source
  • Each field has its own CSS selector, extraction attribute and action type
  • Supported attributes: href, src, data-src, data-href, content, text, html
  • Supported actions: save URL/text, download file, download image, download video, save external video, build gallery
  • Galleries automatically go through every element found and save the result in DLE format
  • Files and videos are saved to uploads/public_files/
  • Images are saved to uploads/posts/ with size metadata
  • HTML blocks can be saved to additional fields with the content cleanup policy applied

Images and media

Professional image processing

  • Automatic downloading of images from the full article text
  • Supports HTTPS, redirects and relative URLs
  • Images are stored in date-based folders
  • External URLs in the content are replaced with local copies
  • Supports JPEG, PNG, GIF, WebP and AVIF
  • Optional conversion to WebP or AVIF
  • Minimum image width — icons and counters stay out of the news post
  • Watermark from your DLE template
  • Proportional downscaling to a maximum width and height
  • Keeps the original format when conversion is disabled
  • Aspect-ratio-preserving resize via GD or Imagick
  • Extracts images from figure, picture, img, srcset, lazy-load attributes and meta tags

Categories and tags

Smart category management

  • Extracts categories from RSS, HTML and Sitemap pages
  • Visual mapping of source-site categories to DLE categories
  • Default category for unmapped items
  • Multiple categories per item
  • Hybrid mode offers a merge policy for RSS and HTML categories

Tag generation and translation

  • Automatic tag generation with AI
  • Fallback tag generation from categories, title and text if the AI did not return a valid result
  • Tag translation for DLE Multi-Language
  • Fallback for tags_{iso} from translated content if AI tag translation is unavailable
  • Tag list normalization: removes junk, duplicates and overly long phrases

Duplicate protection and reliable progress

Duplicate prevention system

  • URL normalization before duplicate checks
  • Checks by source_url, GUID, title and content fingerprint
  • Handles duplicate skips correctly, without a false save error
  • Clears dedupe progress on a full source reset
  • Prevents republishing after changes to URL parameters, trailing slashes or tracking parameters

Progress and cursor model

  • HTML sources use a URL cursor instead of a position counter on the page
  • RSS and Sitemap use separate strategies for new_to_old and old_to_new
  • Hybrid mode advances the cursor even on controlled errors, so a source never gets stuck on one item
  • Resetting progress clears the source’s related dedupe records

Structured logs, statistics and monitoring

Structured logs

  • Every parsing stage is recorded as a structured event
  • Each log entry contains source_id, source_type, source_name, item_url, stage, status, message, duration_ms and additional context
  • The fetch, parse, download_images, ai_rewrite, translate, generate_tags, translate_tags, db_save and duplicate check stages are logged separately
  • Logs make it easy to see exactly where time is spent or where an error occurs

Source health monitoring

  • Tracks the last successful run
  • Fail streak shows the number of consecutive errors
  • Duplicate rate to assess source quality
  • Average fetch time and average run time
  • More accurate statistics of processed items for each source

Cloudflare, proxy and network layer

Two-level protection bypass system

  • Enhanced cURL with browser header emulation
  • Cookie persistence between requests
  • FlareSolverr integration to get past Cloudflare and JavaScript challenges
  • Optional HTTP/SOCKS5 proxy support
  • Automatic switch to FlareSolverr when a protection page is detected
  • Graceful fallback to plain cURL when no bypass is needed

Admin panel

Managing sources and settings

  • Add and edit HTML, RSS/Atom, Hybrid and Sitemap sources
  • Enable and disable sources
  • Reset progress and re-process
  • Interface in Russian, English, Ukrainian and Spanish, styled like the DLE admin panel, with no horizontal scrolling on any screen
  • Clear hints when something goes wrong: if a site builds its pages with scripts or blocks robots, the module tells you straight away to connect its RSS or sitemap instead
  • Detailed documentation at doc.dlemod.com
  • Server limit warnings when running a full parsing simulation
  • Built-in preview of the final item before publishing
  • Supports both old and new DLE AJAX endpoints

Security

  • Cleans source content of malicious code: scripts, dangerous attributes and iframes from third-party sites are removed
  • Protection against requests to internal server addresses when loading pages, images and files
  • All admin actions are protected against request forgery; AI keys are hidden in the settings

Round-Robin scheduler

  • Even load distribution across active sources
  • Automatic source rotation
  • Configurable number of items per CRON run
  • CRON endpoint protected by a secret key
  • Structured logging of every run
  • Lock protection against parallel runs of the same cron process

Benefits

  • Automation: the full cycle from fetching content to saving a ready-to-publish post in DLE
  • Multilingual: automatic filling of DLE Multi-Language language fields
  • Flexibility: four operating modes for different types of sources
  • Content quality: AI rewriting, translation, tag generation and preserved HTML structure
  • Reliability: duplicate protection, a robust cursor, controlled failure handling
  • Transparency: structured logs, health metrics and a clear preview before publishing
  • Media: local storage of images, files, videos and galleries
  • Scalability: unlimited sources with Round-Robin processing
  • Compatibility: supports current DLE versions and PHP 7.4-8.4

Use cases

  • News aggregators: regular import from multiple RSS, HTML and Sitemap sources
  • Niche blogs: adapting and translating foreign content into the site’s primary language
  • Multilingual sites: automatic filling of language versions of articles
  • Review portals: importing reviews, how-tos, guides and technical articles
  • Regional media: collecting publications from local sources with further processing
  • Educational projects: importing learning materials, manuals and documentation
  • Content portals: bulk-filling sections with control over duplicates, categories and tags

Technical requirements and compatibility

  • DLE: 15.1 – 21.0
  • PHP: 7.4 - 8.4
  • PHP extensions: CURL, DOM, XPath, libxml, GD or Imagick, JSON, mbstring
  • MySQL/MariaDB: a compatible version supported by your DLE version
  • Permissions: write access to /uploads/posts/, /uploads/public_files/, /engine/data/, /engine/cache/
  • AI API: a key from any supported provider (or a local Ollama / LM Studio server) if you use rewriting, translation or tag generation
  • CRON: access to configure the task scheduler
  • FlareSolverr: optional, only needed for sites with Cloudflare/JavaScript protection

Screenshots

Click a screenshot to zoom in

Choose a suitable plan

We offer flexible licensing options depending on your needs.

Standard
$62
  • 3 sites
  • Open source code
  • Support 12 months
  • No updates
  • Downloads 7 days
Buy
Recommended
Extended
$74
  • All Standard features
  • 10 sites
  • Priority support
  • Updates 12 months
Buy
Premium
$135
  • All Extended features
  • Unlimited number of sites
  • Personal consultations
  • Updates forever
  • Installation and setup
  • Adapted to your website (including code refinement)
Buy
UnboundFor studios and closed servers

Everything in Premium, but the key is not tied to sites and the module never contacts our server.

$368
Buy

A site is a domain together with all its subdomains.

Version history

  1. 4.2.0 current 3 New 1 Improved 2 Fixed

    New 3

    • Short story straight from the source page: a separate selector in HTML, Sitemap and Hybrid sources; if empty, it is made from the text as before
    • Rewriting through Rewrite & Quality PRO: news go to its queue and are published after the rewrite and quality check
    • The whole text can be saved into the short story with the full story left empty, for sites that show only short stories

    Improved 1

    • Link to the source article: a setting in Settings with ready code for the full story template and a hint if DLE has no source_url field

    Fixed 2

    • Articles in another language no longer stay in the source language after the rewrite: the AI answer is checked and translated when needed
    • The source test shows the category and the category mapping the same way as a real run
  2. 4.1.1 1 Fixed

    Fixed 1

    • The home page and news lists are no longer rebuilt after every news item from CRON: the DLE cache is cleared at most once every 30 minutes (interval in settings, 0 — immediately) and only if news were published
  3. 4.1.0 1 Fixed

    Fixed 1

    • Found and fixed several minor bugs
  4. 4.0.4 2 Fixed

    Fixed 2

    • The module's service data in engine/data can no longer be opened from a browser on nginx servers
    • On DLE without Spanish the admin language switcher no longer shows an extra “Spanish” that fails with “Language file not found”
  5. 4.0.3 1 Fixed

    Fixed 1

    • On DLE below 17.2 the module description in the plugin list shows in the admin language right after install or update, without service tags
13 earlier versions
  1. 4.0.2 1 Improved

    Improved 1

    • Verified on every DLE version from 15.0 to 21.0
  2. 4.0.1 1 Improved 1 Fixed

    Improved 1

    • AI selector suggestion now checks that the content selector really finds the article and the title selector finds the headline

    Fixed 1

    • If the content selector finds too little text, the module takes the article from the page by itself instead of saving a fragment
  3. 4.0.0 11 New 9 Improved 8 Fixed

    New 11

    • DLE 21.0 support, checked on every version from 17.1 to 21.0
    • New AI providers: Anthropic Claude and any service with an OpenAI-style API — Groq, Mistral, xAI, Yandex, Ollama, LM Studio and more
    • Current models load from the provider automatically once a key is set — pick one from a regular searchable list with prices, or enter a model ID manually
    • AI output language: the title, text, summary and tags are written in the chosen language
    • AI meta description for news and automatic meta tags
    • Source filters: required and stop words, minimum length, item age — checked before the AI
    • Text replacement rules, including regular expressions
    • Per source: news status, author, main page, comments and a daily news limit
    • Export and import of sources to a file
    • Images: minimum width, template watermark, AVIF format, proportional resizing
    • Module interface in Ukrainian and Spanish

    Improved 9

    • News is saved the way the DLE admin does it: the site cache is refreshed, images appear in the file manager, tags and categories only for published news
    • AI rewrite no longer loses tables, headings and text outside paragraphs and no longer duplicates images
    • Updated models and prompts: DeepSeek V4.1, GPT-5.6, Gemini 3.8, Claude 5; old model names are migrated automatically
    • Retries when the AI service is overloaded, and every request counted in the spend
    • A failing item is no longer retried on every CRON run
    • Interface in the DLE admin style, without horizontal scrolling, on every DLE version
    • If the title or content selector misses, the module finds the article on the page by itself — no menus, comments or site name in the title
    • If a site builds its pages with scripts or blocks bots, the test and AI selector suggestion tell you to use its RSS or sitemap instead
    • DLE Multi-Language integration: the news URL, description and keywords are now filled in for every language too

    Fixed 8

    • Protection against malicious code in donor content and against requests to internal server addresses
    • A CRON run no longer overwrites settings saved while it was working
    • Donor encodings (windows-1251, koi8-r and more), relative links and news URLs in Ukrainian
    • The source delete button in DLE 17.1 and settings kept when a source is edited
    • RSS feeds whose item links differ only by an anchor, or have no title, are imported in full
    • Donor script code no longer ends up in the article text, and paragraphs and line breaks in the summary no longer run together
    • Palette GIF and PNG images no longer stop the import when saved as WebP
    • Quotes and apostrophes in news titles no longer appear on the site as " and '
  4. 3.1.0 9 New 8 Improved 7 Fixed

    New 9

    • Модуль полностью адаптирован под DLE 20.0: исправлена загрузка модуля и языковых файлов, восстановлено корректное отображение интерфейса панели управления и исправлена работа с базой данных новой версии движка.
    • Добавлена мультиязычность интерфейса: все тексты вынесены в языковые файлы language/Russian/parser.lng и language/English/parser.lng, язык модуля переключается вместе с языком админпанели DLE.
    • Добавлены новые AI-провайдеры OpenRouter и Google Gemini. Теперь доступны DeepSeek, OpenAI, OpenRouter и Gemini.
    • Добавлена автоматическая загрузка списка моделей напрямую от AI-провайдера и кнопка проверки соединения, поэтому переименование моделей у провайдера больше не ломает работу модуля.
    • Добавлен учёт расхода AI: количество запросов, токенов и оценочная стоимость по дням, провайдерам и моделям, а также месячный лимит расходов с возможностью остановки обработки.
    • Добавлено автоматическое восстановление заголовка, текста, изображения и категорий из микроразметки Schema.org / OpenGraph, если CSS-селекторы перестали работать после редизайна сайта-донора.
    • Добавлен подбор CSS-селекторов через AI: модуль анализирует структуру страницы и предлагает готовые селекторы, каждый из которых проверяется на реальной странице перед подстановкой.
    • Добавлена загрузка полного текста статьи для RSS-лент, которые отдают только анонс.
    • Добавлена опция сохранения оригинальной даты публикации источника вместо времени импорта.

    Improved 8

    • Обновлены модели DeepSeek (V4 Flash и V4 Pro) и OpenAI (GPT-5.6). Устаревшие идентификаторы моделей мигрируют автоматически при обновлении.
    • Добавлено управление режимом размышления моделей DeepSeek, OpenAI и Gemini, что заметно снижает стоимость и время обработки.
    • Значительно ускорена проверка дублей: вместо отдельного запроса на каждый URL используется пакетная выборка, что критично для больших sitemap и лент.
    • Улучшен Hybrid режим: если селектор контента не задан или не сработал, текст статьи восстанавливается автоматически.
    • Улучшена поддержка отложенной загрузки изображений: добавлены дополнительные варианты атрибутов и возврат к обычному src.
    • Усилена безопасность: AJAX-запросы модуля теперь требуют прав администратора и проверки токена, добавлена защита от обращения к локальным и внутренним адресам.
    • Улучшена работа CRON: увеличены лимиты выполнения, безопасное сравнение секретного ключа и корректная обработка ошибок на PHP 8.
    • Обновлено оформление модуля под панель управления DLE 20: восстановлены цвета кнопок, меток, индикаторов прогресса и информационных блоков.

    Fixed 7

    • Исправлена основная причина, по которой AI-обработка молча не срабатывала: модель тратила весь лимит ответа на скрытые рассуждения и возвращала пустой результат, а модуль сохранял исходный текст без обработки.
    • Исправлено формирование краткого описания и разбиение текста для AI на больших и сложных страницах, где ранее описание могло оказаться пустым.
    • Исправлено обрезание длинных ответов AI: теперь запрос автоматически повторяется с увеличенным лимитом.
    • Исправлены повреждённые русские тексты в сообщениях проверки настроек источников.
    • Исправлена проверка соединения с базой данных на DLE 20: модуль лишний раз переподключался к MySQL на каждом шаге обработки.
    • Исправлены невидимые кнопки и метки в интерфейсе на DLE 20.
    • Найдены и исправлены другие мелкие ошибки.
  5. 3.0.0 5 New 11 Improved 7 Fixed

    New 5

    • Добавлена полноценная интеграция с DLE Multi-Language: автоматическое сохранение переводов в title_{iso}, short_story_{iso}, full_story_{iso} и tags_{iso}.
    • Добавлен новый режим парсинга Sitemap с поддержкой больших sitemap-файлов, вложенных sitemap index и кеширования списка URL.
    • Добавлен реальный dry-run режим тестирования: проверка теперь выполняет симуляцию полного парсинга без записи в базу данных и показывает итоговый publish payload.
    • Добавлены структурированные логи парсинга со стадиями обработки, статусами, временем выполнения, source_id, item_url и информацией об ошибках.
    • Добавлен мониторинг состояния источников: health status, fail streak, duplicate rate, average fetch/run time и время последнего успешного запуска.

    Improved 11

    • Полностью переработана логика HTML-парсинга списка материалов: теперь обрабатываются все найденные контейнеры, а не только первый matched node.
    • HTML progress переведен на URL/cursor модель вместо count-based прогресса, что снижает риск пропуска новых материалов.
    • Исправлена стратегия cursor для RSS, Hybrid и Sitemap в режиме new_to_old, чтобы новые материалы в верхней части источника не пропускались.
    • Улучшен Hybrid режим: добавлена обработка ошибок по материалам, advancement cursor при сбоях и защита от бесконечного застревания на одном item.
    • Добавлена поддержка HTML category selector в Hybrid режиме и политика объединения категорий RSS/HTML.
    • Усилен механизм поиска дублей: добавлена нормализация URL, GUID/external id, fingerprint заголовка и hash контента.
    • Улучшена нормализация URL перед проверкой дублей: учитываются trailing slash, fragment, tracking-параметры и различия в формате ссылок.
    • Усилен CSS selector engine: добавлена поддержка групп, комбинаторов, атрибутных селекторов и ряда pseudo-селекторов.
    • Добавлены предупреждения о поддерживаемом subset CSS-селекторов в help-разделе и test result.
    • Улучшена AI-обработка HTML: сохранение структуры тегов, защита media/code/pre блоков, повторная проверка неполных переводов и более стабильная работа с длинным контентом.
    • Улучшена генерация и перевод тегов, включая fallback-механизм, если AI не вернул корректный результат.

    Fixed 7

    • Исправлено сохранение изображений при отключенном reformat: теперь сохраняется реальный исходный формат файла.
    • Исправлены случаи, когда AI мог вернуть ссылки или HTML, не соответствующие настройкам очистки контента.
    • Исправлена обработка figure/img блоков: изображения корректно извлекаются, очищаются и могут быть загружены на сервер.
    • Исправлены случаи, когда code/pre блоки могли быть пропущены или удалены во время AI-обработки.
    • Исправлены проблемы с незакрытыми ul/ol/li тегами в AI-переводах.
    • Исправлена совместимость DB reconnect check с PHP 8 и mysqli.
    • Найдены и исправлены другие мелкие ошибки.
  6. 2.1.4 1 Fixed

    Fixed 1

    • Обнаружены и исправлены некоторые баги.
  7. 2.1.3 1 Fixed

    Fixed 1

    • Обнаружены и исправлены некоторые баги.
  8. 2.1.2 1 Fixed

    Fixed 1

    • Обнаружены и исправлены некоторые баги.
  9. 2.1.1 3 New

    New 3

    • Добавлена автоматическая генерация тегов через DeepSeek AI — анализирует заголовок и текст статьи и предлагает теги на русском языке
    • Новая настройка в разделе «Основные» — включение/отключение генерации тегов с указанием зависимости от AI Rewrite
    • Настраиваемый промпт для генерации тегов добавлен в раздел «AI Rewrite»
  10. 2.1.0 5 New 1 Fixed

    New 5

    • Добавлена поддержка DLE 19.1
    • Теперь парсер умеет автоматически скачивать с сайта-донора файлы, видео, изображения и целые галереи — и сохранять всё это в дополнительные поля вашего сайта. Торренты, обложки, скриншоты, локальные видео — всё подтягивается само
    • Можно сохранять в дополнительное поле любой текстовый блок со страницы — например, таблицу характеристик или описание, прямо с форматированием
    • При парсинге RSS лента теперь старается взять обложку статьи с самой страницы (более качественную), а не из RSS-потока
    • В раздел «Помощь» добавлено подробное руководство по дополнительным полям — с примерами для каждого типа данных (файл, фото, видео, галерея, текст) и советами по частым ошибкам

    Fixed 1

    • Найдены и исправлены некоторые мелкие баги.
  11. 2.0.0 7 New 2 Improved 2 Fixed

    New 7

    • Добавлена поддержка Proxy (HTTP/SOCKS5) для обхода блокировок и смены IP
    • Интеграция FlareSolverr для автоматического обхода Cloudflare защиты
    • Гибкая настройка очистки контента из админ-панели (удаление scripts, styles, links, атрибутов)
    • FlareSolverr fallback для изображений при неудачной загрузке через cURL
    • Автоматическое определение и использование Proxy из настроек во всех AJAX endpoints
    • Проверка статуса FlareSolverr в режиме реального времени
    • Тестирование Proxy прямо из настроек с определением IP и геолокации

    Improved 2

    • Улучшенная архитектура
    • Обновлен интерфейс настроек: 6 категорий (Основные, Cloudflare, Proxy, Очистка контента, AI Rewrite, Изображения)

    Fixed 2

    • Исправлены проблемы с загрузкой страниц, защищенных Cloudflare
    • Устранены конфликты имен функций между разными модулями
  12. 1.0.1 1 Fixed

    Fixed 1

    • Обнаружены и исправлены некоторые баги.
  13. 1.0.0 1 New

    New 1

    • Первый релиз модуля
Bugs & ideas Report a bug or suggest an improvement and follow its status. 0open 2fixed this month
DLE Parser PRO · module for DataLife Engine

Comments10

D KK G M O
5 participants
kosti kazancev

так же интересует как настраевается шаблон если в доноре это перекрестный ссылки и с категориями у вас 1 селект но в доноре может быть несколько категорий + в разных местах типо жанр год итд , и какая категория к какому слову как присваевается тоже не понятно , и по доп полям как у категорий там может быть в ссылках текст итд или в других тегах

dlemod Developer

По категориям: в настройках источника есть кнопка «Загрузить категории с сайта» — парсер сам находит рубрики донора, и каждой вы ставите свою категорию DLE. Если включить «Мультикатегории», новость попадёт во все сопоставленные категории, а если сопоставления нет — в категорию по умолчанию.

Жанр, год и прочее удобнее забирать в доп. поля: для каждого поля задаётся свой CSS-селектор и что брать — текст, ссылку, картинку или файл. Так что перекрёстные ссылки и теги в разных местах страницы тоже разбираются.

kosti kazancev

здраствуйте нормальный прогеры делают админку обрезанную с плагином итд чтоб покупатели могли почупать плагин настроки итд потестит подходить ли он или нет , скрины это хорошо но тесты всегда лудше , но как понимаю у вас такой нет так ?

dlemod Developer

Здравствуйте. Да, демо-админки пока нет. Зато есть подробная документация со скриншотами всех экранов (ссылка «Документация» на этой странице), и код модуля открыт. Если сомневаетесь насчёт конкретного донора — скиньте ссылку сюда, подскажем, возьмёт его парсер или нет.

oldnick

Прошу уточнить приблизительную стоимость рерайта ДипСиком за 1000 знаков. Возможна ли настройка на сокращение текста, например рерайт статьи 5000 знаков в статью 1000 знаков. Если уже есть рерайт модули, работающие на других ИИ, можно ли их включить в данный модуль и выбирать в настройках оптимальную нейронку под определенную тему. Например, по теме медицины пишет Джемини, по теме ИТ - Клод, по искусству - ДипСик и тд. Или же исходя из стоимости токенов - где выгоднее, на тот ИИ и переключиться.

dlemod Developer

Здравствуйте. 1000 знаков у DeepSeek — это пара копеек.

Сократить можно: в настройках есть «Промпт для полного текста», допишите туда, например, «сократи текст примерно в 4–5 раз». До знака нейросеть объём не держит, но в нужный размер попадает.

Нейросеть выбирается одна на весь модуль: DeepSeek, OpenAI, Claude, Gemini, OpenRouter или любой сервис с API как у OpenAI, переключается в пару кликов. Сторонние модули рерайта внутрь не подключить, да и незачем — эти сети уже встроены. А вот разные нейросети под разные темы пока не делали, идею записали.

Masterwen

Здравствуйте. Я какая будет цена AI-рерайта через DeepSeek к примеру за одну новость. И как пополнят DeepSeek

dlemod Developer

Здравствуйте. Выходит совсем недорого: обычная новость на 3–5 тысяч знаков через DeepSeek стоит примерно 20–30 копеек, точнее зависит от длины текста.

Баланс DeepSeek пополняется на platform.deepseek.com, раздел Top up, картой. Если карта не проходит, можно подключить OpenRouter — он в модуле тоже есть.

Ghost

Здравствуйте! Планирую купить DLE Parser PRO. Подскажите, смогу ли я использовать одну лицензию на 2-3 сайтах одновременно? Или она строго привязывается к одному домену?

dlemod Developer

Здравствуйте! Нет, к одному домену лицензия не привязана. На тарифе «Стандарт» можно подключить до 3 сайтов, на «Расширенном» — до 10, на «Премиуме» — сколько угодно. Сайты добавляете сами в личном кабинете.

Sign in to leave a comment.

Sign in Sign up