Метод find() возвращает список объектов, представляющих найденные элементы. Мы можем обращаться к тексту элементов, а также к их атрибутам.
Также, requests-html позволяет выполнить JavaScript на странице, что часто бывает полезно при работе с динамическим контентом. Для этого используйте метод render():

                    
response.html.render()


                

Этот метод запускает браузерное ядро, чтобы обработать JavaScript на странице и обновить DOM. После вызова render(), вы можете извлекать данные из обновленного содержимого страницы.

Requests-html делает процесс веб-скрапинга более удобным и эффективным благодаря своим возможностям работы с HTML, CSS и JavaScript на страницах.

3. Поддержка JavaScript

Одним из преимуществ библиотеки requests-html является поддержка выполнения JavaScript на веб-страницах. Это особенно полезно при скрапинге страниц с динамическим контентом, где данные загружаются или изменяются динамически с использованием JavaScript.

Для выполнения JavaScript на странице используйте метод render():

                    
response.html.render()


                

При вызове этого метода, requests-html запускает браузерное ядро (при помощи инструмента Pyppeteer), которое интерпретирует и выполняет JavaScript на странице. Это позволяет получить доступ к содержимому, которое может быть изменено или загружено динамически после загрузки страницы.

Примеры использования:

1. Извлечение данных после загрузки через AJAX:

                    
from requests_html import AsyncHTMLSession

# Использование AsyncHTMLSession для асинхронной загрузки страницы
session = AsyncHTMLSession()
response = session.get('https://example.com')

# Ожидание завершения загрузки JavaScript
response.html.render()

# Извлечение информации
data = response.html.find('.dynamic-content')
for item in data:
    print(item.text)

                

2. Клик по кнопке для загрузки дополнительного контента:

                    
from requests_html import HTMLSession

session = HTMLSession()
response = session.get('https://example.com')

# Находим кнопку и кликаем по ней
button = response.html.find('#load-more-button', first=True)
button.click()

# Ожидаем загрузки нового контента
response.html.render()

# Извлечение новых данных
new_data = response.html.find('.new-content')
for item in new_data:
    print(item.text)

                

Благодаря возможности выполнения JavaScript на странице, requests-html предоставляет удобные инструменты для работы с динамическим контентом и обеспечивает более широкие возможности веб-скрапинга.

Рассмотрим сценарий, где на странице загружается список товаров через AJAX запросы, и мы хотим извлечь названия товаров для последующего анализа.

Пример: Извлечение названий товаров из динамического списка

                    
from requests_html import HTMLSession

# Создаем объект сеанса
session = HTMLSession()

# Загружаем страницу с динамическим списком товаров
response = session.get('https://example.com/products')

# Ожидаем загрузки JavaScript и обновления страницы
response.html.render()

# Извлекаем названия товаров из списка
product_names = response.html.find('.product-name')

for product_name in product_names:
    print(product_name.text)

# Можем также получить ссылки на отдельные товары
product_links = [link.attrs['href'] for link in response.html.find('.product-link')]
print(product_links)

                

В данном примере мы загружаем страницу с динамическим списком товаров, ожидаем выполнения JavaScript для обновления содержимого страницы и затем извлекаем названия товаров и ссылки на отдельные страницы товаров. Такой подход позволяет эффективно извлекать данные с веб-страниц, которые используют JavaScript для загрузки контента.

Пример: Автоматизация заполнения и отправки веб-формы

                    
from requests_html import HTMLSession

# Создаем объект сеанса
session = HTMLSession()

# Загружаем страницу с веб-формой
response = session.get('https://example.com/form')

# Ожидаем загрузки JavaScript и обновления страницы
response.html.render()

# Автоматическое заполнение полей формы
form = response.html.find('form', first=True)
form['username'] = 'john_doe'
form['email'] = 'john_doe@example.com'
form['message'] = 'Hello, this is a test message.'

# Отправка данных формы для обработки
submit_button = form.find('button[type="submit"]', first=True)
response = form.submit(submit=submit_button)

# Проверка успешной отправки формы
if response.status_code == 200:
    print("Форма успешно отправлена!")
else:
    print("Произошла ошибка при отправке формы.")

                

В данном примере мы загружаем страницу с веб-формой, заполняем поля данными и отправляем форму на сервер для обработки. Здесь requests-html позволяет удобно взаимодействовать с элементами формы на странице и автоматизировать процесс отправки данных.

Такие сценарии могут быть полезны при тестировании веб-приложений, создании скриптов для заполнения форм или автоматической обработки данных на веб-серверах. Requests-html предоставляет удобные инструменты для работы с веб-формами и выполнения подобных задач.

Пример: Извлечение данных из таблицы на веб-странице

                    
from requests_html import HTMLSession

# Создаем объект сеанса
session = HTMLSession()

# Загружаем страницу с таблицей данных
response = session.get('https://example.com/table')

# Ожидаем загрузки JavaScript и обновления страницы
response.html.render()

# Извлечение данных из таблицы
table_rows = response.html.find('tr')  # Находим все строки таблицы

data = []
for row in table_rows:
    cells = row.find('td')  # Находим ячейки в каждой строке
    if cells:
        row_data = [cell.text for cell in cells]
        data.append(row_data)

# Вывод данных таблицы
for row_data in data:
    print(', '.join(row_data))