Jsoup java не подгружаются некоторые элементы


0

Парсю сайт с ценами на бензин , вот мой код:

Document doc = Jsoup.connect(BENZ_URL).userAgent(userAgent).get();
    Elements elements = doc.getElementsByClass("grid-item");

    for (Element element : elements) {
        Elements ai98 = element.select("div[class=item ai98]");
        System.out.println(ai98.toString());

    }

В браузере div с ценами отображается корректно:

<div class="item ai98">
<div class="price">
<div class="int d5"></div>
<div class="int d0"></div>
<div class="int dot"></div>
<div class="int d3"></div>
<div class="int d4"></div>
</div>

Однако Jsoup распарсивает его так:

<div class="price">
<div class="int dash"></div>
<div class="int dash"></div>
<div class="int dot"></div>
<div class="int dash"></div>
<div class="int dash"></div
</div>

Как решить эту проблему?

Источник
  •  22
  •  1
  • 21 янв 2018 2018-01-21 10:29:53
Либо анализировать структуру запросов фронтенда и делать их из своего кода, либо использовать Selenium. — 21 янв 20182018-01-21 11:16:26.000000

1 ответ

1

Вам нужно парсить не сам сайт а данную страницу

введите сюда описание изображения

  • 30 янв 2018 2018-01-30 15:36:26