Почему мой суп obj пуст?

Я пытаюсь получить все URL-адреса для class= 'profile-search-school-link', но даже не может получить объект супа.

Я делаю следующее:

site = "http://www.geteducated.com/profiles/search/Computer%20Science%20%26%20IT&SS=Search%20by%20Subject%20%3E%20Computer%20Science%20%26%20IT/?start=15"

""" gets a list of the urls for the degree programs """
r = requests.get(site)
html_source = r.text
soup = BeautifulSoup(html_source)

print(soup.prettify())

вывод:

<class 'bs4.beautifulsoup'=""> # print statement
[] # my depressingly empty soup
</class>
  1. Что с кодом? Ссылка не нарушена, когда я вставляю ее в свой браузер.

  2. Как получить URL-адреса?

1 ответ

Я не знаю о вас, но для меня ссылка сломана - это может быть ваша первая проблема;)

Я получаю ответ Код ошибки 500

хм, так что это работает после того, как я сначала перейду на базовый url без "начала".

ahh, я думаю, потому что, когда вы впервые заходите на сайт, он хранит вещи в вашем локальном хранилище - например, файлы cookie. Красивый суп не может этого сделать, если вы не разрешите куки;)

Я предлагаю использовать CookieLib

licensed under cc by-sa 3.0 with attribution.