Download af kildetekst på mange forskellige URL's på én gang?

Du kunne gøre det i python?

pip install requests

import requests

domains = [
"https://domain1.dk",
"https://domain2.dk",
]

for domain in domains:
  response = requests.get(domain, verify=False)
  response.raise_for_status()
  # Save response.text

Er ikke programmør, men skal lede efter én bestemt ting i html koden.

Har prøvet at copy past dit input og tilføje i
https://www.programiz.com/python-programming/online-compiler/

og bruge view-source:https://www.webdesigner.dk/ som eks. på domain1

- Det virker i hvert fald ikke.

Denne kode virker nu fint for mig på den side du linker til:

import requests
domains = ['http://exp.dk', 'http://www.jubii.dk', 'http://www.yahoo.dk']

for domain in domains:
    print(domain)
    response = requests.get(domain)
    print(f"Response data length: {len(response.text)}")
    # Remove # from line below to see  source
    # print(response.text)

Den sætter det forkert op her på exp.
Prøv her: https://dpaste.org/75OM

Hej Jakob,

Jeg har nu prøvet at smide dette ind i python 3.9 (hentet fra python.org), men det virker stadig ikke.

SyntaxError: invalid non-printable character U+200b
>>> for domain in domains

VC1 her
- Kan se at den logger på en gammel bruger på min 'test pc'

Se billede for hvad den siger, når jeg trykker enter

https://imgur.com/9MbR9cN

Du mangler
Pip install requests

Undskyld, men det fungerer altså stadig ikke, må være lidt for dum til det her?

Skal jeg trykke enter mellem hver linje eller lignende fordi jeg kopier bare det hele, sætter ind og trykker enter

pip install requests

import requests

domains = ["https://www.webdesigner.dk/"]

for domain in domains:
  response = requests.get(domain, verify=False)
  response.raise_for_status()
  # Save response.text

https://imgur.com/r2UTed1

Måske mangler jeg at installere noget packages?

https://imgur.com/y7pFRdf

Det ligner du kører Windows.

https://www.liquidweb.com/kb/install-pip-windows/

Jeg kører WIN, og tænkte godt det var noget med det.

Fandt en video til PIP request og beautiful soup4 dog oplever jeg stadig fejl

Local\Programs\Python\Python39\lib\site-packages\urllib3\connectionpool.py:1013: InsecureRequestWarning: Unverified HTTPS request is being made to host 'www.webdesigner.dk'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  warnings.warn(
>>>

Hmm eller også så virkede det faktisk.
- Hvor gemmer den filen så jeg kan se html koden?

https://imgur.com/8jL2wWU

Hej Jakob,

Jeg fandt ud jeg der skulle skrives reponse.text - For at få texten frem i python
- Dog virker det stadig ikke optimalt, da jeg ikke får alle hjemmesiderne eller hele html-koden på siden

Fandt dog ud af, at koden her virker på at få alt html-koden, dog ved jeg ikke hvordan jeg indsætter flere hjemmesider samlet.
(Ved bare at kopier din løsning på flere hjemmesider fungere nemlig ikke :( )

>>> import requests
>>> import bs4
>>> res = requests.get('https://www.webdesigner.dk')
>>> type(res)
<class 'requests.models.Response'>
>>>
>>> res.text

res = requests.get("hjemmeside") virker netop fint.
For at du kan få det til at virke, skal du loope dem, som jeg gør i mit første eksempel.

res.text indeholde så korrekt alt sourcen.
Så kan du bruge bs4 til at parse siden efterfølgende.

Men eftersom jeg ikke ved hvad du yderligere vil, er det svært at hjælpe.
Min kode virker fint lokalt nemlig.

Tak for dit svar, men det virker ikke hos mig jf. din instruks.

Jeg fandt en anden løsning, men også der bliver der påpeget loop, hvilket jeg ikke aner noget om.

import requests

domains = ['https://webdesigner.dk', 'https://www.dk4.dk/item/4128-persondatapolitik']
for domain in domains:
    print(domain)
    response = requests.get(domain)
    print(f"Response data length: {len(response.text)}")
    # Remove # from line below to see source
    # print(response.text)

    with open('source.html', 'a', encoding='utf-8') as f:
        f.write(response.text.strip())


- Dette var løsningen som jeg fik andet sted, hvilket ser ud til at fungerer rigtig godt. Dog kan den stadig bare KUN tage html-koden fra den sidste.

Jeg vil have htmlkoden fra hjemmeside1 og hjemmeside2 lagt sammen i response.text så jeg kan copy paste hele muleviten af én gang over i et word.

https://imgur.com/hg0P9fq

Hvad indeholder source.html?
Den burde da have alt source