CIO Tech Eksperten IT-JOB IT-Kurser Events Podcast Søg
Cookie ikon
Avatar billede mergelspir Seniormester
28. september 2021 - 15:17 Der er 2 kommentarer

Sitemap-generator der overholder robots.txt ?!?

Jeg har to sites: et dansk og et non-dansk.
Begge sites har det samme indhold og kan læses på de samme sprog, men jeg ønsker kun sitemap på det danske site på dansk, hvorimod det non-danske site skal have et sitemap på alle andre sprog end dansk.
På den måde undgår jeg at Google straffer duplicate content.

Jeg har specificeret i robots.txt, hvilke sider søgemaskiner må indeksere.
MEN, Men, men, alle de sitemap-generatorer, jeg har afprøvet, overholder ikke de regler, jeg har sat op i robots.txt, suk.

Ikke for at reklamere for mine sites, men det er måske lettere at forstå, hvad jeg beskriver, hvis I har mulighed for at tilgå sitene:
Det danske site: www.udkik.dk
Det non-danske site: www.yachtdatabase.com

På forhånd tak
Avatar billede claes57 Ekspert
28. september 2021 - 19:27 #1
Der ligger vel en forskellig robots.txt på de to sites - så er der ingen grund til at sætte regler op - de blandes ikke. Det er kun, hvis de peger ned på samme domæne, at der går ged i den, så lad være med det.
Avatar billede mergelspir Seniormester
09. oktober 2021 - 13:35 #2
Ja, der er forskellig robots.txt på de to sites, men da en sitemap-generator kun kikker på et af sitene af gangen, er det uden betydning.
Problemet er, at jeg ikke har kunnet finde en sitemap-generator, der "adlyder" robots.txt overhovedet.
Hvis nogle kender sådan en, er jeg meget interesseret.
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
It-udvikling & AI kurser
Uanset kodesprog, så giver vi dig mulighederne for at udvikle det, du behøver.
Se alle It-udvikling & AI kurser

Flere spørgsmål fra Webservere kategorien

Titel Indlæg Oprettet Seneste aktivitet
HTML-LINKS Af snestrup2000 i Webservere 2 16/11/202415:33 16/11/202418:41
Wordpress fejl Action Scheduler ? Af fimo i Webservere 2 24/10/202410:16 27/10/202412:07
My Cloud Home (hjemme server) Af Erik Hovedskou i Webservere 13 19/10/202419:51 20/10/202419:35
Periodisk lang responstid Af AlbertK i Webservere 3 23/08/202415:54 24/08/202421:48
Yousee Af nu_igen i Webservere 1 08/04/202408:21 09/04/202409:44
Se alle spørgsmål i kategorien Opret spørgsmål

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Opret Log ind

Du kan også logge ind via nedenstående tjenester



Alle kategorier på Eksperten
IT-JOB

Acrelec Danmark

IT-supporter

Udviklings- og Forenklingsstyrelsen

Senior IT-tekniker til drift og forvaltning af systemer til Skatteforvaltningen

Unik System Design A/S

Udviklingschef

Quadsat ApS

Robotics Engineer

Dynamicweb Software A/S

Solution Tech Lead
Seneste spørgsmål Seneste aktivitet
I går 22:45 Mangler jeg nogen driver?? Af xMsBx i Andet software
I går 20:37 Åbne en regnskabsfil fra Summasumarum Af ptj_11 i Økonomiprogrammer
I går 18:03 Kan en kombinationsbox formateres om til en text box og omvendt Af per2edb i Access
I går 12:41 Standard kontoplan til dynamics business central Af prof2004 i Økonomiprogrammer
20/1121:03 Kan ikke se mine cromecasts Af Malm i Browsere
White papers
Flere white papers »


Premium
Teaser billede
Københavns Kommune ansætter sin første CISO nogensinde: Skal bygge it-afdelingen op omkring 45.000 ansatte
Læs mere »
Ny EU-sikkerhedslov er offentliggjort: Nu er nedtællingen i gang
Melder alt klart med kæmpe it-projekt: Budget er steget med næsten 30 procent undervejs
Konsulenthus vil rulle Microsoft 365 Copilot ud til 200.000 ansatte
Se alle »
Computerworld
Teaser billede
Microsofts nye pc er ekstrem billig – men kan blive ekstrem sikker og fleksibel
Læs mere »
Test: Audi Q6 er en super fed SUV - men gør dig selv en tjeneste og kast flere penge efter den
Det vrimler frem med gratis-alternativer til ChatGPT Plus – her er de bedste af dem
Test: Prøv kun disse B&O-hovedtelefoner, hvis du har råd
Se alle »
CIO
Teaser billede
Danske sygehuse når ikke at opgradere tusindvis af computere til Windows 11 i tide: Får konsekvenser for it-sikkerheden
Læs mere »
Konsulenthus vil rulle Microsoft 365 Copilot ud til 200.000 ansatte
Kæmpe-opgave for Danske Bank har banet vej for fuldautomatiseret migrering til cloud: Nu udbredes metoden i hele AWS
Stor sag mod Microsoft kan være på vej: Beskyldes for at låse Azure-kunder fast med ulovlige metoder
Se alle »
Job & Karriere
Teaser billede
Microsoft klar med ny direktion for den danske forretning: Her er de nye direktører
Læs mere »
Tre Norlys-topchefer fratræder med omgående virkning: Internet-forretningen er udfordret - vil have mere fart i integrationen af Telia Danmark
Efter skelsættende møde med sportscoach: Stor dansk it-arbejdsplads indfører fredags-fri og isbade i arbejdstiden
Linus Torvalds giver russiske Linux-udviklere sparket: Vil ikke have noget med dem at gøre
Se alle »
White paper
Teaser billede
Sikkerhed uden grænser: Cisco Hypershield
Læs mere »
SMB og cybertrusler: Brug sikkerhedsressourcerne optimalt
Sådan får du overblik og beskytter dine cloudapplikationer
Cyberstatus 2024: Her er truslerne – og her forbereder virksomhederne sig
Se alle »

Events
Flere events »
White papers
Flere white papers »
IT-Kurser
Se alle vores it-kurser »