Flytte 40Gb over nettet

smide dem på en bærbar hdd og sende dem via posten ?

det er ikke hurtigt nok.. sender dem over nettet..

har forholdsvis 10 og 100mbit at arbejde med hver vej.

ok - er det en engang forteelse eller er det noget som skal gøres oftere ?

engangs.. Og det skal helst gå MEGET stærkt med en løsning da ingen af os har resourcer til at køre over at koble dem sammen fysisk.

Der findes ekspress-post der lever ud samme dag.

Kan tar ikke pakke filerne ned i små bidder? så man kun skal sende f.eks. 1 GB af gangen? Hvis du først pakker med tar, så kan du "spanne" den 20GB fil bagefter med Zip og dele filen op i små bidder. Det virker inde i mit hovede, men ved ikke om det virker i praksis.

hvad med ftp eller scp .. det er vist det hurtigste

jeg tænker noget i stil med:

scp -r katalog bruger@server.dk:/sted

FlashFXP er genialt! Men det er vist kun WSFtp der duer til Linux.

hvad er scp ???

Hvordan fungere scp??

scp = secure copy .. den krypterer kommunikationen mens den kopierer.

hvis du har installeret ssh så har du også installeret scp

det har jeg..

Hvordan skal jeg bruge det?
Giv en beskrivelse af hvad der skal aktiveres og åbnes på hver maskine.

der skal køre en ssh  server på den ene maskine og så skal du køre

scp -r katalog bruger@server.dk:/sted

eller

scp -r bruger@server.dk:/katalog katalog

scp er ikke hurtigere end nfs ser det ud til.

Deling af filerne fungere ikke så godt da biblioteket er af en størrelse som ikke er til at arbejde med.

men scp kopierer hver enkelt fil over (og da den krypterer kmmunikationen så komprimerer den også filen).

problemet er blot at den kun overfører med en meget lille data hastighed, ligesom var problemet med nfs vi snakker med hastigheder på mellem 100 og 150 kb/s og kan sende over en MB/s

ok - har I prøvet ftp og se hvor meget den kan overføre

vi kender begge linier ja.. Den nye server kan modtage med over 8mb/s og den gamle kan sende med over 1mb/s...

er løsningen så ikke at kopiere filerne enkeltvis via FTP

når der er 40Gb små filer.. det vil jo tage en krig at få overført. Og på den måde overfører vi heller ikke rettigheder mm..

og tar kunne ikke håndtere så store filer ...

tar kan ikke håndtere at udpakke filerne når de bliver pakket ned nej..

hvad med zip som en foreslog ?

jeg har ikke testet med zip.. men projektet står lige stille nu da vi har afblæst flytningen et par dage..

Når vi har fået noget søvn arbejder vi videre på det.

Mener ikke at Zip kan få's til Linux.... jeg havde ikke lige set at det ikke var på en windows-maskine da jeg foreslog Zip.

ok.. mente jeg heller ikke.. men havde ikke lige fået checket op på det..

tar cfvz - så pakkes filen - herefter split til passende størrelser - herefter overfør filerne - og til samle og untar med tar xfvz

hvordan vil du splitte og samle filerne?

der er indbygget zip og unzip i linux

lap> problemet er ikke at overføre den - men at tar ikke kan pakke ud på destinationsmaskinen.

Tror at rsync kan være tingen. Den fungerer i hvert fall meget bra mellom HD på samme PC. Har lest at den skal kunne fungere meget bra via nettverk og internett men det har jeg ikke prøvd.

Mener å huske fra tidligere diksusjon at lap kan noe om dette .. huh .. ??

http://www.linuxforum.com/shell/rsync/92-8.php

Den står beskrevet som en funksjon som først og fremst er egnet til å synkronisere to directories, men den fungerer også utmerket dersom det ene directory er tom ved at den bygger opp directorystrukturer og plasserer alle filer på riktig sted hos mottakeren uten at man behøver å tenke over saken. I all enkelhet, man får overført en klone av det direktory man ønsker til mottakerstedet uten at man nærmest behøver å bekymre seg. Bruker den til backup til USB HD. Tror det skal fungere bra over nettverk også.

ja jeg tænkte også på rsync - men det er jo mest en fordel hvis man skal gøre det flere gange - samt det er vel ikke hurtigere end scp ville være - så jeg tror der skal en kombination af pakning (hvor tar åbenbart ikke er godt nok - er det tar eller gzip som fejler, og har I forsøgt med bzip2 ?)

hejsa.... vil lige komme med en kommentar....

Efter at have pakket alle filer ned med tar, var problemet ikke at pakke det ud, men problemet var at ingen programmer ville sende en så stor fil som vi her havde med at gøre... som sagt den fyldte mellem 20 og 30 GB, somregel vil ftp programmer ikke håntere mere end små 2 GB og kunne heller ik hente den med wget, så hvis vi bare kunne få den sendt virker det væl også med at pakke den ud, når vi nu kunne pakke den ind ???

hvad med :

zipsplit
Copyright (C) 1990-1999 Info-ZIP
Type 'zipsplit "-L"' for software license.

ZipSplit 2.3 (November 29th 1999)
Usage:  zipsplit [-tips] [-n size] [-r room] [-b path] zipfile
  -t  report how many files it will take, but don't make them
  -i  make index (zipsplit.idx) and count its size against first zip file
  -n  make zip files no larger than "size" (default = 36000)
  -r  leave room for "room" bytes on the first disk (default = 0)
  -b  use "path" for the output zip files
  -p  pause between output zip files
  -s  do a sequential split even if it takes more zip files
  -h  show this help    -v  show version info    -L  show software license

Det korrekte svar er: rsync over ssh
Eks:
rsync -avz --progess -e ssh lokale_filer remotehost:/destination

Effektivt, hurtigt, med kompression, let resume (Bare gentag kommandoen) og sikkert.

rsync er netop ved gentagne gange. Filer over 2Gb er et problem på kerne 2.2 - og filer over 16Gb er (kan være) et problem på 2.4.

NFS burde ikke være dræbende langsomt, men jeg vender lige en tanke - cpio genererer en konstant datastrøm, som kunne sendes over nfs - og med rette argumenter på cpio, så pakker den ud i destinationskataloget.

Noget med "find . -print | cpio -pvdr </mount point på nfs>" - dette er dog ikke testet.

problemet med NFS er formentlig netværkshastigheder. 10Mbit og 100Mbit giver netop kun ca. 1Mb i sekundet - og 40000 sekunder + overhead giver over 12 timer.

Jeg ville nok benytte den manuelle transport metode - om jeg så skulle fra Frederikshavn til København, så er det hurtigere at hælde på en disk - sætte mig i bilen og køre turen - montere disk og kopiere data ind igen.

Dette vil tage ca. 4 timers kørsel - og har dermed 2*4timer + alt det løse.

Jeg tror hilli sitt svar må være opp mot det perfekte selv om jeg selv ikke har prøvd rsync over nettverk, bare lokalt mellom hd på PC. (pefekt pga kompresjon av datastrømmen ved hjelp av ssh)

Noe av det fine med rsync det er jo at det ikke spiller noen rolle om datatransporten blir brutt et par ganger, den fortsetter bare der den slapp.

Men hvordan er det egentlig man kan sette opp rsync til å kjøre mellom to maskiner som står ved siden av hverandre på et lan ? Må man installere en rsync server og en rsync klient eller er dette noe som nærmest er "linux standard".

Hvis pc 1 heter pc1 og har adresse 10.0.0.1 og pc 2 heter pc2 og har adresse 10.0.0.2. Directory heter /dir1 og filene som skal overførers heter fil1 og fil2. hvordan får man dette til å kjøre helt konkret ??

Hvordan oversetter man dette til det konkrete eksempel:
lokale_filer remotehost:/destination

(Med utgangspunt i:
rsync -avz --progess -e ssh lokale_filer remotehost:/destination )


(Og prinsippene skulle vel ellers kunne brukes over wan ??)

fedtmule :-)> jeg vil finde et konkret eksempel som bliver brugt hos en kunde - det bliver først (tidligst) i morgen.

så vist jeg husker, så bruger vi ssh som transportlag - det kræver ikke nogen dedikeret rsync-server, men bare en kørende ssh-server.

Jeg vil ikke påstå at en rsync server er standard, selv på Linux. Men det er jeg ret sikker på at en SSH server er, og med ssh keys etc, kan rsync sagtens benyttes til fx daglig backup.

I det konkrete eksempel vil det være
(Under antagelse af at du er på pc1, /dir1 er på¨pc1 og fil1 og fil2 er i /dir1):
cd /dir1
rsync -avz --progess -e ssh fil1 fil2 pc2:/dir2

du skal da bruge rsync ja.

man split:

split - split a file into pieces

-b, --bytes=SIZE
              put SIZE bytes per output file

Hvad med splitte den i 40 x 1GB stumper og så overføre dem via FTP ?

ellers kan man bruge dd som

dd if=bigfile.tar.gz of=bigfile.tar.gz.01 bs=1024k count=1000 skip=0
dd if=bigfile.tar.gz of=bigfile.tar.gz.02 bs=1024k count=1000 skip=1000
dd if=bigfile.tar.gz of=bigfile.tar.gz.03 bs=1024k count=1000 skip=2000

osv osv

Tjaaa, vi er nu kommet frem til en løsning hvor vi også får ryddet op.

Vi laver et cron som når kunden vælger det pakker hans/hendes bibliotek, overføre den lille fil til den nye server og lader en ny cron udpakke filerne her..

Vi fik det endeligt helt fikset.. Lavede det med 2 simple PHP scripts som pakkede hver kundes mappe og sendte dem til den nye server.. Har kørte så en cron som udpakkede filerne igen..