Bigram & Trigram

Da jeg ikke aner en dyt om hvad bigram og trigram er, kan du forklare det lidt nærmere ?

Er det korrekt forstået at du søger et script til at tælle/opliste alle de steder hvor der i en given tekst findes sætninger på hhv. 2 og 3 ord, eller hvad mener du med ovenstående?

ja - jeg ønsker et program som kan finde alle strenge af 2 ord og 3 ord og optælle hvor mange gange de går igen.
Teksten: jeg vil gerne ha en is og jeg vil gerne købe en og vil gerne købe en til dig også.

Ville således give:
Bigrams
3 x vil gerne
2 x jeg vil
2 x købe en

Trigrams
2x  jeg vil gerne

I modsætning til ren ord optælling, kan bi- og trigrams give et bedre indtryk af indholdet af en tekst.

der skal naturligvis tages højde for at bigrams og trigrams skal findes i hele sætninger og må altså ikke overskride et punktum. Kommaer er underordnet og kan blot fjernes før gennemløb, men både ; ! ? ; " skal opfattes som afslutning af en sætning. 
I bedste tilfælde kunne feks et punktum som indgår i et tal (10.000) opfattes som en del af ordet ...
Og der findes garanteret mange andre ting man kan/bør tage højde for.
Det bliver hurtigt lidt speget, ik?!

<ole>

Det kunne sikkert gøres mere 'sexy', men det bliver ikke inat. Jeg har skiftet punktummer i tal ud med kommaer - dem må du selv skifte, hvis det er et problem  =)

<?php
$s = <<<STREND
Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Aenean risus nibh, sodales et, pellentesque vitae, condimentum quis, tortor.
Donec sed ipsum. Proin lobortis est a metus. Morbi ornare orci posuere lectus rhoncus libero.

Quisque ultricies risus. Cras fermentum tellus varius mauris. Phasellus nec pede vel dolor commodo fermentum.
Fusce blandit tellus feugiat nulla. Nullam nibh. Proin 10.000 venenatis orci nec nunc.
Phasellus feugiat, orci vel posuere euismod, urna orci posuere lectus, vel sodales elit urna nec nunc.
Nullam pretium mauris blandit tellus feugiat nulla sit amet dolor. Ut dictum.
STREND;

$s = preg_replace("/(,|\r|\n|\t)/", "", $s);
$s = preg_replace("/(\d+)\.(\d+)/", "$1,$2", $s);
$a = preg_split("/(\.|\!|\?|;|\")/", $s);

$aBiGrams = array();
$aTriGrams = array();
for ($i=0,$j=count($a); $i<$j; $i++) {
    $aLine = explode(" ", $a[$i]);
    $nLines = count($aLine);
    if ($nLines>=3) {
        for ($m=0,$n=$nLines; $m<$n-2; $m++) {
            if ($aLine[$m]!="" && $aLine[$m+1]!="" && $aLine[$m+2]!="") {
                $aTriGrams[] = $aLine[$m]." ".$aLine[$m+1]." ".$aLine[$m+2];
            }
        }
    }
    if ($nLines>=2) {
        for ($m=0,$n=$nLines; $m<$n-1; $m++) {
            if ($aLine[$m]!="" && $aLine[$m+1]!="") {
                $aBiGrams[] = $aLine[$m]." ".$aLine[$m+1];
            }
        }
    }
}

$aBiG = array();
for ($i=0,$j=count($aBiGrams); $i<$j; $i++) {
    if ( $aBiG[$aBiGrams[$i]] ) $aBiG[$aBiGrams[$i]] += 1;
    else $aBiG[$aBiGrams[$i]] = 1;
}
arsort($aBiG);

$aTriG = array();
for ($i=0,$j=count($aTriGrams); $i<$j; $i++) {
    if ( $aTriG[$aTriGrams[$i]] ) $aTriG[$aTriGrams[$i]] += 1;
    else $aTriG[$aTriGrams[$i]] = 1;
}
arsort($aTriG);

$sOut = "<div><b><u>Bigrammer:</u></b></div>";
foreach($aBiG as $key => $val) {
    $sOut .= "<div><b>".$key."</b> blev fundet ".$val." gang".($val>1?"e":"")."</div>";
}

$sOut .= "<hr><div><b><u>Trigrammer:</u></b></div>";
foreach($aTriG as $key => $val) {
    $sOut .= "<div><b>".$key."</b> blev fundet ".$val." gang".($val>1?"e":"")."</div>";
}

print $sOut;
?>

/mvh
</bole>

Njahhh ... lidt mere 'sexy' kan du godt få den:

<?php
$s = <<<STREND
Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Aenean risus nibh, sodales et, pellentesque vitae, condimentum quis, tortor.
Donec sed ipsum. Proin lobortis est a metus. Morbi ornare orci posuere lectus rhoncus libero.

Quisque ultricies risus. Cras fermentum tellus varius mauris. Phasellus nec pede vel dolor commodo fermentum.
Fusce blandit tellus feugiat nulla. Nullam nibh. Proin 10.000 venenatis orci nec nunc.
Phasellus feugiat, orci vel posuere euismod, urna orci posuere lectus, vel sodales elit urna nec nunc.
Nullam pretium mauris blandit tellus feugiat nulla sit amet dolor. Ut dictum.
STREND;

$s = preg_replace("/(,|\r|\n|\t)/", "", $s);
$s = preg_replace("/(\d+)\.(\d+)/", "$1,$2", $s);
$a = preg_split("/(\.|\!|\?|;|\")/", $s);

$aBiGrams = array();
$aTriGrams = array();
for ($i=0,$j=count($a); $i<$j; $i++) {
    $aLine = explode(" ", $a[$i]);
    $nLines = count($aLine);
    if ($nLines>=3) {
        for ($m=0,$n=$nLines; $m<$n-2; $m++) {
            if ($aLine[$m]!="" && $aLine[$m+1]!="" && $aLine[$m+2]!="") {
                $sTmp = $aLine[$m]." ".$aLine[$m+1]." ".$aLine[$m+2];
                if ($aTriGrams[$sTmp]) $aTriGrams[$sTmp] += 1;
                else $aTriGrams[$sTmp] = 1;
            }
        }
    }
    if ($nLines>=2) {
        for ($m=0,$n=$nLines; $m<$n-1; $m++) {
            if ($aLine[$m]!="" && $aLine[$m+1]!="") {
                $sTmp = $aLine[$m]." ".$aLine[$m+1];
                if ($aBiGrams[$sTmp]) $aBiGrams[$sTmp] += 1;
                else $aBiGrams[$sTmp] = 1;
            }
        }
    }
}
arsort($aBiGrams);
arsort($aTriGrams);

$sOut = "<div><b><u>Bigrammer:</u></b></div>";
foreach($aBiGrams as $key => $val) {
    $sOut .= "<div><b>".$key."</b> blev fundet ".$val." gang".($val>1?"e":"")."</div>";
}

$sOut .= "<hr><div><b><u>Trigrammer:</u></b></div>";
foreach($aTriGrams as $key => $val) {
    $sOut .= "<div><b>".$key."</b> blev fundet ".$val." gang".($val>1?"e":"")."</div>";
}

print $sOut;
?>

- og $nLines burde selvfølgelig have heddet $nWords, hvis der skulle være logik i tingene. I den variabel ligger antallet af ord i den aktuelle linje  =)

- og en 'linje' er i denne forstand ikke en linje, men faktisk et punktum ... altså ikke tegnet punktum, men et antal ord mellem to skilletegn  ;D

- og så er det godnat, Ole!

Sov godt Olebole, du er tydeligvis ved at være overtræt, du mangler jo din <ole> <bole> tags. :o)

Super. Mange tak!
Så mangler jeg bare et svar fra Ole, så jeg kan give point!

Godmorgen, Jakob ... gider du lige at validere, om syntaksen i kommentaren (10/10-2008 03:13:41) modsvarer den høje grad af velformethed, som forfatterens krop i vide kredse er kendt for? Jaja, det var osse tidligt på dagen  ;D

alsvik >> Selvtak. Nu har du i hvertfald en begyndelse, men når man roder med søgemønstre i form af RegExps, kan man ofte komme ud for at glemme noget i forudsigelserne for, hvad man kan komme ud for at skulle søge mellem. Det må vi så tage til den tid  =)

olebole: Jeg kan sgu ikke gennemskue din kode lige nu. :o)

Det ser helt fint ud OleBole. Tusind tak!!!

jakobdo >> Det var osse bare en lille flabethed, vedr. mine ole-bole-tags ... de var der skam!  ;o)

alsvik >> Tak for points  =)

olebole: Jaja, men ikke på de efterfølgende. Ergo syntax error. ;o)

Jakob >> På dette _ene_ punkt er det mig - og _kun_ mig - der sætter standarden!  ;D

Kik i gamle tråde, og du vil opdage, at standarden siger: "Kun tags i første indlæg i en tråd" - og sådan har det vist været de seneste fem års tid  =)

Olebole: Har du bare altid et rigtigt svar på alt ?

Kendte engang en overordentlig alsidig musiker, som introducerede mig for mottoet: "If you can't fake it - you can't make it!"  ;D

PS: Hun nævnte det dog ikke, før vi var blevet gift! *LoL*