PHP-funktion til at søge i pdf-filer

Jeg kan se 3 måder at løse dette på:

1) lav en søge PHP side som itererer over alle filer og bruger et PDF library (som f.eks. FPDF) til at læse filerne. Overkommeligt men langsomt og resourcekrævende.

2) lav et load PHP script som itererer over alle filer og bruger et PDF library (som f.eks. FPDF) til at læse filerne og gemmer teksten i en fulltext database (MySQL har fulltext mulighed) og en søge PHP side som bruger den fulltext database. Mere arbejde men hurtigere og mere effektivt.

3) brug en text search engine med support for PDF (der er mange - en af dem er Solr med Tika), prop PDF filerne ind i den og lave en søge PHP side som requester information via web service kald til  text search engine. Nemt og effektivt, men medmindre din hosting facilitet har sådan noget kørende allerede er det nok for krævende at få op at køre.

Tak, Arne.
Men jeg er ikke helt med: hvad indbefatter itererer?

Det afhænger af hvordan de PDF filer er organiseret.

Men hvis de bare er i et eller flere separate data directories så kan opendir/readdir/closedir gøre det.

Giver det mening eller snakker jeg sort?

Ikke helt sort, så jeg vil studere dine forslag lidt inden jeg spørger mere dumt!

For at søge tekst i pdf dokumenter skal de først være gemt med tekstgenkendelse (Adope acrobat pro). Der efter kan der søges i dem, som om det var rene text filer.
Det vil spare meget tid med opsætningen af søgefunktionen og ligeledes database og server belastning

Ja, der findes løsninger i PHP til at søge i PDF-filer og finde, på hvilken side søgeordet forekommer. For at implementere dette kan du bruge et PHP-bibliotek som **TCPDF**, **FPDI**, eller mere avanceret som **Poppler-utils** (via PHP-kommandoer) eller **PdfParser**.

Her er nogle trin og en løsning:

---

1. **Brug af PdfParser (smarte værktøjer til tekstanalyse)**
PdfParser er et PHP-bibliotek, der kan ekstrahere tekst fra PDF-filer. Du kan bruge det til at søge i teksten og finde, hvilken side der indeholder søgeordet.

Installation
Installer **PdfParser** via Composer:
```bash
composer require smalot/pdfparser
```

Kodeeksempel
```php
<?php
require 'vendor/autoload.php';

use Smalot\PdfParser\Parser;

// Indlæs PDF-filen
$parser = new Parser();
$pdf = $parser->parseFile('path/to/your/file.pdf');

// Få alle sider i PDF
$pages = $pdf->getPages();
$searchWord = 'avissider'; // Søg efter dette ord

foreach ($pages as $index => $page) {
    $text = $page->getText();
    if (stripos($text, $searchWord) !== false) {
        echo "Ordet '{$searchWord}' blev fundet på side " . ($index + 1) . "\n";
    }
}
?>
```

---

2. **Fordele ved PdfParser**
- Ekstraherer tekstside for side.
- Let at implementere.
- Finder det præcise sted, hvor søgeord findes.
- Virker med søgbare PDF'er (OCR-baserede PDF'er).

---

3. **Hvis PDF'en ikke har tekst (billede-baseret OCR)**
Hvis PDF-filerne kun er skannede billeder og ikke har søgbare tekstlag, skal du bruge et OCR-værktøj som **Tesseract OCR**. PHP kan interagere med Tesseract for at analysere billedteksten.

Installation af Tesseract og PHP-eksempel
1. Installer Tesseract på din server.
2. Ekstraher tekst fra hver side og søg med lignende logik.

Eksempel:
```php
$output = [];
exec("tesseract path/to/page1.pdf stdout", $output);
$text = implode("\n", $output);
if (stripos($text, 'søgeord') !== false) {
    echo "Ordet blev fundet på denne side!";
}
```

---

4. **Kombination med UI**
Du kan tilføje et brugervenligt søgefelt på dit site, hvor brugere kan skrive et søgeord, og serveren kører ovenstående kode for at vise resultater.

---

Det er efterhånden længe siden, jeg lavede hjemmesider, så det vil kræve lidt genoptræning.
Jeg har alle filerne som pdf, der har været gennem OCR, så det er tekst, der skal findes.
Umiddelbart er #6 det, der siger mig mest, så når jre får afsluttet fotograferingen, vil jeg forsøge med det!
Tak til jer alle for jeres svar.

Jeg har tænkt lidt på hastigheden ved søgning.
Jeg har prøvet at hente teksten ud af nogle avis og sammenlignet filstørrelserne.
Pdf-filerne fylder omkring 50 gange så meget som txt-filerne.
Vil søgehastigheden ved søgning så være 50 gange hurtigere end søgning i pdf-filer?
Eller har PdfParser nogle smarte egenskaber, der stiller metoderne mere lige?

Lyder lidt, som du skyder gråspuve med kanoner, eller sloges med vindmøller som Don Qousite (temmerligt sikkert, ikke stavet korrekt). En pdf fil korrekt optimeret fylder ikke mere end en txt fil. OG ingen filer må overskride en grænse på 50 kb. Hvis dine pdf filer fylder mere end dine tekst filer - no comments. Du kan henvende dig eller søge hjælp her i forummet, men har ikke set nogle brugbare svar på dit spørgsmål endnu - giv et kald når du er klar .....

Det lyder som om jeg er helt galt afmarcheret med mit projekt.
Mine filer er langt for store!
Jeg vil forklare min fremgangsmåde, måske er der et sted at minimere filstørrelserne!

1. Jeg fotograferer avissiderne et ad gangen med et Canon EOS800d kamera. Det er på 24 Mpix. Eks.: Vinderup Avis 1937-001.CR2 ca. 32Mbyte.
2. CR2-formatet konverteres til tif-format. Vinderup Avis 1937-001.tif fylder nu > 144 Mbyte. Til konverteringen bruges Adope Photo Element 2024.
3. Billederne retvendes, beskære samt optimeres med farve og kontrast (aviserne kan være meget gulnede). Nu fylder filen 72 MByte.
4. Billederne køres gennem FineReader 14, hvor siderne gøres søgbare og gemmes som *.pdf. Den fylder nu med fire sider (avisens størrelse) 2,7 MByte.
Der er jo langt ned til 50 kbyte.
Hvor kan jeg optimere?

Send mig 1 af dem du betragter som færdige ....

Har du overvejet at scanne dem dirkte til .pdf filer ??

Jeg vil gerne sende #11 en fil, men mailadressen på hjemmesiden bliver forkastet af postmaster.

Da jeg ikke har en skanner, der kan tage 50 cm x 70 cm kan jeg ikke skanne direkte.
Filformatet CR2 fra kameraet kan ikke bruges af nogen af mine programmer, derfor skal det konverteres. Da billedformatet (2:3) ikke stemmer overens med avisernes format, klipper jeg i billederne. Den efterfølgende filbehandling gør aviserne merelæsbare.

Søgning i direkte filer vil aldrig være hurtigt. Skal det være hurtigt er du nødt til at generere et indeks (løsning 2 og 3 i indlæg #1).

Men er du kommet igang med at parse de PDF filer? Det er nemmere at optimere hvis man løbende kan teste.

#14.
Jeg ved ikke, hvad du mener med at parse?
Den tekst, som kommer ud af pdf-filerne er der ikke nogen logik i, aviserne er i spalter der ikke på nogen måde er systematisk.
Du skriver i #1 pkt. 2. om at gemme i en database. Hvis jeg gemmer teksterne i en database får jeg så den største søgehastighed?

Parse er udtræk af tekst med søgeord fra PDF.

Ja. En database hvor teksten med søgeord gemmes som fulltext index er en måde at gøre tekstsøgning hurtig på.

Hvis din foobar.pdf indeholder teksten "Dette er en test" og du har 10000 PDF filer, så tager det meget lang tid at søge 10000 PDF igennem for ordet "test".

Hvis derimod du gemmer "foobar.pdf" og "Dette er en test" i en database tabel med fulltext index på det andet felt, så vil databasen internt gemme:

Dette -> foobar.pdf
er -> foobar.pdf
en -> foobar.pdf
test -> foobar.pdf

og et opslag på "test" vil returnere foobar.pdf lynhurtigt.

Det lyder som løsningen med database og Index.
I mysql på 'min' server (one.com) er der ikke noget, der hedder 'fulltext' som datatype, så det er vel typen 'text', jeg skal bruge!

Parsningen har jeg vel allerede gjort ved at udtrække teksten fra PDF-fierne?
Og det vil vel øge hastigheden hvis jeg for hver side fjerner dubletter?

Hej Kurt, har kigget/set dine filer.
Først bør du forstå at .pdf filer ikke laves korrekt med et værktøj som ImageMagick.
Hvilket du har brugt, i vedsendte eksempler.
Skal der laves OSR/søgbare filer er Adobe acrobat Pro et must. Man springer ikke bare over og forsøger med kopiformater.
Når du tager vejen med Adobe acrobat Pro og efterfølgende gemmer siderne som TIFF med CCITT Group 4-komprimering. vil du finde din løsning ;-)
Jeg giver gerne en hånd med, mod betaling, og har PRO udgaverne af Adobe serierne :-D

Og ja - til #13 som svar på #11 - dine filer er simpelthen for store, så gør det rigtigt, hvis du vil gøre det ....

#18
Jeg ved ikke af, at jeg har brugt ImageMagick. Jeg har FineReader 14, men den bruger måske det program internt.
Atdet absolut skal være Adope, der skal bruges, forstår jeg ikke. Jeg ved fra en medarbejder ved DKB, der laver MedieStream, at de anvender Finereader 14.

I Finereader har jeg prøvet at sætte indstillingen for PDF-format til Kompakt i stedet for Bedste kvalitet. Det reducerer filens størrelse til ca. det halve uden at det går nævneværdigt ud over billedet.

Med hensyn til Acrobat Pro: Det er et hobbyprojekt, så jeg har ikke lyst til at sætte flere penge end nødvendigt i det.

Kan du sende mig et af dine originale billeder af en side, FØR du benytter andre værktøjer ...

FULLTEXT er en indeks type ikke en kolonne type.

Kolonne typen kan være VARCHAR,TEXT, LONGTEXT etc..

Det er indeks som skal være FULLTEXT.

Eksempel:

Eksemplet er hapset herfra: https://www.vajhoej.dk/arne/articles/textsearch.html#rdbms_mysql

Så hvis du har styr på at få tekst ud af PDF så noget a la:



og for at søge:



vil finde alle stier til PDF som indeholder 'etellerandet' på en effektiv måde.

Mere konkret så er den rå søgning i PDF O(N) - ovenikøbet med en masse open/close overhead - mens en søgning via fulltrext index er O(logN).

O(N) betyder at det tager 10000 gange så lang tid at søge i 1 million ord som at søge i 100 ord.

O(logN) betyder at det tager 3 gange så lang tid at søge i 1 million ord som at søge i 100 ord.

Det ser interessant ud, men jeg skal have lidt tid til at kikke det igennem og fatte det (blev olding sidste år) :-)
Pt har jeg problem med overhovedet at få noget ud af en database!