5.1.1. A szövegfájlba kerülés szabályai

A fájlnév.txt-kben felsorolódó nevek vagy címek nem önmagukban állnak, mindegyik egy-egy rekordot képvisel. A rekordokban pedig más mezők is vannak, amelyeknek a tartalma növelheti vagy csökkentheti a valószínűségét annak, hogy az azonos nevekhez vagy címekhez tartozó rekordok valóban azonosak. Ezért a dbdupl program nemcsak a neveket vagy a címeket vizsgálja, hanem a rekordoknak több mezőjét is bevonja. Ezek a mezők rekordpusonként mások, az alábbiak:

• Alkotó rekord: Neve, Évek, Névkiegészítő, Méltóság, Foglalkozás
• Földrajz rekord: Megnevezés, Érvényes, Megye
• Olvasó rekord: Név, Szem.ig, Szül.idő, Szül.hely, Anyja neve, Neme
• Rendezvény rekord: Neve, Sorszám, Székhely, Egységesített neve, Fennállás
• Sorozat rekord: Főcím, Alcím, egyéb címadat, ISSN, ISBN
• Személy rekord: Név, Szem.ig, Szül.idő, Szül.hely, Anyja neve, Neme
• Testület rekord: Neve, Sorszám, Székhely, Egységesített neve, Fennállás

A több mezőre kiterjedő vizsgálat nagy biztonsággal kizárja, hogy különbözőnek szánt rekordokat a dbdupl program a szövegfájlba illessze. Hiszen ha pl. két alkotó rekordban a nevek azonosak is, az Évek mező vizsgálata elég lehet ahhoz, hogy kimaradjon az azonosnak feltételezettek közül.

További apróságok árnyalják a szabályrendszert. A program:

• Figyelmen kívül hagyja az írásjeleket
• Nem tesz különbséget a kis- és nagybetűk között
• Figyelembe veszi a diakritikus jeleket

Megjegyzés:

• A dbdupl program nem tud törődni az elírásokkal. Észre sem veszi, hogy Vörösmarty és Vörösnarty csak egy tévedés miatt van, ez valójában egy duplázódás. A dbdupl szabályrendszere alapján a két rekord nem kerül be a szövegfájlba.

5.2. Döntés a megtalált rekordokról

5.2.1. Bevezetés

A dbdupl program szabályrendszerének értelmezéséből megállapíthatjuk, hogy szövegfájlokba azok a rekordok kerülnek be, amelyek nagy valószínűséggel indokolatlan, téves duplikátumok. A cél az, hogy az azonosak közül csak egy maradjon meg, a többiek pedig tűnjenek el az adatbázisból. A kiválasztás pedig könyvtárosi szakismeretet igénylő feladat, és a szövegállományok részletes átvizsgálása útján teljesül.

Az átvizsgálást a TextLib munkaállomás programba könyvtárosként lépve a wdbdupl modulban végezhetjük. Másoljuk a hét szövegfájlt olyan helyre, ahol a TextLib winkliens meg tudja nyitni, és a változtatások után el is tudja majd menteni.

Megjegyzések:

• Nem muszáj feldolgozni mindent szövegfájt, ez a könyvtár döntése.
• Nem muszáj egyszerre feldolgozni a szövegfájlokat. Nem kötelező a műveletsor harmadik lépését az összes szövegfájllal egyszerre elvégezni.
• A különböző szövegfájlok feldolgozása folyhat egyszerre több TextLib munkaállomáson. De egy szövegfájl egyszerre két gépen semmiképp ne módosítsunk!
• A feldolgozás tarthat sokáig, de közben az adatbázisban nem történhet olyan változás, ami a munkát értelmetlenné vagy érvénytelenné tenné.

5.2.2. A wdbdupl modul

A wdbdupl modult az Egyéb - Eszközök - Modul indítás menüpontban a Modul mezőbe a wdbdupl nevet beírva indíthatjuk el.

2. ábra: A wdbdupl modul elindítása

A modul azonnal egy tallózó ablakot mutat a feldolgozandó szövegfájl kiválasztása céljából. A kiválasztás után a duplikátum szerkesztő ablak nyílik meg.

3. ábra: A duplikátum szerkesztő ablak

Az ablakban az első megnyitáskor kétféle színű sor látható: zöld és piros. Az azonosnak látszó nevek egy csoportot alkotnak, felváltva világos- és közepesen szürke háttérben. A csoportok elsője mindig zöld, a továbbiak pedig mind pirosak. Ha nem tennénk semmit, akkor a Döntések átvezetése az adatbázisba pont végrehajtása után a zöld sorokat jelentő rekordok megmaradnának, az összes piros pedig törlődne az adatbázisból. A sorok a rekordok típusára jellemző mezőkre tagolódnak.

Az ablak saját menüjének két pontja van, és azoknak alpontjai. A Fájl menüpont alpontjainak jelentése magától értetődő, a Szerkesztés pedig így néz ki:

4. ábra: A duplikátum szerkesztő ablak Szerkesztés menüpontja

Egy picit halasszuk el ezeknek a pontoknak a magyarázatát, mert egyszerűbb lesz megérteni a szövegfájl elemeivel végezhető műveletek ismertetésekor.

5.2.3. A műveletek

A szövegfájl bármelyik során állva jobb egérgombbal egy menü nyitható, amely felsorolja a duplikátumok megszüntetése érdekében végezhető műveleteket.

5. ábra: A szövegfájl elemeinek saját menüje

A menüpontok kiválaszthatósága függ attól, hogy az a sor, amin éppen állunk milyen színű, milyen tulajdonságú, emiatt vannak a menüben szürke, nem választható pontok is.

A következő kép jól magyarázza a lehetőségeket, egyben bemutatja a változtatások eredményeként keletkező új színeket.

6. ábra: Egy munkába vett alkoto.txt szövegfájl

• Megmaradó rekord legyen

  A dbdupl program csupán csoportokba sorolja a szövegfájlba kerülés szabályai szerint azonosnak látszó rekordokat, és a csoportok elsőjét zöldnek jelöli. Ez a jelölés tehát nem tekinthető szakmailag alapos döntésnek.

  A menüponttal megszűnő rekordot megmaradóvá változtathatunk, pirosból zölddé. Cserébe, az eddig zöld pirossá válik, mivel egy csoporton belül egyetlen zöld sor lehet. A döntésben segít, hogy minden sorban a rekordoknak több mezője is látszik, ezeknek a tartalma alapján lehet megmaradónak kiválasztani a legjobbat.

• Megszűnő rekord legyen

  Megszűnőnek jelölhetünk egy eddigi megmaradót. Mivel minden csoportban kell egy megmaradónak lenni, ezzel a lépéssel a csoport hibássá válik. A hibás csoport háttérszíne halvány piros. A hibát úgy javíthatjuk, hogy a csoport valamelyik sorát megmaradónak jelöljük. Ez a végeredmény egyetlen lépésben is elérhető a Megmaradó rekord legyen menüponttal.

  Csoportok összevonásával el lehet érni, hogy az egyesített csoportban két megmaradó rekord legyen, de ekkor az egyesített csoport természetesen hibás lesz, amíg az egyik megmaradót megszűnönek nem jelöljük.

  7. ábra: Két megmaradó rekord a csoportok összevonásával
  
• Ne változzon

  A menüpont az aktuális sor betűit feketére színezi, ezzel a sor rekordját kivonjuk a további változások alól, megmarad jelenlegi formájában. Erre akkor van szükség, amikor egy csoportnak van olyan tagja, amelyik ugyan a jellemzői alapján a dbdupl program szerint azonosnak tűnik a csoport többi tagjával, de a döntésünk szerint nem azonos egyikkel sem.

  Ha egy kéttagú csoport egyik tagját jelöljük meg, a csoport hibássá válik. A híbát úgy javíthatjuk, ha a másik tagot is változatlannak jelöljük, vagy ebből a másikból új csoportot alkotunk.

• Legyen új csoport ebből

  A duplikátum szerkesztő lehetőséget ad arra, hogy a csoportnak egy vagy több tagját kivonjuk a csoportból, és a kivontakat összevonjuk egymással vagy egy következő csoporttal. A könnyebb érthetőség kedvéért álljon itt egy képsorozat:

  8. ábra: A kreált példa: Boronkai Iván öt rekordja
  
  
  
  9. ábra: A negyedik rekordból új csoportot alkotunk. A rekord az ötödik helyre ugrik, és egytagú csoportként hibásnak jelölődik.
  
  
  
  10. ábra: Ismét a negyedik rekordból alkotunk új csoportot. A rekord ismét az ötödik helyre ugrik, és egytagú csoportként hibásnak jelölődik.
  

  Megjegyzések:

  • Az új csoport alkotásához annak bemutatására választottuk mindig az utolsó előtti sort, hogy lássuk a kiválasztott sort a csoport végére ugrani. Azért van így, hogy az új csoporttal tovább lehessen dolgozni, ne maradjanak az elemei az eredeti csoport belsejében szétszóródva.
  • A két új csoport automatikusan nem vonódik össze, két hibás sor marad, ha nem teszünk semmit.
• Összevonás a következő csoporttal
  11. ábra: Az első új csoporton állva összevonás a következő csoporttal
  

  A két csoportból egy lett, de az is hibás. A hibát úgy javíthatjuk, ha az immár egy csoport valamelyik tagját megmaradónak jelöljük.

  Egy másik lehetőség, hogy - amennyiben indokolt - a kételemű hibás csoportot összevonjuk az utána következő csoporttal:

  12. ábra: A kételemű új csoporton állva összevonás a következő csoporttal
  

  A helyes eljárás talán az lehetett volna, ha az 5 db 'i' vel írt nevet összevonjuk a 3 db ipszilonossal:

  13. ábra: Öt 'i' végű + három 'y' végű
  

  Figyelem! A példák csak példák, a valóságban ezeknek a műveleteknek nem lett volna értelme!

• Rekord megmutatása

  Ezt a menüpontot kiválasztva (vagy egyszerűen dupla klikk a bal egérgombbal) a jól ismert ablakos nézetben látjuk a rekordot.

  14. ábra: A sor rekordja ablakos nézetben
  

Következzen egy valóságos példa az egymást követő csoportok összevonására.

15. ábra: Példa az indokolt összevonásra

Két nevet is láthatunk a képen, amelyek két különböző okból két-két csoportot alkotnak: Asturias a diakritikus jel miatt, Attenborough pedig a születési évszáma miatt. Ezeket a csoportokat minden valószínűség szerint össze kell vonni.

Az összevonható csoportok többnyire épp közvetlenül egymás után kerülnek a szövegfájlba. Vannak olyan nevek, amikor ez nincs így, pl. a dupla Kis László és a dupla Kiss László nem egymást követő két csoportot alkot. Az ilyet már észrevenni is nehéz, és javítani sem egyszerű. Megtehetjük, hogy megmaradónak jelöljük a Kis Lászlókat és a Kiss Lászlókat, a két név közötti többi nevet véglegesítjük, majd a döntések átvezetésével befejezzük a műveletsort. És mivel tudjuk, hogy a Kis-Kiss probléma és a hasonlók megoldatlanok, újrakezdhetjük a legelején, hiszen biztosak lehetünk abban, hogy a dbdupl program újbóli futása után az új fájlnév.txt-ben már csak néhány megoldatlan duplum lesz.

Térjünk vissza a duplikátum szerkesztő ablak menüjéhez, immár érthetővé váltak a menüpontok:

16. ábra: A duplikátum szerkesztő ablak Szerkesztés menüpontja

• Visszavonás: az aktuális soron végzett művelet visszavonása
• Előző hibás csoport: hibás csoportok keresése a fájlban visszafelé
• Következő hibás csoport: hibás csoportok keresése a fájlban előre
• Elemek: a rekordokkal végezhető műveletek

Többször szó esett a hibás sorokról. A munka közben szabad hibás soroknak lenni a fájlban, sőt, el is menthetjük a napi munka végén a hibás fájlt, de a döntések átvezetését végző program már csak hibátlan fájlt fogad el. A véglegesítéshez érdemes tehát a duplikátum szerkesztő ablak menüjéből indulva a hibás csoportokokat keresve áttekintemi a szövegfájlt.

5.3. A döntések átvezetése az adatbázisba

Ezt a műveletet a TextLib szerver gépen végezzük a drefch programmal. A program beszerzéséről és a telepítés helyéről szó volt a duplák keresése pontban. A program indítása:

• Windowsban:

  Start - Programok - TextLib Windows Szerver - TextLib Szerver Parancssor ablakban a w-drefch.exe /Xc:\temp\foldrajz.txt paranccsal

• Linuxban:

  /usr/share/textlib/exe/g-drefch.exe /X/tmp/foldrajz.txt paranccsal

A /X paraméterrel kell megadni a szövegfájlt. A foldrajz.txt helyébe az éppen feldolgozandó szövegfájl nevét írjuk. Amennyiben az összes szövegfájlt fel akarjuk dolgozni, akkor hétszer kell a drefch programot futtatni. Az ütemezésre nincs ajánlás, tetszés szerinti időpontokat és tetszés szerinti sorrendet választhatunk.

A drefch program végzi a duplumok megszüntetését. Meghagyja a szövegfájl zölddel (megmaradó rekord legyen) és szürkével (ne változzon) jelölt rekordjait, és törli a pirosakat (megszűnő rekord legyen). Pusztán a törlés természetesen kevés lenne, ezért a törlendő rekordokra irányuló összes hivatkozást az egyetlen megmaradóra irányuló hivatkozássá változtataja. E változás után valóban nyugodt szívvel törölhetők a megszűnő rekordok, nem maradnak rájuk irányuló, és emiatt érvénytelenné vált hivatkozások.

A művelet azonban a TextLibben számtalan helyen előforduló adatkapcsolatok miatt közel sem csak ennyiből áll. Tekintsünk példának egy pár alkotó rekordot, ahol az alkotók neve azonos, és mindkettőnek van névváltozata is, ahol az alkotó nevek szintén azonosak.

17. ábra: Azonos nevek a nevekben és névváltozatokban

A dbdupl futása után így néznek ki a rekordok a duplikátum szerkesztőben.

18. ábra: A nevek a duplikátum szerkesztőben

Azért, hogy lássuk a drefch program működését egy szélsőséges helyzetben, a névváltozat rekordok közül nem azt jelöltük megmaradónak, amelyik a megmaradó egységesített névalakhoz tartozik. A rekordazonosítók alapján ez könnyen ellenőrizhető.

A drefch program jól kezeli a feladatot, a futását naplózó log így néz ki:

***** 2021-03-11 14:56 **************************************************
w-drefch  /Xc:\tmp\alkoto.txt
DREFCHG V3.17 - Dataref csere

    - f7.NEVVALTOZAT[0]: f6 -> f10.2

Rekordok törlése...
  / f6 torlese:  OK
  / f9.2 torlese:  OK

Összesen: 1415 olvasott, 1 módosított, 2 törölt
           (0:00, 70750 rek/mp) 

Az alábbi sor

- f7.NEVVALTOZAT[0]: f6 -> f10.2

jelentése szerint a drefch program a megmaradó egységesített név rekord (f7) névváltozat mezőjébe beillesztette a megmaradó névváltozat rekord azonosítóját (f10.2). Látható tehát, hogy nem kell tudnunk, a megmaradó-megszűnő döntéskor, hogy egységesített névvel vagy névváltozattal foglalkozunk éppen. Általánosítva leszögezhetjük, hogy a duplikátumok megszüntetésében érintett adatkapcsolatokat a drefch program jól kezeli.

Megjegyzés:

• A drefch.log helye a többi log mellett van, Windowsban az adatbázis mellett C:\textlib, Linuxban pedig a /var/log/textlib mappában.

Az előbbi példánál sokkal bonyolultabb az azonos nevű olvasók egységesítése. A drefch program ugyanis a megmaradónak jelölt olvasó rekordjába összegyűjti a megszűnők összes kölcsönzését, előjegyzését, tartozását stb.

Vissza: HTML dokumentáció   ;   TextLib honlap