Toelichting op het fenomeen "stopwoorden"

Ik heb al vaak uitgelegd wat "stopwoorden" zijn in de context van een zoekomgeving en waarom het gebruiken van een stopwoordenlijst van belang is.
Mijn laatste zeer korte toelichting wil ik hierbij delen:

Onze taal bevat veel worden die feitelijk geen betekenis geven aan de inhoud van een zin maar wel veelvuldig worden gebruikt. Duidelijke voorbeelden zijn woorden als “de”, “het” en “een”.

Voor een zoekopdracht zijn deze worden betekenisloos en verzwarend als ze in de index zitten. Als je zoekt op “de hond”, dan gaat er uiteraard om het zelfstandig naamwoord “hond”.

Het gaat echter ook om werkwoorden die geen betekenis toevoegen. Denk daarbij aan “worden”, “zullen”etc.

Een zoekmachine probeert onderscheid te maken tussen relevante en niet-relevante informatie die in de indexen zelf zit, zodat tijdens het zoeken gebruik kan worden gemaakt van het gegeven of een zoekwoord voor een bepaald document meer of minder relevant is.
De uitkomst daarvan zorgt er weer voor dat bepaalde documenten hoger of lager in de resultaatlijst komen te staan.

Stopwoorden zullen tijdens het indexeren uit de content worden gehaald. Ook bij het stellen van de zoekvraag worden woorden die in de stopwoordenlijst staan, verwijderd.
Het is dus ook niet mogelijk om te zoeken op woorden die in de stopwoordenlijst staan, omdat die woorden gewoonweg niet in de index voorkomen!!!

Door het aanleggen van een goede, domeinspecifieke, stopwoordenlijst zal de relevantie van gevonden informatie dus toenemen en zal de snelheid verbeteren.

Onderscheidend vermogen facetted search vervaagd

Dankzij een bezoeker van een "round table" sessie van search vendors kunnen we smullen van de opmerkingen van de grote zoekmachines zoals Autonomy, Google en Endeca:

"I was at a search vendor round table today...". Ook op de blog Beyond Search is dit artikel besproken.

In eerdere jaren was het feit dat een search engine die facetted search in zich had, een reden om die oplossing te kiezen boven andere.

In het artikel gaat het met name om de vraag "waarom moeten klanten veel geld betalen voor een technologie die door open source (Solr) oplossingen gratis worden aangeboden?".

Alle commerciële aanbieders van search software waren niet in staat om aan de lezer een goed argument te geven van het verschil...

Voor de afnemers van een zoekoplossing voegt dit aan keuze veel toe. Het maakt immers niet veel uit welke aanbieder gekozen moet worden voor dit aspect op basis van functionele wensen. Search wordt daarmee inderdaad steeds meer een "commodity".

Uiteraard moet de keuze voor een zoekoplossing op meer dan alleen dit aspect worden beoordeeeld, maar het geeft wel aan dat "speciale features" minder discriminerend worden.

Zoekfunctie in Sharepoint voldoet niet

Vandaag blijkt uit een bericht op fiercecontentmanagement dat gebruikers niet tevreden zijn met de zoekfuncties in Sharepoint.

Stephen Arnold haalt dit onderzoek aan in zijn weblog "Fierce critisism of Sharepoint".

Ik onderschrijf deze kritiek. Dit is nou juist waarom zowel Google als Autonomy gebruikers van Sharepoint zien als een potentiele klant. Het IDOL-platform én de Google Search Appliance hebben bewezen dat ze betere resultaten kunnen bereiken met het implementeren van een zoekoplossing op Sharepoint.

Sharepoint is (op dit moment) een goede oplossing voor content en (beperkt) document management. De zoekfunctie kan echter beter worden overgelaten aan andere, in search gespecialiseerde, zoekmachines.

Disclaimers en footers en e-mail bedreigen vindbaarheid

Toen ik net een mailtje ontving van een klant (van de overheid) viel mijn oog op de extra gegevens en disclaimer die onder het bericht stonden. 

De extra gegevens, ik noem het bewust geen informatie, nemen meer ruimte in beslag dan de daadwerkelijk inhoud van de mail, die wel informatief is.

Nu is het zeer gebruikelijk dat e-mails van grote organisaties ellenlange disclaimers en commerciële uitingen bevatten, maar dit vormt wel een bedreiging voor de vindbaarheid van informatie.

In het voorbeeld van de klant waar ik aan refereerde komt in alle e-mails van alle medewerkers van die organisatie het woord "identiteitsbewijs" voor. Als ik op dat woord zoek in GMail bijvoorbeeld dan worden die zoekresultaten overspoeld met berichten van medewerkers van die klant, terwijl deze berichten totaal niet relevant zijn. 

Stel je voor dat de e-mail van medewerkers in een enterprise-omgeving wordt opgenomen in een zoekindex of informatieplatform dat op een searchengine draait.

Ik stel voor dat het toevoegen van disclaimers en andere extra info aan e-mailberichten voortaan op de manier wordt gedaan die zo eigen is voor de digitale wereld: Gebruik een link naar een tekst ergens op een publiek toegankelijke website.

Zoeken is niet meer alleen zoeken: de definitie van Enterprise Search

Een zeer goed artikel op de site van AIIM getiteld: "What is Enterprise Search".

Search is not just search anymore, and the analyst company Gartner has in recent years been using the term "Information access technology" to include and expand on what they previously called "enterprise search technology". They use the term information access to include a collection of technologies to help you find information, such as;

* enterprise search;
* content classification, categorization and clustering;
* fact and entity extraction;
* taxonomy creation and management;
* information presentation (for example visualization).

This is a useful expansion of the problem set, but we should keep in mind that many of the tools around extraction, classification, and categorization remain supplementary to the essential professional task of organizing information.

Ze hebben een "Information Organization & Access (IOA) Certificate program" opgezet om recht te kunnen doen aan de vele facetten die met zoeken te maken hebben.

In onderstaande afbeelding is de samenhang tussen de verschillende subsystemen die met search te maken hebben, geillustreerd:

Het goed is dat ze het probleem van zoeken en vinden dus niet alleen neerleggen bij zoektechnologie, maar ook het beheer en de kwaliteit van de informatie in de keten betrekken.

In "zoekprojecten" is één de eerste zaken die wij doen, het uitvoeren van een data-analyse waarbij we (naast een hadmatige analyse) de ruwe content indexeren. De uitkomsten van zoekvragen op die ruwe content leveren zeer waardevolle inzichten op de kwaliteit van de data. Kwaliteit van de content is een essentiele factor bij het toegankelijk maken van informatie.

Zoeken met een tilde (~) op Google

Een nieuwe(?) operator bij Google is de tilde (~). Door dit teken voor een zoekterm te plaatsen zoek je niet alleen naar het betreffende woord, maar ook naar synoniemen of vergelijkbare betekenissen van het woord:

If you use Google to navigate the Internet, this just might be the coolest thing you read today: There’s a simple operator that lets you search for a word and all of its synonyms. If you place a tilde (~) before the word or phrase you’re searching with no spaces between the tilde and its associated word, you’ll conduct a search for the word, its synonyms, and terms with alternate endings.

GSA ondersteund Opensearch en Twitter integratie

Net even een blik geworpen op de Google Enterprise Labs Site. Er blijken twee interessante nieuwe features voor de Google Search Appliance te zijn.

Ondersteuning voor OpenSearch
Het OpenSearch protocol beschrijft een standaard manier om een zoekmachine aan te spreken en om resultaten terug te krijgen. Hierdoor kunnen zoekapplicaties gebruik maken van zoekmachines zonder kennis te hebben van specifieke syntaxen van searchengines en de resultaten daarvan.
Internet Explorer en Firefox maken gebruik van het Opensearch protocol voor de zoekbox in die browsers. Dit maakt het mogelijk om een zoekmachine toe te voegen aan de lijst met searchengine die meestal alleen bestaat uit Google en Bing.
Omdat de Search Appliance binnen organisaties wordt gebruik voor het doorzoekbaar maken van de bedrijfsgegevens is dit nieuws met name voor enterprises belangrijk.
Het is nu mogelijk om je intranet of andere bronnen die met de GSA zijn indexeert, direct vanuit je browser te doorzoeken!

Related Twitter Results
Real-time informatie wordt steeds belangrijker om een zoekopdracht compleet te maken. Stel je voor dat je een zoekopdracht binnen je bedrijf kunt opgeven om alle informatie over een bepaald onderwerp te vinden binnen je intranet, file systemen etc. en daarnaast gelijk kan zien wat er op dit moment speelt rondom dat onderwerp.
De Google Search Appliance heeft nu een uitbreiding om Twitter te doorzoeken op het voorkomen van tweets op basis van de zoekvraag die je ingeeft.
Je krijgt zo resultaten van de info binnen je bedrijf, maar ook de info die op dit moment op Twitter beschikbaar is!