Begrænsninger og udfordringer i Web Data Mining Proces

Dagens World Wide Web er oversvømmet med milliarder af websider skabt ved hjælp af statiske og dynamiske programmeringssprog som HTML, PHP og ASP. Web er en stor kilde til information, at en frodig legeplads for data mining. Fordi data er lagret på nettet i forskellige formater, og er dynamisk karakter, er en stor udfordring for forskning, behandling og præsentere ustrukturerede oplysninger på nettet.

Kompleksitet af en webside er meget større end den kompleksitet hvert dokument konventionelle tekst. Websider på internettet uden ensartethed og standardisering, mens de traditionelle bøger og tekstdokumenter er meget enklere i deres sammenhæng. Desuden søgemaskinerne med begrænset kapacitet ikke kan indeksere alle websider, som data mining er ekstremt ineffektivt.

Internettet er en kilde til viden er meget dynamisk og vokser i et hastigt tempo. Sport, nyheder, finans og corporate sites til at opdatere deres websteder på én time eller per dag basis. Nu millioner af web-brugere opnået med forskellige profiler, interesser og formål med brug. Hver af disse kræver god information, men ved ikke, hvor relevante data, effektivt og med lidt indsats at hente.

Det er vigtigt at bemærke, at kun en lille del af web virkelig nyttige oplysninger. Der er tre almindelige metoder til brugeren i at få adgang til oplysninger gemt på Internettet:

1. Brug generelle søgeord eller store søgemaskiner føre til millioner af websider, hvoraf mange er helt irrelevant.

2. Den semantik lignende søgeord eller multi-variant returnere mine resultater tvetydig. For et øjeblik ord panter er et dyr, sport tilbehør, eller navnet på filmen.

3. Det er muligt, at du kan gå glip af en masse yderst relevante web-sider, der ikke direkte under søgeordet.

For at bruge internettet som et effektivt redskab og viden opdagelse forskere har udviklet effektive teknikker til data mining for nemt at hente de relevante data, smidigt og
rentabelt.

Web-data mining og dataindsamling proces er kritisk for mange virksomheder og markedsundersøgelser i dag. Konventionelle teknikker til data mining på web søgemaskiner som Google, Yahoo, AOL osv og søgeord, mapper og temaer. Fordi den eksisterende struktur af internettet ikke kan give oplysninger om høj kvalitet, nøjagtig og intelligent, kan systematisk Web minedrift hjælpe dig med at få den ønskede business intelligence og data.

Den vigtigste faktor, der forhindrer adgang dybe web er effektiviteten af søgemaskinen robotter. Moderne søgemaskine robotter eller bots kan ikke få adgang til hele internettet på grund af båndbredde begrænsninger. Der er tusindvis af internet-databaser med høj kvalitet og godt vedligeholdt scannet udgiver kan give oplysninger, men kan ikke åbnes af de crawlere.

Næsten alle søgemaskiner har få muligheder for at kombinere søgeord søgning. Såsom Google og Yahoo tilbud som en valgfri sætning eller eksakt match at indsnævre din søgning. Det kræver en større indsats og tid til mere relevant information. Fordi menneskelig adfærd og de valg ændrer sig over tid, at et regelmæssigt opdateret hjemmeside afspejler disse tendenser.

Der er begrænset plads til web af multi-dimensionelle data mining til informationssøgning er meget afhængige af de eksisterende søgeord-baserede indeks, ikke faktiske data. Over begrænsninger og udfordringer har ført til en søgning effektivt opdage og bruge Web ressourcer
.