Видобування знань

Видобування знань (англ. knowledge extraction, рос. извлечение знаний) є створення знань зі структурованих (реляційних баз даних, XML) і неструктурованих (тексти, документи, зображення) джерел. Отримане знання повинно бути збережене у форматі, придатному для автоматичного читання та інтерпретації. Також знання повинні бути представлені таким чином, щоб полегшити логічний висновок. Попри те, що це методично схоже на видобування інформації (англ. Data Mining, NLP) і ETL (зберігання даних), основними критеріями є те, що результат видобування виходить за рамки створення структурованої інформації або перетворення її в реляційну схему. Це вимагає або повторного використання наявних формальних знань (повторне використання ідентифікаторів або онтологій), або генерацію схеми[що це?] на основі вихідних даних.

Група RDB2RDF W3C[1] в даний час[коли?] стандартизує мову для видобутку RDF (англ. Resource Description Framework) з реляційних баз даних. Ще одним популярним прикладом видобутку знань є перетворення Вікіпедії в структуровані дані, а також відображення до наявних знань (див. DBpedia і Freebase).

Огляд

[ред. | ред. код]

Після стандартизації мов представлення знань, таких як RDF і OWL, багато досліджень було проведено в області, особливо щодо перетворення реляційних баз даних в RDF, задачі ідентифікації, виявлення знань і навчання онтологій. Загальний процес використовує традиційні методи добування даних, виймання, перетворення і завантаження (ETL), які перетворюють дані з джерел у структуровані формати.

Наступні критерії можуть бути використані для класифікації підходів в цій темі (деякі з них використовуються лише для видобутку з реляційних баз даних): [2]

Джерело Джерела даних, які використовуються: Текст, реляційні бази даних, XML, CSV
Експозиція В якому вигляді добуваються дані? (файл онтології, семантична база даних)? Як можна зробити запит?
Синхронізація Чи виконується процес видобутку знань один раз для отримання дампа або результат синхронізується з джерелом? Статична або динамічна синхронізація. Чи  записуються зміни результатів назад (двонаправлена синхронізація)
Повторне використання словників Інструмент здатний повторно використовувати наявні словники при видобутку. Наприклад, стовпчик таблиці 'FirstName' можуть бути зіставленні з foaf:firstName. Деякі автоматичні підходи не здатні зіставляти словники.
Автоматизація Ступінь, в якій видобуток вимагає втручання/автоматизований. Допомога оператора, GUI, напівавтоматичний, автоматичний.
Потрібна онтологія предметної області Потрібно побудувати відображення у вже задану онтологію. Так чином, що або створюється відображення або отримується схема з джерела (навчання онтологій[en]).

Приклади 

[ред. | ред. код]

Зв'язування об'єктів

[ред. | ред. код]
  1. DBpedia Spotlight, OpenCalais[en], Dandelion dataTXT[недоступне посилання], Zemanta API, Extractiv [Архівовано 29 березня 2017 у Wayback Machine.] та PoolParty Extractor [Архівовано 26 червня 2012 у Wayback Machine.] аналізують  вільний текст через розпізнавання іменованих сутностей, а потім усуває неоднозначність кандидатів через розпізнавання імен[en] та пов'язує знайдені об'єкти зі сховищем знань DBpedia[3] (див. демо Dandelion dataTXT, DBpedia Spotlight або PoolParty Extractor).

Президент Обама [Архівовано 12 жовтня 2008 у Wayback Machine.] у середу закликав Конгрес продовжити податкові пільги для студентів, включених до економічних стимулів у минулому році, стверджуючи, що політика забезпечує більш щедру допомогу.

Як президент Обама пов'язаний з ресурсом DBpedia Linked data[en], додаткова інформація може бути отримана автоматично і Semantic Reasoner[en] може, наприклад, зробити висновок, що згадана особа має тип особи (з використанням FOAF (програмне забезпечення)) і президентів типу Сполучених Штатів (за допомогою YAGO). Приклади: Методи, які розпізнають тільки об'єкти або посилання на статті Вікіпедії та інших цілей, які не забезпечують подальше вилучення структурованих даних і формальних знань.

Реляційні бази даних в RDF

[ред. | ред. код]
  1. Triplify, D2R сервера, Ultrawrap і Virtuoso RDF Перегляди інструментів, які трансформують реляційні баз даних RDF. В ході цього процесу вони дозволяють повторно використовувати існуючі словники і онтології в процесі перетворення. При перетворенні типових реляційних таблиць з ім'ям користувачів, один стовпець (наприклад «.name») або сукупність стовпців (наприклад «.first_name» і «last_name») повинен надати URI створеного об'єкта. Зазвичай використовується первинний ключ. Кожен другий стовпець може бути залучен як відношення з цією організацією. Потім використовуються властивості з формально визначеною семантикою (і повторно) інтерпретувати інформацію. Наприклад, стовпець в таблиці користувача з ім'ям marriedTo може бути визначена як симетричне відношення і стовпчик homepage  може бути перетворений у власність від FOAF Словник називається FOAF: головна сторінка, таким чином, кваліфікує його як функціональна властивість зворотного. Потім кожен запис таблиці користувача може бути екземпляром класу FOAF: Людина (Онтологія населення). Крім знання предметної області (у формі онтології) можуть бути створені з status_id, або створених вручну правил (якщо status_id 2, запис відноситься до класу Вчителі), або (semi) -автоматичні методи  (онтологія навчання). Ось приклад перетворення:
Ім'я одружений домашня сторінка статус
Peter Mary http://example.org/Peters_page[недоступне посилання з березня 2019] 1
Claus Eva http://example.org/Claus_page[недоступне посилання з березня 2019] 2 
 :Peter :marriedTo :Mary .  
 :marriedTo a owl:SymmetricProperty .  
 :Peter foaf:homepage  <http://example.org/Peters_page> .  
 :Peter a foaf:Person .   
 :Peter a :Student .  
 :Claus a :Teacher .

Витяг з структурованих джерел в RDF

[ред. | ред. код]

1: 1 Відображення з таблиць БД / Види на RDF Entities / Властивості / Значення

[ред. | ред. код]

При створенні вистави RDB в проблемній області, відправною точкою часто є сутність-зв'язок діаграма (ERD). Як правило, кожним об'єктом представленому у вигляді таблиці бази даних, кожний атрибут сутності стає стовпець в цій таблиці, і відносини між об'єктами позначаються зовнішніми ключами. Кожна таблиця, як правило, визначає конкретний клас суті, кожен стовпець один з його атрибутів. Кожен рядок в таблиці описує екземпляр сутності, однозначно ідентифікується первинним ключем. Рядки таблиці в сукупності описують набір сутностей. В еквівалентній RDF представлення одного і того ж набору сутностей:

  • Кожен стовпець у таблиці є атрибутом (тобто предикат)
  • Кожне значення стовпця є значення атрибута (тобто об'єкт)
  • Кожна клавіша рядок являє собою ідентифікатор об'єкта (тобто суб'єкт)
  • Кожен рядок є екземпляром сутності
  • Кожен рядок (екземпляр об'єкта) представлена в RDF колекцією трійок із загальним суб'єктом (ідентифікатор об'єкта)

Таким чином, щоб зробити еквівалентне уявлення на основі RDF семантики, основне відображення алгоритму буде виглядати наступним чином:

  1. створити RDFS клас для кожної таблиці
  2. конвертувати всі первинні ключі та зовнішні ключі в IRIs
  3. призначити предикат IRI для кожного стовпчика
  4. призначити РДФ: тип предиката для кожного рядка, пов'язуючи його з ІСС класу IRI відповідає таблиці
  5. для кожного стовпчика, який не є ні частиною первинного або зовнішнього ключа, побудувати потрійний, який  містить первинний ключ IRI як суб'єкта, стовпець IRI як предиката і значення стовпця як об'єкт.

Найперша згадка цього основного або прямого відображення можна знайти в порівнянні Тім Бернерс-Лі моделі ER до моделі RDF. [4].

Складні відображення реляційних баз даних в RDF

[ред. | ред. код]

 1: 1 згадуване вище надає застарілі дані у вигляді RDF прямим шляхом, додаткові уточнення можуть бути використані для підвищення корисності RDF виведення відповідного до Use Cases. Як правило, втрачається інформація в процесі перетворення в сутність-зв'язок діаграми (ERD) для реляційних таблиць (подробиці можна знайти в об'єктно-реляційному  імпедансі) і повинна бути зворотня інженерія. З концептуальної точки зору, підходи до видобутку можуть надходити з двох напрямків. Перший напрямок намагається витягти або дізнатися-схему OWL з даної схеми бази даних. Ранні підходи використовували фіксовану кількість створених вручну правил відображення для уточнення відображення 1:1[5][6][7]. Більш складні методи з використанням евристики або алгоритмів навчання, щоб викликати схематичну інформацію (методи перекриватися з навчанням онтологій). У той час як деякі підходи намагаються витягти інформацію зі структури, властивої схемою SQL[8] (аналізуючи наприклад, зовнішні ключі), інші аналізують зміст і значення в таблицях для створення концептуальних ієрархій[9] (наприклад, стовпці з декількома значеннями є кандидатами для становлення категорії), Другий напрямок намагається відобразити схему і його вміст вже існуючої онтології предметної області (дивись також: вирівнювання онтології). Часто, однак, відповідна онтологія не існує, і повинен бути створений першим.

XML

[ред. | ред. код]

Так як XML структурована у вигляді дерева, будь-які дані можуть бути легко представлені в RDF, який структурований у вигляді графіка. XML2RDF є одним із прикладів такого підходу, який використовує RDF порожні вузли і перетворює XML-елементи і атрибути властивостей RDF. Тема, однак, є більш складним, як і в разі реляційних баз даних. У реляційної таблиці первинний ключ є ідеальним кандидатом, щоб стати предметом здобутих трійок. XML-елемент, однак, можуть бути перетворені — в залежності від контексту — як суб'єкт, предикат або об'єкт потрійний. XSLT може бути використаний стандартний мову перетворення вручну перетворити XML в RDF.

Огляд методів / Інструменти

[ред. | ред. код]
Name Data Source Data Exposition Data Synchronisation Mapping Language Vocabulary Reuse Mapping Automat. Req. Domain Ontology Uses GUI
A Direct Mapping of Relational Data to RDF [Архівовано 9 травня 2016 у Wayback Machine.] Relational Data SPARQL/ETL dynamic N/A false automatic false false
CSV2RDF4LOD [Архівовано 22 серпня 2016 у Wayback Machine.] CSV ETL static RDF true manual false false
Convert2RDF [Архівовано 22 вересня 2016 у Wayback Machine.] Delimited text file ETL static RDF/DAML true manual false true
D2R Server [Архівовано 26 лютого 2012 у Wayback Machine.] RDB SPARQL bi-directional D2R Map true manual false false
DartGrid RDB own query language dynamic Visual Tool true manual false true
DataMaster [Архівовано 21 травня 2016 у Wayback Machine.] RDB ETL static proprietary true manual true true
Google Refine's RDF Extension CSV, XML ETL static none semi-automatic false true
Krextor XML ETL static xslt true manual true false
MAPONTO [Архівовано 2 червня 2016 у Wayback Machine.] RDB ETL static proprietary true manual true false
METAmorphoses [Архівовано 17 квітня 2016 у Wayback Machine.] RDB ETL static proprietary xml based mapping language true manual false true
MappingMaster CSV ETL static MappingMaster true GUI false true
ODEMapster RDB ETL static proprietary true manual true true
OntoWiki CSV Importer Plug-in — DataCube & Tabular CSV ETL static The RDF Data Cube Vocaublary true semi-automatic false true
Poolparty Extraktor (PPX) [Архівовано 26 червня 2012 у Wayback Machine.] XML, Text LinkedData dynamic RDF (SKOS) true semi-automatic true false
RDBToOnto RDB ETL static none false automatic, the user furthermore has the chance to fine-tune results false true
RDF 123 [Архівовано 20 липня 2011 у Wayback Machine.] CSV ETL static false false manual false true
RDOTE RDB ETL static SQL true manual true true
Relational.OWL RDB ETL static none false automatic false false
T2LD [Архівовано 20 липня 2011 у Wayback Machine.] CSV ETL static false false automatic false false
The RDF Data Cube Vocabulary Multidimensional statistical data in spreadsheets Data Cube Vocabulary true manual false
TopBraid Composer CSV ETL static SKOS false semi-automatic false true
Triplify [Архівовано 6 січня 2009 у Wayback Machine.] RDB LinkedData dynamic SQL true manual false false
Ultrawrap RDB SPARQL/ETL dynamic R2RML true semi-automatic false true
Virtuoso RDF Views [Архівовано 5 вересня 2014 у Wayback Machine.] RDB SPARQL dynamic Meta Schema Language true semi-automatic false true
Virtuoso Sponger [Архівовано 5 вересня 2014 у Wayback Machine.] structured and semi-structured data sources SPARQL dynamic Virtuoso PL & XSLT true semi-automatic false false
VisAVis RDB RDQL dynamic SQL true manual true true
XLWrap: Spreadsheet to RDF [Архівовано 8 травня 2016 у Wayback Machine.] CSV ETL static TriG Syntax true manual false false
XML to RDF [Архівовано 11 травня 2016 у Wayback Machine.] XML ETL static false false automatic false false

Витяг з природних джерел мови

[ред. | ред. код]

Найбільша частина інформації, що міститься в бізнес-документах (близько 80 %[10]) кодується природною мовою і, отже, неструктурована. Оскільки неструктуровані дані є досить складним завданням для вилучення знань, більш складні методи необхідні, які, як правило, поставляють гірші результати в порівнянні з неструктурованими даними. Потенціал для масового придбання здобутих знань, проте, повинні компенсувати підвищену складність і зниження якості видобутку. Надалі, природні джерела мови розуміються як джерела інформації, де дані наведені  неструктурованим чином, як звичайний текст. Якщо даний текст додатково вбудований в розмітки документа (е. Г. HTML документ), згадані системи зазвичай видаляють елементи розмітки автоматично.

Традиційне вилучення інформації (IE)

[ред. | ред. код]

Традиційне вилучення інформації[11] є технологією обробки природної мови, яке витягує інформацію з текстів природною мовою, як правило, і структури даних відповідним чином. Види інформації, що підлягає ідентифікованого повинні бути вказані як модель перед початком процесу, тому весь процес традиційного вилучення інформації залежний. IE розділений на наступні п'ять підзадач.

  • визнання Названий об'єкт (ВНО)
  • Резолюція кореферентності (РК)
  • Шаблон будівельного елементу (ШБ)
  • Шаблон ставлення конструкції (ШС)
  • Шаблон виробництва сценарій (ШВ)

Завдання названого розпізнавання особи є визнати і класифікувати всі названі об'єкти, що містяться в тексті (присвоєння імені об'єкта до визначеної категорії). Це працює шляхом застосування граматики на основі методів або статистичних моделей.

Дозвіл конферентногсті  визначає еквівалентні об'єкти, які були визнані НЕК, в тексті. Існують два види відповідних відносин еквівалентності. Перший з них відноситься до відносин між двома різними представленими суб'єктами (наприклад, IBM Europe і IBM), а другий до відносин між суб'єктом і їх анафорических посилань (наприклад, він і IBM). Обидва види можуть бути визнані відповідно до резолюції кореферентності.

Під час будівництва елемента шаблону система ідентифікує IE описові властивості сутностей, визнаних НЕК і CO. Ці властивості відповідають звичайним якостям, як червоний або великий.

Шаблонна конструкція відношення визначає відносини, які існують між елементами шаблону. Ці відносини можуть бути декількох видів, таких як роботи з питання або знаходження, з обмеженням, що обидва домени і діапазон відповідають суб'єктам.

У шаблоні сценарію здійснюються події, які описані в тексті, вони  будуть визначені і структуровані щодо осіб, визнаних Нью-Йорку і СО і відносин, які були визначені TR.

Онтологія на основі вилучення інформації (OBIE)

[ред. | ред. код]

Онтологія на основі вилучення інформації є полем вилучення інформації, за допомогою якої щонайменше одна онтологія використовується для управління процесом добування інформації з текстів природною мовою. Система OBIE використовує методи традиційної вилучення інформації для ідентифікації понять, екземпляри і відносини використовуваних онтологій в тексті, які будуть структуровані з онтологією після процесу. Таким чином, вхідна онтологія є моделлю інформації, яку необхідно витягти.

Онтологія навчання (ОН)

[ред. | ред. код]

Вивчення  Онтології є автоматичним або напівавтоматичним створення онтологій, включаючи витяг термінів відповідної області від природного тексту мови. Оскільки будівля онтологій вручну є надзвичайно трудомістким і займає багато часу, є велика мотивація для автоматизації процесу.

Семантична анотація (SA)

[ред. | ред. код]

Під час семантичної анотації[12], текст природною мовою доповнюється метаданими (часто представлені в RDFa), які повинні складати семантику термінів, що містяться машини зрозумілим. У цьому процесі, який, як правило, напівавтоматична, знання видобувається в тому сенсі, що зв'язок між лексичних термінів і понять, наприклад, з онтологією встановлюється. Таким чином, знання здобувається, що значення терміна в обробленому контексті був призначений і, отже, сенс тексту ґрунтується на машинозчитуваних даних з можливістю зробити висновки. Семантичне анотування як правило, розділені на наступні дві підзадачі.

  1. екстракція Термінологія
  2. Об'єкт зв'язування 

На рівні вилучення термінології, лексичні терміни з тексту витягуються. Для цієї мети токенізатор визначає спочатку кордони слів і вирішує скорочити. Згодом терміни з тексту, які відповідають концепції, витягуються за допомогою лексикону предметно-орієнтованого щоб  зв'язати ці по суті посилання.

По суті пов'язуючи[13] зв'язок між видобутих лексичних термінів з вихідного тексту і понять з онтології або бази знань, таких як встановлено DBpedia. Для цього, кандидати-концепції виявляються відповідно в декількох значеннях терміна за допомогою лексикону. І, нарешті, контекст термінів аналізується з метою визначення найбільш підходящої однозначністі і призначити термін для правильної концепції.

інструменти

[ред. | ред. код]

Наступні критерії можуть бути використані для класифікації інструментів, які витягують знання з текстів природною мовою.

Джерело Які формати введення можуть бути оброблені за допомогою інструменту (наприклад, простий текст, HTML або PDF)?
Доступ до Paradigm Чи може інструмент запитувати джерела даних або потребує цілого дампа для процесу екстракції?
Синхронізація даних Є результатом процесу екстракції синхронізований з джерелом?
Використання Output Ontology Чи зв'язані інструмент результат з онтологією?
Mapping Автоматизація Як це автоматизований процес екстракції (ручний, напівавтоматичний або автоматичний)?
вимагає Онтологія Чи потрібно інструмент онтології для вилучення?
Використання графічного інтерфейсу користувача Чи надає інструмент графічний інтерфейс користувача?
Підхід Який підхід (IS, OBIE, ПР або SA) використовується інструментом?
Витягнуті Сутності Які типи сутностей (наприклад, названі особи, поняття або відношення) можуть бути вилучені за допомогою інструменту?
Застосовувані методи Які методи застосовуються (наприклад, NLP, статистичні методи, кластеризація або машинного навчання)?
Вихід моделі Яка модель використовується для представлення результату інструменту (е. Г. RDF або OWL)?
Підтримувані домени
 Які домени підтримуються (наприклад, економіка або біологія)?
Підтримувані Мови Які мови можуть бути оброблені (наприклад, англійську чи німецьку)?

У наведеній нижче таблиці характеризується деякі інструменти для здобуття знань з природних джерел мови.

Назва Джерело доступ до Paradigm Data Synchronization Uses Output Ontology Mapping Automation Requires Ontology Uses GUI Approach Extracted Entities Applied Techniques Output Model Supported Domains Supported Languages
AeroText[14] plain text, HTML, XML, SGML dump no yes automatic yes yes IE named entities, relationships, events linguistic rules proprietary domain-independent English, Spanish, Arabic, Chinese, indonesian
AlchemyAPI [Архівовано 1 серпня 2013 у Wayback Machine.][15] plain text, HTML automatic yes SA multilingual
ANNIE [Архівовано 15 березня 2016 у Wayback Machine.] [Архівовано 15 березня 2016 у Wayback Machine.][16] plain text dump yes yes IE finite state algorithms multilingual
ASIUM [Архівовано 11 червня 2017 у Wayback Machine.] [Архівовано 11 червня 2017 у Wayback Machine.][17] plain text dump semi-automatic yes OL concepts, concept hierarchy NLP, clustering
Attensity Exhaustive Extraction[18] automatic IE named entities, relationships, events NLP
Dandelion API [Архівовано 28 травня 2016 у Wayback Machine.] plain text, HTML, URL REST no no automatic no yes SA named entities, concepts statistical methods JSON domain-independent multilingual
DBpedia Spotlight[19] plain text, HTML dump, SPARQL yes yes automatic no yes SA annotation to each word, annotation to non-stopwords NLP, statistical methods, machine learning RDFa domain-independent English
EntityClassifier.eu [Архівовано 3 березня 2016 у Wayback Machine.] plain text, HTML dump yes yes automatic no yes IE, OL, SA annotation to each word, annotation to non-stopwords rule-based grammar XML domain-independent English, German, Dutch
FRED [Архівовано 8 травня 2016 у Wayback Machine.] [Архівовано 8 травня 2016 у Wayback Machine.][20] plain text, PDF and Word via Sheldon [Архівовано 20 травня 2016 у Wayback Machine.] dump, REST yes automatic no yes OL+IE+SA concepts, concept hierarchy, frames, events, relationships, named entities, negation, modality, tense, entity linking, schema alignment, sentiment (via Sentilo [Архівовано 18 червня 2016 у Wayback Machine.]) NLP, SPARQL, heuristical rules, ontology design patterns RDF-OWL, Turtle, NT, JSON-LD, DAG, diagrams domain-independent English, multilingual input
K-Extractor[21][22] plain text, HTML, XML, PDF, MS Office, e-mail dump, SPARQL yes yes automatic no yes IE, OL, SA concepts, named entities, instances, concept hierarchy, generic relationships, user-defined relationships, events, modality, tense, entity linking, event linking, sentiment NLP, machine learning, heuristic rules RDF, OWL, proprietary XML domain-independent English, Spanish
iDocument [Архівовано 21 червня 2021 у Wayback Machine.][23] HTML, PDF, DOC SPARQL yes yes OBIE instances, property values NLP personal, business
NetOwl Extractor [Архівовано 9 квітня 2016 у Wayback Machine.] [Архівовано 9 квітня 2016 у Wayback Machine.][24] plain text, HTML, XML, SGML, PDF, MS Office dump No Yes Automatic yes Yes IE named entities, relationships, events NLP XML, JSON, RDF-OWL, others multiple domains English, Arabic Chinese (Simplified and Traditional), French, Korean, Persian (Farsi and Dari), Russian, Spanish
OntoGen [Архівовано 30 березня 2010 у Wayback Machine.] [Архівовано 30 березня 2010 у Wayback Machine.][25] semi-automatic yes OL concepts, concept hierarchy, non-taxonomic relations, instances NLP, machine learning, clustering
OntoLearn [Архівовано 9 серпня 2017 у Wayback Machine.] [Архівовано 9 серпня 2017 у Wayback Machine.][26] plain text, HTML dump no yes automatic yes no OL concepts, concept hierarchy, instances NLP, statistical methods proprietary domain-independent English
OntoLearn Reloaded [Архівовано 4 березня 2016 у Wayback Machine.] plain text, HTML dump no yes automatic yes no OL concepts, concept hierarchy, instances NLP, statistical methods proprietary domain-independent English
OntoSyphon [Архівовано 10 березня 2016 у Wayback Machine.] [Архівовано 10 березня 2016 у Wayback Machine.][27] HTML, PDF, DOC dump, search engine queries no yes automatic yes no OBIE concepts, relations, instances NLP, statistical methods RDF domain-independent English
ontoX [Архівовано 27 травня 2016 у Wayback Machine.][28] plain text dump no yes semi-automatic yes no OBIE instances, datatype property values heuristic-based methods proprietary domain-independent language-independent
OpenCalais [Архівовано 24 жовтня 2008 у Wayback Machine.] plain text, HTML, XML dump no yes automatic yes no SA annotation to entities, annotation to events, annotation to facts NLP, machine learning RDF domain-independent English, French, Spanish
PoolParty Extractor [Архівовано 17 травня 2016 у Wayback Machine.] [Архівовано 17 травня 2016 у Wayback Machine.][29] plain text, HTML, DOC, ODT dump no yes automatic yes yes OBIE named entities, concepts, relations, concepts that categorize the text, enrichments NLP, machine learning, statistical methods RDF, OWL domain-independent English, German, Spanish, French
Rosoka [Архівовано 10 травня 2016 у Wayback Machine.] [Архівовано 10 травня 2016 у Wayback Machine.][30] plain text, HTML, XML, SGML, PDF, MS Office dump Yes Yes Automatic no Yes IE named entities, relationships, attributes, concepts NLP XML, JSON, RDF, others multiple domains Multilingual (230)
SCOOBIE [Архівовано 11 червня 2018 у Wayback Machine.] plain text, HTML dump no yes automatic no no OBIE instances, property values, RDFS types NLP, machine learning RDF, RDFa domain-independent English, German
SemTag [Архівовано 11 червня 2017 у Wayback Machine.] [Архівовано 11 червня 2017 у Wayback Machine.][31][32] HTML dump no yes automatic yes no SA machine learning database record domain-independent language-independent
smart FIX [Архівовано 17 травня 2016 у Wayback Machine.] plain text, HTML, PDF, DOC, e-Mail dump yes no automatic no yes OBIE named entities NLP, machine learning proprietary domain-independent English, German, French, Dutch, polish
Text2Onto [Архівовано 2 травня 2016 у Wayback Machine.] [Архівовано 2 травня 2016 у Wayback Machine.][33] plain text, HTML, PDF dump yes no semi-automatic yes yes OL concepts, concept hierarchy, non-taxonomic relations, instances, axioms NLP, statistical methods, machine learning, rule-based methods OWL deomain-independent English, German, Spanish
Text-To-Onto [Архівовано 15 травня 2013 у Wayback Machine.] [Архівовано 15 травня 2013 у Wayback Machine.][34] plain text, HTML, PDF, PostScript dump semi-automatic yes yes OL concepts, concept hierarchy, non-taxonomic relations, lexical entities referring to concepts, lexical entities referring to relations NLP, machine learning, clustering, statistical methods German
ThatNeedle [Архівовано 13 травня 2016 у Wayback Machine.] Plain Text dump automatic no concepts, relations, hierarchy NLP, proprietary JSON multiple domains English
The Wiki Machine[35] plain text, HTML, PDF, DOC dump no yes automatic yes yes SA annotation to proper nouns, annotation to common nouns machine learning RDFa domain-independent English, German, Spanish, French, Portuguese, Italian, Russian
ThingFinder[36] IE named entities, relationships, events multilingual

Виявлення знань

[ред. | ред. код]

Виявлення знань описує процес автоматичного пошуку великих обсягів даних для моделей, які можна вважати знання про дані[37]. Він часто описується як вилучення знань з вхідних даних. Виявлення знань розвинулася з області інтелектуального аналізу даних, а також тісно пов'язана з нею як з точки зору методології та термінології. [38]

Найбільш відома гілка інтелектуального аналізу даних є виявлення знань, також відомий як виявлення знань в базах даних (KDD). Так само, як і багато інших форм виявлення знань створює абстракції вхідних даних. Знання, отримані в процесі, можуть стати додаткові дані, які можуть бути використані для подальшого використання і відкриття. Часто результати від виявлення знань не дієві, відкриття знання дієві, також відомий як домен приводом інтелектуального аналізу даних, має на меті виявити та доставити дієві знання та ідеї.

Іншим перспективним застосування виявлення знань в області модернізації програмного забезпечення, виявлення слабкості і дотримання яких передбачає розуміння існуючих програмних артефактів. Цей процес пов'язаний з концепцією зворотної інженерії. Як правило, знання, отримані з існуючого програмного забезпечення представлені ​​у вигляді моделей, в якій конкретні запити можуть бути зроблені при потреби. Відносини суті є найчастішим форматом представлення знань, отриманих з існуючого програмного забезпечення. Об'єкт Management Group (OMG) розробила специфікації знання Discovery Metamodel (KDM), який визначає онтологію для засобів програмного забезпечення та їх відносин з метою виконання виявлення знань всі наявні коди. Виявлення знань з існуючих програмних систем, також відомий як програмне забезпечення видобутку корисних копалин тісно пов'язана з видобутком корисних копалин даних, оскільки існуючі програмні артефакти містять величезне значення для управління ризиками та вартості бізнесу, ключ для оцінки та розвитку програмних систем. Замість того, щоб видобуток окремих наборів даних, гірничодобувної промисловості програмного забезпечення фокусується на метаданих, таких як потоки процесу (наприклад, потоки даних, потоки управління, & назвати карти), архітектура, схеми баз даних і бізнес-правила / умови / процесу.

Вхідні дані

[ред. | ред. код]

вихідні формати

[ред. | ред. код]

Див. також

[ред. | ред. код]

Примітки

[ред. | ред. код]
  1. ↑ RDB2RDF Working Group, Website: http://www.w3.org/2001/sw/rdb2rdf/ [Архівовано 11 травня 2016 у Wayback Machine.], charter: http://www.w3.org/2009/08/rdb2rdf-charter [Архівовано 20 березня 2016 у Wayback Machine.], R2RML: RDB to RDF Mapping Language: http://www.w3.org/TR/r2rml/ [Архівовано 10 жовтня 2021 у Wayback Machine.]
  2. ↑ LOD2 EU Deliverable 3.1.1 Knowledge Extraction from Structured Sources http://static.lod2.eu/Deliverables/deliverable-3.1.1.pdf [Архівовано 27 серпня 2011 у Wayback Machine.]
  3. ↑ Life in the Linked Data Cloud. www.opencalais.com. Архів оригіналу за 24 листопада 2009. Процитовано 10 листопада 2009. Wikipedia has a Linked Data twin called DBpedia. DBpedia has the same structured information as Wikipedia – but translated into a machine-readable format.
  4. ↑ Tim Berners-Lee (1998), «Relational Databases on the Semantic Web» [Архівовано 16 березня 2016 у Wayback Machine.]. Retrieved: February 20, 2011.
  5. ↑ Hu et al. (2007), «Discovering Simple Mappings Between Relational Database Schemas and Ontologies», In Proc. of 6th International Semantic Web Conference (ISWC 2007), 2nd Asian Semantic Web Conference (ASWC 2007), LNCS 4825, pages 225‐238, Busan, Korea, 11‐15 November 2007. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.97.6934&rep=rep1&type=pdf [Архівовано 15 жовтня 2012 у Wayback Machine.]
  6. ↑ R. Ghawi and N. Cullot (2007), «Database-to-Ontology Mapping Generation for Semantic Interoperability». In Third International Workshop on Database Interoperability (InterDB 2007). http://le2i.cnrs.fr/IMG/publications/InterDB07-Ghawi.pdf [Архівовано 4 березня 2016 у Wayback Machine.]
  7. ↑ Li et al. (2005) «A Semi-automatic Ontology Acquisition Method for the Semantic Web», WAIM, volume 3739 of Lecture Notes in Computer Science, page 209—220. Springer. http://dx.doi.org/10.1007/11563952_19 [Архівовано 26 липня 2008 у Wayback Machine.]
  8. ↑ Tirmizi et al. (2008), «Translating SQL Applications to the Semantic Web», Lecture Notes in Computer Science, Volume 5181/2008 (Database and Expert Systems Applications). http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=15E8AB2A37BD06DAE59255A1AC3095F0?doi=10.1.1.140.3169&rep=rep1&type=pdf [Архівовано 4 березня 2016 у Wayback Machine.]
  9. ↑ Farid Cerbah (2008). «Learning Highly Structured Semantic Repositories from Relational Databases», The Semantic Web: Research and Applications, volume 5021 of Lecture Notes in Computer Science, Springer, Berlin / Heidelberg http://www.tao-project.eu/resources/publications/cerbah-learning-highly-structured-semantic-repositories-from-relational-databases.pdf [Архівовано 20 липня 2011 у Wayback Machine.]
  10. ↑ Wimalasuriya, Daya C.; Dou, Dejing (2010). «Ontology-based information extraction: An introduction and a survey of current approaches», Journal of Information Science, 36(3), p. 306—323, http://ix.cs.uoregon.edu/~dou/research/papers/jis09.pdf [Архівовано 11 квітня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  11. ↑ Cunningham, Hamish (2005). «Information Extraction, Automatic», Encyclopedia of Language and Linguistics, 2, p. 665—677, http://gate.ac.uk/sale/ell2/ie/main.pdf [Архівовано 5 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  12. ↑ Erdmann, M.; Maedche, Alexander; Schnurr, H.-P.; Staab, Steffen (2000). «From Manual to Semi-automatic Semantic Annotation: About Ontology-based Text Annotation Tools», Proceedings of the COLING, http://www.ida.liu.se/ext/epa/cis/2001/002/paper.pdf [Архівовано 3 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  13. ↑ Rao, Delip; McNamee, Paul; Dredze, Mark (2011). «Entity Linking: Finding Extracted Entities in a Knowledge Base», Multi-source, Multi-lingual Information Extraction and Summarization, http://www.cs.jhu.edu/~delip/entity-linking.pdf[недоступне посилання з березня 2019] (retrieved: 18.06.2012).
  14. ↑ Rocket Software, Inc. (2012). «technology for extracting intelligence from text», http://www.rocketsoftware.com/products/aerotext [Архівовано 21 червня 2013 у Wayback Machine.] (retrieved: 18.06.2012).
  15. ↑ Orchestr8 (2012): «AlchemyAPI Overview», http://www.alchemyapi.com/api [Архівовано 1 серпня 2013 у Wayback Machine.] (retrieved: 18.06.2012).
  16. ↑ The University of Sheffield (2011). «ANNIE: a Nearly-New Information Extraction System», http://gate.ac.uk/sale/tao/splitch6.html#chap:annie [Архівовано 15 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  17. ↑ ILP Network of Excellence. «ASIUM (LRI)», http://www-ai.ijs.si/~ilpnet2/systems/asium.html [Архівовано 11 червня 2017 у Wayback Machine.] (retrieved: 18.06.2012).
  18. ↑ Attensity (2012). «Exhaustive Extraction», http://www.attensity.com/products/technology/semantic-server/exhaustive-extraction/ [Архівовано 11 липня 2012 у Wayback Machine.] (retrieved: 18.06.2012).
  19. ↑ Mendes, Pablo N.; Jakob, Max; Garcia-Sílva, Andrés; Bizer; Christian (2011). «DBpedia Spotlight: Shedding Light on the Web of Documents», Proceedings of the 7th International Conference on Semantic Systems, p. 1 — 8, http://www.wiwiss.fu-berlin.de/en/institute/pwo/bizer/research/publications/Mendes-Jakob-GarciaSilva-Bizer-DBpediaSpotlight-ISEM2011.pdf [Архівовано 5 квітня 2012 у Wayback Machine.] (retrieved: 18.06.2012).
  20. ↑ Presutti, Valentina; Draicchio, Francesco; Gangemi, Aldo (2012). «Knowledge Extraction based on Discourse Representation Theory and Linguistic Frames», «Proceedings of the Conference on Knowledge Engineering and Knowledge Management (EKAW2012), LNCS, Springer», http://www.researchgate.net/profile/Aldo_Gangemi/publication/262175193_Knowledge_extraction_based_on_discourse_representation_theory_and_linguistic_frames/links/5488b1bb0cf268d28f08fde6.pdf (retrieved: 18.01.2015).
  21. ↑ Balakrishna, Mithun; Moldovan, Dan (2013). "Automatic Building of Semantically Rich Domain Models from Unstructured Data", Proceedings of the Twenty-Sixth International Florida Artificial Intelligence Research Society Conference (FLAIRS), p. 22 - 27, http://www.aaai.org/ocs/index.php/FLAIRS/FLAIRS13/paper/view/5909/6036 [Архівовано 4 березня 2016 у Wayback Machine.] (retrieved: 11.08.2014)
  22. ↑ 2. Moldovan, Dan; Blanco, Eduardo (2012). «Polaris: Lymba's Semantic Parser», Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC), p. 66 — 72, http://www.lrec-conf.org/proceedings/lrec2012/pdf/176_Paper.pdf [Архівовано 12 серпня 2014 у Wayback Machine.] (retrieved: 11.08.2014)
  23. ↑ Adrian, Benjamin; Maus, Heiko; Dengel, Andreas (2009). «iDocument: Using Ontologies for Extracting Information from Text», http://www.dfki.uni-kl.de/~maus/dok/AdrianMausDengel09.pdf [Архівовано 4 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  24. ↑ SRA International, Inc. (2012). «NetOwl Extractor», http://www.sra.com/netowl/entity-extraction/ [Архівовано 24 вересня 2012 у Wayback Machine.] (retrieved: 18.06.2012).
  25. ↑ Fortuna, Blaz; Grobelnik, Marko; Mladenic, Dunja (2007). «OntoGen: Semi-automatic Ontology Editor», Proceedings of the 2007 conference on Human interface, Part 2, p. 309—318, http://analytics.ijs.si/~blazf/papers/OntoGen2_HCII2007.pdf [Архівовано 18 вересня 2013 у Wayback Machine.] (retrieved: 18.06.2012).
  26. ↑ Missikoff, Michele; Navigli, Roberto; Velardi, Paola (2002). «Integrated Approach to Web Ontology Learning and Engineering», Computer, 35(11), p. 60 — 63, http://wwwusers.di.uniroma1.it/~velardi/IEEE_C.pdf [Архівовано 19 травня 2017 у Wayback Machine.] (retrieved: 18.06.2012).
  27. ↑ McDowell, Luke K.; Cafarella, Michael (2006). «Ontology-driven Information Extraction with OntoSyphon», Proceedings of the 5th international conference on The Semantic Web, p. 428—444, http://turing.cs.washington.edu/papers/iswc2006McDowell-final.pdf [Архівовано 10 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  28. ↑ Yildiz, Burcu; Miksch, Silvia (2007). «ontoX — A Method for Ontology-Driven Information Extraction», Proceedings of the 2007 international conference on Computational science and its applications, 3, p. 660—673, http://publik.tuwien.ac.at/files/pub-inf_4769.pdf [Архівовано 5 липня 2017 у Wayback Machine.] (retrieved: 18.06.2012).
  29. ↑ semanticweb.org (2011). «PoolParty Extractor», http://semanticweb.org/wiki/PoolParty_Extractor [Архівовано 4 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  30. ↑ IMT Holdings, Corp (2013). «Rosoka», http://www.rosoka.com/content/capabilities [Архівовано 10 травня 2016 у Wayback Machine.] (retrieved: 08.08.2013).
  31. ↑ Dill, Stephen; Eiron, Nadav; Gibson, David; Gruhl, Daniel; Guha, R.; Jhingran, Anant; Kanungo, Tapas; Rajagopalan, Sridhar; Tomkins, Andrew; Tomlin, John A.; Zien, Jason Y. (2003). «SemTag and Seeker: Bootstraping the Semantic Web via Automated Semantic Annotation», Proceedings of the 12th international conference on World Wide Web, p. 178—186, http://www2003.org/cdrom/papers/refereed/p831/p831-dill.html [Архівовано 11 червня 2017 у Wayback Machine.] (retrieved: 18.06.2012).
  32. ↑ Uren, Victoria; Cimiano, Philipp; Iria, José; Handschuh, Siegfried; Vargas-Vera, Maria; Motta, Enrico; Ciravegna, Fabio (2006). «Semantic annotation for knowledge management: Requirements and a survey of the state of the art», Web Semantics: Science, Services and Agents on the World Wide Web, 4(1), p. 14 — 28, http://staffwww.dcs.shef.ac.uk/people/J.Iria/iria_jws06.pdf[недоступне посилання з травня 2019], (retrieved: 18.06.2012).
  33. ↑ Cimiano, Philipp; Völker, Johanna (2005). «Text2Onto — A Framework for Ontology Learning and Data-Driven Change Discovery», Proceedings of the 10th International Conference of Applications of Natural Language to Information Systems, 3513, p. 227—238, http://www.cimiano.de/Publications/2005/nldb05/nldb05.pdf [Архівовано 14 травня 2013 у Wayback Machine.] (retrieved: 18.06.2012).
  34. ↑ Maedche, Alexander; Volz, Raphael (2001). «The Ontology Extraction & Maintenance Framework Text-To-Onto», Proceedings of the IEEE International Conference on Data Mining, http://users.csc.calpoly.edu/~fkurfess/Events/DM-KM-01/Volz.pdf [Архівовано 4 березня 2016 у Wayback Machine.] (retrieved: 18.06.2012).
  35. ↑ Machine Linking. «We connect to the Linked Open Data cloud», http://thewikimachine.fbk.eu/html/index.html [Архівовано 19 липня 2012 у Wayback Machine.] (retrieved: 18.06.2012).
  36. ↑ Inxight Federal Systems (2008). «Inxight ThingFinder and ThingFinder Professional», http://inxightfedsys.com/products/sdks/tf/ [Архівовано 29 червня 2012 у Wayback Machine.] (retrieved: 18.06.2012).
  37. ↑ Frawley William. F. et al. (1992), «Knowledge Discovery in Databases: An Overview», AI Magazine (Vol 13, No 3), 57-70 (online full version: http://www.aaai.org/ojs/index.php/aimagazine/article/viewArticle/1011 [Архівовано 4 березня 2016 у Wayback Machine.])
  38. ↑ Fayyad U. et al. (1996), «From Data Mining to Knowledge Discovery in Databases», AI Magazine (Vol 17, No 3), 37-54 (online full version: http://www.aaai.org/ojs/index.php/aimagazine/article/viewArticle/1230 [Архівовано 4 травня 2016 у Wayback Machine.]