自動文本摘要 – 林肯,自動摘要簡介 – 數據博客
有關數據,人工智能和我的項目的博客 自動摘要是要使用長文本,甚至是一組文本,並自動生成一個較短的文本,其中包含大多數信息. 簡單的 ? 沒有那麼多. 首先,您必須同意哪些信息真正重要. 然後,我們必須能夠正確提取它們,重組它們. 這是不計算大量可能摘要的大量變體 ! 自動文本摘要 隨著紋理收集和存儲的爆炸式增長,從質量中分析和提取相關信息的需求越來越出現. 此外,自動自然語言處理(TALN)的深度學習模型中的繁榮促進了在操作問題中使用文本數據. 自動文本摘要與回答問題相同,相似性分析,文檔的分類和與鏡有關的其他任務是這些問題的一部分. 正是在這種情況下 實驗室創新 德·林肯(De Lincoln)已決定在自動文本摘要上進行工作. 這些作品使建立可用於語言的自動摘要模型的基準是可能的 法語, 引起我們自己的模型並最終將其投入生產. 模型培訓 數據 在開始工作之前,我們首先必須構建一個數據庫來學習自動摘要模型. 我們已經從幾個法國新聞網站中收回了新聞稿. 該基礎包含〜60k文章,並不斷更新. 最先進的 自動摘要算法可以分為兩類:摘要 挖掘 和摘要 抽象. 在框架中 挖掘, 這些摘要是根據從文本中提取的句子構建的,而摘要 抽象 是由新句子生成的. 自動摘要模型在英語中很常見,但在法語中卻少得多. 指標 對於模型的評估,我們使用以下指標: 紅色的 : 毫無疑問,在摘要任務中最常報告的測量值是召回評估的召回研究(Lin,2004年),計算了評估的摘要與人類參考摘要之間的相似n-gram數量. 流星: 用明確訂購評估翻譯的指標 (Banerjee和Lavie,2005年)設計用於評估自動翻譯結果. 它基於精確的諧波平均值和召回統一的召回,召回的權重大於精度. 流星經常用於自動摘要出版物(參見等人., 2017; Dong等., 2019年),除了紅色. 新奇: 已經註意到,某些抽像模型過於太多的提取(參見等人., 2017; Krysci’nski等人.‘,2018年). 因此,測量生成的摘要中產生的新N-gram的百分比已成為常見. 資料來源:MLSUM紙的翻譯[2]. […]
