編輯：力元
近年來，自然語言生成（NLG）是最突出的技術之一。來自 CMU 電腦科學系的語言技術博士生 Shrimai Prabhumoye 在本篇論文中對人機互動領域中的可控文字生成問題進行了深度的研究。
論文全長 103 頁，共六章，從人類交流的三個方面：風格、內容、結構討論瞭如何能夠讓機器聽起來更像人，並提供了在神經文字生成中控制這些變數的深度學習解決方案。
機器之心對本篇論文的核心內容進行了介紹，感興趣的讀者可以閱讀論文原文。
論文連結：https://www.cs.cmu.edu/~sprabhum/docs/proposal.pdf
論文概述
首先，作者概述了可以被操控的幾個模組，操控這些模組可以實現有效的可控文字生成。作者為使用反向翻譯的風格遷移提供了一種新穎的解決方案，並介紹了兩個新任務，以利用非結構化文件的資訊，來進入生成的過程。然後，作者為句子排序任務提供了一種新穎且優雅的設計，以學習有效的文件結構。最後，作者討論了有關可控文字生成應用在道德倫理層面的考量。
可控文字生成技術
在第 2 章，作者將可控文字生成有關的論文串在了一起，並整理了有關這些任務和技術相似之處的知識。然後，作者組織了先前的工作，並提出了一個新的架構，其中包含 5 個可以更改以控制生成過程的模組：外部輸出模組、順序輸入模組、生成器模組、輸出模組、訓練目標模組。最後，作者概述了代表控制向量以及將其併入生成過程的不同理論，還對這些技術進行了定性評估。
控制文字生成過程的模組
風格遷移
在第 3 章，作者描述了一種新穎的反向翻譯方法，可以在非並行資料中執行風格遷移，以完成各種任務，例如：性別遷移、政治傾向遷移、情緒修改。作者還提供了對訪問風格遷移方法的三個維度的自動評估和人工評估的見解，這三個維度包括：風格遷移準確性、含義保存和流利性。
風格遷移 pipeline
內容與結構
在第 4 章，作者為兩個不同領域的內容生成提出了兩項新任務。首先是 Wikipedia 編輯生成任務：根據外部新聞文章和 Wikipedia 文章背景生成一個 Wikipedia 更新。第二個是對話響應生成：包括基於來自外部和當前對話歷史的知識生成響應。最後，作者為基於 Wikipedia 編輯生成任務訓練的模型提供了廣泛的評估。
在第 5 章，作者宏觀說明了捕捉文件結構的各種技術。並且，作者特別關注了句子排序的子任務，提出其新框架作為約束解決任務，然後基於問題的新設計介紹了一個新的模型。同時作者建議對此任務進行新的人工評估。
擁有維基百科訪問權的使用者 vs 沒有維基百科訪問權的使用者
倫理道德
在第 6 章，作者探討了對於可控文字生成方面的道德考量。作者概述了與 NLP 有關的各種道德問題以及討論這些問題的必要性，還總結了倫理學的兩個原理 – 泛化原理和功利主義原理。
作者介紹
在攻讀 CMU 電腦科學系的語言技術 PhD 之前，Shrimai Prabhumoye 在印度國立技術學院攻讀了本科，並於 2017 年 8 月獲得了語言技術碩士學位。在此期間，她帶領 CMU Magnus 團隊參加了 Amazon Alexa 獎競賽。在 CMU 期間，Shrimai Prabhumoye 還與他人共同設計了 NLP 計算倫理學課程，並於 2018 年春季首次在 CMU 開放了此課程。
論文目錄如下：
