Об этом сообщается в блоге самой компании.

Разработчики объяснили, что "учили" модель GPT-2 предугадывать следующее слово с учетом контекста на 40 гигабайтах текста, который был взят из Интернета.

По их словам, модель имеет несколько возможностей, в частности, может создавать условные синтетические текстовые образцы беспрецедентного качества. Так, нужно лишь написать несколько слов, и GPT-2 предложит собственный вариант завершения этого предложения.

Отмечается, что разработчики опасаются, что их нейросеть могут использовать во вред, поэтому решили не публиковать ее полную версию.