Кроме «Последних новостей» Осоргин публиковал свои исторические рассказы еще в газетах «Сегодня» (Рига), «Новая заря» (Сан-Франциско), «Русский вестник» (Нью-Йорк) и других. В 1938 г. в Таллине вышла книга Осоргина «Повесть о некоей девице», включившая в себя ряд исторических рассказов, но большая их часть осталась в газетах, заставляя читателей, по выражению одного из рецензентов, сожалеть о недолговечности газетного листа.
Рассказывая Горькому о своих «вечных» книгах, среди которых были Библия, Свифт, «Дон Кихот», «Илиада», Данте, Марк Аврелий, «Декамерон», Осоргин писал как о любимом чтении о книгах по библиографии и фольклору. Не менее важным было для него постоянное обращение к словарям, которые он называл «орудиями писательского производства», и языковедческой литературе: «Без нее, прожив за границей 17 лет, я бы, вероятно, потерял русский язык».
Осоргин понимал, что в зарубежье русская речь звучит плохо, обедняется, искажается, но он не раз повторял, что это «лишний повод не для отчаяния, а для сверхобычных усилий и сверхурочной работы», для «удвоенной энергии и удесятеренного внимания». Он считал необходимым для всякого, кто берет в руки перо, глубокое знание языка, его истоков, истории, чуткости к его изменениям: «Чувство, талант, наблюдательность — все это окажется напрасным, если словарь писателя скуден и дух слов и оборотов ему чужд. <…> Если для парижского обихода не важно, когда курица клохчет, а когда кудахтает, то для литературного языка каждая утрата синонима грозит гибелью».
Осоргин считал неудачным «искусственное словотворчество», которым гордился Д’Аннунцио и которое оказывалось соблазнительным и для наших соотечественников, оказавшихся на чужбине: «Как бы оно ни было удачно, оно никогда не заменит настоящего знания языка, приобретенного изучением народного говора и старых памятников словесности». Близки ему были поиски «отличного знатока русского языка» А. М. Ремизова. Осоргин очень ценил его книгу «Россия в письменах», советовал продолжать эту работу, несмотря на «преступно малое» внимание к ней.
Языковые поиски Осоргина были толчком к созданию целого ряда рассказов. Справедливо писал критик о причине удач Осоргина: «Совершенно недостаточно щегольнуть набором старинных слов, чтобы читатель почувствовал старину или старый язык. Необходимо ощущение этих слов как живых и то проникновение в их глубину, какое дается при большой любви и восприятии языка в его живой непрерывности». Богатство языка соединялось у Осоргина с точностью и простотой, которые он считал ценнейшими качествами писателя.
«Осоргин своей простоте учился у Тургенева и Аксакова, — писал литературный критик К. М. Мочульский, — он связан с ними не только литературно, но и кровно, от них у него — пристальность взгляда, чувство родной природы, любовь к земле, верность прошлому, светлая память подавно ушедшему. Его язык — выразительный и точный — близок к народному складу. В нем есть вещественность и прямота, убеждающие нас сразу. Автор не боится показаться несовременным, напротив, он настаивает на своей старомодности…» Из россыпи забытых слов Осоргин умел создать узор, поражающий своей органичностью. Как археолог, он поднимал языковой пласт, исследовал его, вдыхал в него новую жизнь. Как никто, он умел раскрыть перед читателем обаяние, прелесть старых слов, которыми «чувства выражаются сильнее, чем если писать по-нынешнему».
В одном рассказе Осоргин мог соединить, переплести совершенно разные стили речи: народный говор и книжную замысловатость переписки Никона и Филарета («Соловей») или грубую простоту объявления о поисках палача в Ярославле с кокетливой претенциозностью писем Екатерины и Вольтера («Заплечный мастер»). И за столкновением разных пластов речи оказывались высвеченными трагические противоречия эпохи. А порой, одурманив читателя колдовской прелестью «старых речей», автор неожиданно врывался в современность. Рассказывая о тюремных мытарствах мужика, обвиненного в чародействе, Осоргин мог забыть о свойственной ему сдержанности и заговорить о трагедии своего времени — «столь же необъяснимых покаяниях современных вредителей» («Чародей»).
Осоргин много думал о природе стилизации, осмысливал опыт своих предшественников и современников. Он писал, например, о книге А. П. Чапыгина «Гулящие люди»: «Опыт воссоздания языка эпохи целиком, во всей грамматике и всем синтаксисе, вообще нельзя считать правильным художественным приемом, осторожная стилизация дает гораздо больше (это хорошо понимает Алексей Толстой). В сущности, Чапыгин переводит речь современную на старинный язык, очень ловко переводит, но вряд ли диалоги людей прошлого строились по нынешним схемам, да и мысль развивалась в головах иначе. Постоянное „зрю“ вместо „вижу“ эпохи не дает».
У Осоргина есть рассказы, вся художественная ткань которых состояла из узора старых слов («Выбор невесты», «Настинькина маета»). В большинстве же случаев его стилизация была, действительно, осторожной, ювелирно тонкой, но она оставалась главным инструментом при крайней экономии других художественных средств. Осоргин описывал, например, крепостницу-помещицу, считавшую неприличной букву «х» и называвшую яйца «куриными фруктами»: «А каков ныне урожай куриных фруктов?» («Чепчик набекрень»). Речевой характеристики оказывалось достаточно, чтобы создать запоминающийся образ.
Осоргин стремился избежать иллюстративности, «исторического маскарада», когда литературные герои начинают выражаться историческими фразами, теряют живое лицо. Он считал важным «не колоть читательского глаза пышностью исторического инвентаря, взятого у Забелина», не преувеличивать в красочности там, где по ходу жизни было больше «серости и тусклой грязи»: «В наших старых театральных постановках это сказывалось в блеске клеенчатых сапогов и похвальной чистоте крестьянских рубах, аккуратно разглаженных перед спектаклем».