Здание офицерского собрания 51-го пехотного Литовского полка было возведено в 1910-1913 годах. Автором проекта долгое время называли Н.П.Краснова, но до настоящего времени подтвердить этот факт не удается, и среди возможных создателей здания Офицерского собрания числятся Ф.К. Киблер, Е.Д.Садовский, А.Я.Рыков.

Офицерское собрание 51-го пехотного Литовского полка построено в историческом стиле, при этом простой двухэтажный объем в форме куба украшен небольшими аттиками с двуглавыми орлами - гербами Российской империи, декоративными выступами (ризалитами), а парадный вход фланкирован двумя колоннами тосканского ордера. Представляют интерес и торжественно оформленные массивные балконы, а также множественные декоративные элементы в сочетании с желто- белой окраской стен здания, придающие Офицерскому собранию парадный и, одновременно, легкий вид. Кроме того, сохранилась и уникальная старинная ограда вокруг палисадника и двора с флигелем.

В 1922 году здание Офицерского собрания приняло под свою крышу Центральный музей Тавриды, в котором располагались предметы искусства изъятые из крымских дворцов. В 1936-1937 годах была сформирована Симферопольская картинная галерея, которую через 30 лет (в 1966 году) переименовали в Симферопольский художественный музей.

В 1980- 1990 годы в музее проводилась реставрация, в ходе которой были восстановлены как интерьеры Офицерского собрания, так и элементы его внешнего убранства.