dodawać nowe pytania do puli bez potrzeby reboota serwera
Tak, jak pisał krówka - nie mam pojęcia, jak by trzeba było przeinżynierować, żeby po zmianie zawartości bazy/plików/czegokolwiek konieczny był restart serwera. Nie wiem w sumie o jakim serwerze mówisz - czy chodzi o maszynę/VPS, czy o samą usługę. Ale tak czy siak - tak na pewno się nie robi (chyba że są jeszcze jakieś inne okoliczności, o których zapomniałeś nam powiedzieć).
robię sobie mobilną aplikację quiz
Kwestia do doprecyzowania - czy pytania mają być na bieżąco pobierane z jakiegoś serwera (wtedy apka bez netu będzie bezużyteczna), czy pytania mają być w niej zaszyte?
Nie chciałbym stawiać sam żadnego backendu
W sumie to pytania możesz trzymać w SQLite, a ich treść wypluwać po http. Nawet nie musisz tworzyć panelu zarządzającego - możesz ręcznie w jakimś narzędziu do grzebania w plikach SQLite (sam osobiście polecam https://sqlitestudio.pl/) edytować treść pytań, a potem tylko ten plik wrzucić na serwer.
Ogólnie to dałeś trochę za mało konkretów, żeby dać sensowną odpowiedź, ale mam wrażenie podobne do @katakrowa że coś chyba masz przekombinowane.