Schimmel ist nicht gleich Schimmel.
Wir wissen leider überhaupt nicht so wirklich, welche Schimmelsorten tatsächlich giftig sind, und welche nicht.
Zudem sehen viele Arten sehr ähnlich aus (z.B. undefinierbar grün oder weiß halt, aber auch nur im Erwachsenenalter), daher kann man ohne Gensequenzierung oft nicht genau sagen, welche Sorte es ist.
Grundsätzlich würde ich aber sagen: die Menge macht das Gift. Wenn du den Schimmel schon siehst, hat er Fruchtkörper ausgebildet und ist schon sehr fortgeschritten. Im reinen Myzelstadium ist er noch nicht ausgewachsen, weshalb die Menge an Mykotoxine noch relativ gering sein sollte.