Ja, natürlich. Aber die Regeln sind unterschiedlich, je nachdem um was für einen Typ Waffe es geht.
Waffen, die vom Waffengesetz nicht erfasst oder ausgenommen sind
Generell erlaubt ist das Führen von Gegenständen, die zwar gemeinhin als "Waffe" benutzt werden können, aber eigentlich für etwas anderes bestimmt sind. Baseballschläger, Schraubenzieher, Küchenmesser (bis 12 cm Klingenlänge), Harpunen (auch Harpunenpistolen), Tierabwehrgeräte etc. dürfen in Deutschland frei in der Öffentlichkeit geführt werden - auch dann, wenn kein besonderer Grund vorliegt.
Waffen, die explizit erlaubnisfrei geführt werden dürfen
Diese spezifischen gesetzlichen Regelungen betreffen Armbrüste oder bestimmte Vorderlader (zum Beispiel Steinschlosspistolen) - diese Waffen dürfen laut Waffengesetz explizit frei in der Öffentlichkeit mitgeführt werden. Auch Reizstoffsprays (Pfeffer zur Tierabwehr oder CS-Gas gegen menschliche Angreifer) sowie geprüfte, zulässige Elektroschocker dürfen getragen werden.
Waffen, die nur geführt werden dürfen, wenn es einen Grund dafür gibt
Hier sind besonders Taschenmesser gemeint, die einhändig geöffnet werden können und im offenen Zustand verriegeln, aber auch Gebrauchsmesser, die eine Klingenlänge von 12 cm oder mehr aufweisen. Ein solcher Grund kann vorliegen, wenn man ein langes Filetiermesser zum Angeln mitnimmt, oder auch ein Brotmesser zum Picknick. Selbstverteidigung ist KEIN anerkannter Grund.
Waffen, die mindestens den "kleinen" Waffenschein benötigen
Hier geht es um so genannte "Schreckschuss-, Reizstoff- und Signalwaffen", gemeinhin "Gaspistolen" genannt. Wenn diese Waffen das PTB-Prüfsiegel tragen, dann kann man sie ohne Erlaubnis ab 18 Jahren frei erwerben und besitzen. Man braucht keine WaffenBESITZKARTE. Führen darf man diese Waffen aber nur mit einem WaffenSCHEIN. Es genügt der so genannte "kleine" Waffenschein, den jeder volljährige und unbescholtene Bürger auf Antrag bekommen kann. Ein besonderes Bedürfnis und ein Sachkundenachweis sind nicht erforderlich.
Waffen, die den "großen" Waffenschein erfordern
Hier sind eigentlich sämtliche Schusswaffen gemeint. Egal ob es sich um ein freies Luftgewehr mit F-Zeichen, eine Softairpistole mit 1 Joule oder um eine .50er Desert Eagle handelt - Führen darf man solche Waffen nur mit dem "großen" Waffenschein. Normale Bürger können einen solchen Waffenschein eigentlich nicht erlangen. Die Behörden gehen sehr restriktiv mit dem Thema um. Lizenzierte Personenschützer können einen solchen Waffenschein bekommen, aber ansonsten wird es sehr eng. Selbst Menschen, die deutlich gefährdeter sein (zum Beispiel Juweliere), haben heute keine Chance mehr. Sie können ja einen Sicherheitsdienst beauftragen.
Jäger dürfen ihre Waffen auch ohne einen Waffenschein führen, während der Jagd und auf den Wegen dahin oder von daher. Hier gilt der Jahresjagdschein in Verbindung mit der WBK als Berechtigung.
Ganz andere Regeln gelten in den Waffenverbotszonen. Hier dürfen oft gar keine gefährlichen Gegenstände geführt werden. Messer ab 4 cm Klingenlänge sind in solchen Zonen nicht mehr zulässig, es sei denn es gibt einen Grund (Handwerker bei der Arbeit zum Beispiel). Wer eine waffenrechtliche Erlaubnis hat (auch der kleine Waffenschein genügt) ist nicht betroffen von dieser Einschränkung in einer Waffenverbotszone.
In privaten Gebäuden und auf privaten Grundstücken gilt zusätzlich das Hausrecht des Besitzers. Vielfach sieht dies vor, dass KEIN gefährlicher Gegenstand mitgeführt werden darf. Das trifft zum Beispiel auf Clubs und Bars oftmals zu.
Besucht man eine Veranstaltung (also ein Konzert oder ein Fußballspiel), dann darf man ebenfalls KEINE gefährlichen Gegenstände mitnehmen. Eine Kneipe oder eine Spielothek ist aber bloße Öffentlichkeit und keine Veranstaltung. Wenn das Hausrecht es zulässt darf man dort Waffen nach den oben genannten Regeln führen.