下記のようにやるとできました。

<apex:variable var="aaa" value="" rendered="{!【 true OR false 】}">
    <div>あいうえお</div>
</apex:variable>

rendered = true のとき、「あいうえお」が出力されます。

apex:variableって、Visualforceページで変数を定義するタグなんですけれどね。。。

おそらく、よりベターなやり方は、apex:variableタグではなくて、apex:outputTextタグだと思われます。