Não sei nada sobre programar, mas preciso muito desse botão de fechar um pic apenas. Desculpa se o tópico tá errado.

podes add o botão, dar dois clikes nele e por o código da pic ex:
frmMain.picMinha.Visible = False

Ou só por no código do button Form.close() !! Sem mistério...

ou você  por uma  picture  para deixar outra visivel , ou fechalá 

tipo crie uma picture como  nome picteste1 e crie outra com o nome pictest e coloque o código na picteste1 assim 

Pictest.Visible = Pictest.Visible = False   


isso fará que quando se clicar na pic se ela tiver fechada ela ira abrir  e se tiver aberta ira fechar

edit :  issso  serve para  um botão de fechar também 
 só criar uma pequena pic e fazer oque eu citei acima e funfa certinho sem falhas