Klädesholmen har varit ett välkänt fiskeläge sedan 1500-talet.